User-agent: *
# Algemene crawl-rate instellingen (1 request per 6 uur)
Crawl-delay: 21600

# Specifieke instructies voor Googlebot (1 request per 4 uur)
User-agent: Googlebot
Crawl-delay: 14400
Request-rate: 1/14400

# Specifieke instructies voor Bing (1 request per 6 uur)
User-agent: Bingbot
Crawl-delay: 21600
Request-rate: 1/21600

# Standaard Next.js paden blokkeren
Disallow: /_next/
Disallow: /api/
Disallow: /logs/
Disallow: /iisnode/
Disallow: /*.json$
Disallow: /*.js$
Disallow: /*.css$

# Extra technische paden blokkeren
Disallow: /*/_*
Disallow: /*/*/_*
Disallow: /public/_*
Disallow: /_vercel/*
Disallow: /_error
Disallow: /404
Disallow: /500

Allow: /