User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Sitemap utama
Sitemap: https://www.bantennews.co.id/sitemap_index.xml

# Sitemap khusus berita (kalau kamu pakai plugin Rank Math / Yoast)
Sitemap: https://www.bantennews.co.id/news-sitemap.xml

# robots.txt — BantenNews.co.id
# Dipersiapkan untuk portal berita regional setelah migrasi server
# Pastikan file ini berada di: https://www.bantennews.co.id/robots.txt

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Optional: jika ada direktori yang tidak ingin di-crawl seperti internal search atau komentar
Disallow: /?s=
Disallow: /search/
Disallow: /comments/
Disallow: /trackback/
Disallow: /*?replytocom

# Sitemaps
Sitemap: https://www.bantennews.co.id/sitemap_index.xml
Sitemap: https://www.bantennews.co.id/news-sitemap.xml

# End of file