Robots.txt: Panduan Lengkap Konfigurasi untuk SEO
Robots.txt: Panduan Lengkap Konfigurasi untuk SEO
Robots.txt adalah file teks yang memberi instruksi kepada web crawler tentang halaman mana yang boleh atau tidak boleh di-crawl. Konfigurasi yang tepat penting untuk optimasi crawling budget dan mencegah indexing konten yang tidak diinginkan.
Fungsi dan Pentingnya Robots.txt
Robots.txt mengontrol akses crawler ke bagian-bagian website. Mencegah indexing halaman duplicate, thin content, atau private. Mengoptimalkan crawl budget dengan mengarahkan crawler ke konten penting. Bukan security tool, melainkan protokol sukarela yang crawler patuhi.
Sintaks dan Format Robots.txt
User-agent menentukan crawler yang ditarget (Googlebot, Bingbot, atau * untuk semua). Disallow memblokir path atau directory. Allow mengizinkan path spesifik dalam directory yang di-block. Sitemap memberi lokasi XML sitemap. Comment dengan tanda #.
Contoh Konfigurasi Umum
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /search?
Allow: /public/
Sitemap: https://example.com/sitemap.xml
Best Practices Robots.txt
Letakkan di root directory. Pastikan tidak ada typo yang memblokir konten penting. Jangan blokir CSS atau JS yang diperlukan rendering. Test dengan robots.txt Tester di GSC. Update saat struktur site berubah.
Artikel Terkait
Link Postingan : https://www.tirinfo.com/robots-txt-panduan-lengkap-konfigurasi-untuk-seo/