Struktur Dasar Robots.txt WordPress
File robots.txt adalah protokol komunikasi antara situs WordPress Anda dengan mesin pencari. Struktur yang benar memastikan bot perayap fokus pada konten berharga dan mengabaikan direktori sistem yang tidak perlu. Berikut adalah struktur standar yang direkomendasikan untuk WordPress:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://domainanda.com/sitemap_index.xml
Komponen Utama dan Fungsinya
Setiap baris dalam file robots.txt memiliki fungsi krusial dalam menjaga kesehatan SEO situs Anda. Berikut adalah rincian teknis dari setiap elemen:
| Perintah | Fungsi |
|---|---|
| User-agent: * | Berlaku untuk semua bot perayap (Googlebot, Bingbot, dll). |
| Disallow: /wp-admin/ | Mencegah bot mengindeks area administratif yang tidak relevan. |
| Allow: /wp-admin/admin-ajax.php | Wajib diizinkan agar fitur dinamis tema/plugin tetap berfungsi. |
| Sitemap: [URL] | Memberitahu mesin pencari lokasi peta situs Anda. |
Mengapa Harus Mengizinkan admin-ajax.php?
Banyak pengembang pemula melakukan kesalahan dengan memblokir seluruh direktori /wp-admin/ tanpa pengecualian. File admin-ajax.php sangat penting karena digunakan oleh banyak tema dan plugin untuk memproses permintaan asinkron (seperti pemuatan konten dinamis atau formulir). Jika file ini diblokir, fitur interaktif di situs Anda mungkin rusak atau tidak terbaca oleh bot.
Cara Edit Robots.txt dengan Aman
Anda tidak perlu membuat file fisik secara manual jika menggunakan plugin SEO. Berikut adalah metode yang paling aman:
- Plugin SEO (Yoast/Rank Math): Masuk ke pengaturan plugin, cari menu 'Tools' atau 'File Editor', dan edit langsung dari dashboard WordPress.
- FTP/File Manager: Jika Anda memiliki akses ke server, buat file bernama
robots.txtdi direktori root (public_html) situs Anda. - Virtual vs Static: WordPress secara default membuat
robots.txtvirtual. Jika Anda membuat file fisik, file fisik tersebut akan menimpa versi virtual.
Kesalahan Fatal yang Harus Dihindari
Jangan pernah memblokir direktori /wp-content/themes/ atau /wp-content/plugins/ secara membabi buta. Bot memerlukan akses ke file CSS dan JavaScript di folder tersebut untuk memahami struktur visual situs Anda (rendering). Memblokir aset ini dapat menyebabkan Google menganggap situs Anda tidak ramah seluler atau rusak, yang berakibat pada penurunan peringkat secara drastis.