💡 ULASAN & REFERENSI • DIPERBARUI: 20 October 2026 • REDAKSI AZWINN

Cara Menggunakan Robots.txt Disallow untuk Query String SEO

Penggunaan perintah Disallow pada file robots.txt untuk menangani query string (parameter URL seperti ?sort=asc atau ?sessionid=123) memerlukan kehati-hatian tinggi. Memblokir query string secara sembarangan sering kali justru menghalangi mesin pencari mengindeks halaman penting yang menggunakan parameter, atau gagal mencegah duplikasi konten karena Googlebot masih bisa merayapi URL tersebut jika ditautkan dari halaman lain.

Untuk mengontrol query string secara efektif, Anda harus memahami perbedaan antara pencegahan perayapan (crawl) melalui robots.txt dan pencegahan pengindeksan (index) melalui tag meta noindex atau penggunaan rel="canonical".

Sintaks Dasar Disallow Query String

Secara standar, protokol robots.txt mendukung penggunaan karakter wildcard (*) dan tanda dolar ($) untuk mendefinisikan pola URL tertentu. Berikut adalah contoh penulisan sintaks yang valid untuk memblokir parameter URL:

User-agent: *
Disallow: /*?*
Disallow: /*?sort=
Disallow: /katalog/*?*filter=

Penjelasan Sintaks:

  • Disallow: /*?*: Memblokir semua URL di seluruh situs yang mengandung tanda tanya (?), yang umumnya menandai adanya query string.
  • Disallow: /*?sort=: Hanya memblokir URL yang memiliki parameter spesifik bernama sort=.
  • Disallow: /katalog/*?*: Memblokir semua query string yang hanya terjadi di dalam direktori /katalog/.

Tabel Komparasi Metode Pengelolaan Query String

MetodeFungsi UtamaMencegah Crawl?Mencegah Index?Risiko Utama
robots.txt DisallowMenghemat crawl budget serverYaTidak (bisa terindeks tanpa isi)Kehilangan sinyal SEO jika halaman utama memiliki parameter penting
Meta Robots NoindexMengeluarkan halaman dari SERPTidak (butuh crawl dulu)YaMenghabiskan crawl budget jika halaman terlalu banyak
Rel="Canonical"Menyatakan URL utama (master)TidakYa (mengalihkan otoritas)Sering diabaikan oleh bot jika implementasi salah

Langkah-Langkah Teknis Penerapan

  1. Analisis Log Server: Periksa file log server Anda untuk melihat parameter query string mana yang paling banyak menghabiskan crawl budget atau menghasilkan duplikasi halaman terbanyak.
  2. Uji Coba dengan Tools: Manfaatkan alat pengujian robots.txt di Google Search Console untuk memastikan pola Disallow tidak memblokir sumber daya penting seperti file CSS, JavaScript, atau halaman produk utama.
  3. Perbarui File Robots.txt: Unggah file robots.txt yang telah diperbarui ke direktori root situs web Anda (contoh: https://namadomain.com/robots.txt).
  4. Gunakan Parameter Handling Alternatif: Jika menggunakan Google Search Console versi lama, pengaturan parameter URL dapat diatur di sana. Untuk standar modern, kombinasikan robots.txt dengan tag rel="canonical" pada halaman ber-parameter.

Troubleshooting Lapangan

Masalah paling sering terjadi setelah menerapkan Disallow pada query string adalah penurunan peringkat atau halaman ber-parameter tetap terindeks di Google. Hal ini terjadi karena robots.txt tidak menghapus URL dari indeks Google jika URL tersebut memiliki backlink atau tautan internal dari halaman lain. Solusinya, biarkan bot merayapi halaman tersebut namun gunakan tag <meta name="robots" content="noindex, follow"> di dalam kode HTML halaman tersebut agar benar-benar keluar dari hasil pencarian.

🔍 Orang Lain Juga Mencari Ini