Memahami Fungsi Disallow URL Parameters pada Robots.txt
Menggunakan perintah Disallow pada file robots.txt untuk parameter URL adalah metode standar untuk mengontrol bagaimana mesin pencari seperti Google merayapi (crawl) halaman situs Anda. URL dengan parameter (seperti ?sort=price&dir=asc atau ?sessionid=12345) sering kali menghasilkan jutaan kombinasi halaman duplikat yang menguras crawl budget dan melemahkan otoritas SEO situs web Anda.
Namun, Anda harus berhati-hati: memblokir akses crawler ke URL berparameter melalui robots.txt mencegah mesin pencari membaca sinyal kanonikal atau parameter penanganan khusus, yang terkadang justru membuat Google tetap mengindeks URL tersebut melalui tautan eksternal tanpa mengetahui isi halamannya.
Sintaks Dasar dan Contoh Penerapan Robots.txt
Untuk melarang bot merayapi URL yang mengandung parameter tertentu, Anda dapat menggunakan karakter wildcard (*) atau pencocokan awalan standar yang didukung oleh Googlebot. Berikut adalah beberapa pola sintaks yang sering digunakan dalam file robots.txt:
User-agent: *
Disallow: /*?
Disallow: /*?sort=
Disallow: /*&sessionid=
Penjelasan sintaks di atas:
User-agent: *berarti aturan ini berlaku untuk semua perayap web otomatis yang mematuhi standar robots.txt.Disallow: /*?melarang perayapan pada semua URL didomain tersebut yang mengandung tanda tanya (?), yang merupakan penanda standar dimulainya parameter URL.Disallow: /*?sort=secara spesifik menargetkan parameter pengurutan (sorting) tertentu agar tidak dirayapi.
Tabel Perbandingan Metode Pengendalian URL Parameters
Sebelum memutuskan hanya mengandalkan robots.txt, kenali perbandingannya dengan metode lain untuk SEO agar tidak salah langkah:
| Metode | Mencegah Crawl | Mencegah Indeks | Menjaga Link Equity | Kasus Penggunaan Terbaik |
|---|---|---|---|---|
| Robots.txt Disallow | Ya | Tidak (Bisa tetap terindeks) | Tidak | Menghemat crawl budget situs skala enterprise yang sangat besar. |
| Meta Robots Noindex | Tidak (Harus bisa dicrawl) | Ya | Ya (Jangka panjang) | Halaman parameter yang tidak ingin muncul di hasil pencarian. |
| Canonical Tag | Tidak | Ya (Dialihkan ke utama) | Ya | Halaman filter produk atau variasi konten yang mirip. |
| Google Search Console Tool | Ya (Legacy/Deprec) | Tidak | Tidak | Pengaturan parameter warisan (meskipun kini Google mendeteksi otomatis). |
Langkah-Langkah Implementasi dan Best Practices
Ikuti langkah teknis berikut untuk memastikan pemblokiran parameter berjalan optimal tanpa merusak performa SEO situs Anda:
- Analisis Log Server: Periksa file log server atau Google Search Console untuk mengidentifikasi parameter mana yang paling banyak membuang crawl budget (misalnya parameter pelacakan afiliasi atau filter berulang).
- Uji Coba Pola: Tulis aturan
Disallowdi baris baru filerobots.txtyang terletak di direktori root domain Anda (contoh:https://example.com/robots.txt). - Gunakan Alat Penguji: Manfaatkan fitur pengujian robots.txt di Google Search Console untuk memastikan bot tidak salah membaca pola karakter khusus seperti asterisk (*) atau tanda tanya (?).
- Pantau Indeksasi: Cek laporan halaman di Search Console secara berkala untuk memastikan halaman penting tidak ikut terblokir secara tidak sengaja.
Troubleshooting Masalah Umum di Lapangan
Kesalahan paling sering terjadi adalah menggunakan Disallow pada URL yang memiliki tag rel=canonical atau meta noindex di dalamnya. Jika robots.txt memblokir halaman tersebut secara total, Googlebot tidak akan bisa membaca tag noindex atau canonical di dalam HTML halaman tersebut. Akibatnya, URL berparameter bisa tetap terindeks di SERP meskipun kodenya disembunyikan dari perayap. Jika Anda ingin URL tersebut benar-benar hilang dari indeks Google, gabungkan penggunaan tag rel=canonical yang mengarah ke URL bersih, atau izinkan perayapan namun gunakan meta robots noindex.