Penerapan X-Robots-Tag pada file berformat .shtml (Server Side Includes) merupakan metode berbasis HTTP header untuk mengontrol bagaimana mesin pencari seperti Google mengindeks halaman tersebut. Tidak seperti tag meta HTML biasa yang ditempatkan di dalam elemen <head>, X-Robots-Tag dikirim langsung melalui header respons server web (Apache atau Nginx), sehingga sangat efektif untuk file non-HTML atau dokumen yang menyertakan komponen dinamis parsial.
File SHTML sering kali digunakan untuk menyertakan potongan dokumen berulang (seperti header, footer, atau sidebar) menggunakan SSI. Karena sifat modular ini, pengelolaan direktif indeks menggunakan HTTP header mencegah duplikasi konten dan memastikan robot mesin pencari membaca instruksi tanpa harus merender seluruh struktur halaman.
Metode Konfigurasi X-Robots-Tag untuk SHTML
Pengaturan X-Robots-Tag pada server Apache dilakukan melalui file konfigurasi virtual host, direktori, atau file .htaccess. Berikut adalah contoh sintaks nyata untuk mencegah pengindeksan pada file SHTML tertentu:
<FilesMatch "\.shtml$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>Sementara itu, jika Anda menggunakan server web Nginx, aturan penambahan header respons untuk ekstensi SHTML disematkan di dalam blok server atau blok lokasi:
location ~ \.shtml$ {
add_header X-Robots-Tag "noindex, nofollow";
}
Matriks Perbandingan Direktif X-Robots-Tag
Berikut adalah tabel matriks parameter yang sering digunakan dalam X-Robots-Tag beserta fungsi teknisnya pada file SHTML:
| Parameter Header | Fungsi Utama | Dampak pada SHTML |
|---|---|---|
noindex | Mencegah halaman masuk ke indeks mesin pencari. | Halaman SHTML tidak akan muncul di hasil SERP Google. |
nofollow | Mencegah robot merayapi tautan di dalam halaman. | Tautan keluar atau internal di file SHTML diabaikan oleh crawler. |
noarchive | Mencegah mesin pencari menyimpan salinan cache. | Pengguna tidak dapat mengakses versi tersimpan (cached) dari halaman SHTML. |
nosnippet | Menghilangkan teks cuplikan (snippet) di SERP. | Deskripsi halaman tidak ditampilkan di bawah judul hasil pencarian. |
Langkah Teknis Implementasi & Verifikasi
Setelah menambahkan aturan pada server, pastikan konfigurasi berjalan dengan benar melalui langkah-langkah berikut:
- Simpan perubahan pada file konfigurasi server (
.htaccessataunginx.conf). - Restart atau muat ulang layanan server web (
sudo systemctl reload apache2atausudo systemctl reload nginx). - Uji respons header menggunakan perangkat pengujian baris perintah cURL untuk memastikan X-Robots-Tag terbaca dengan akurat.
curl -I https://namadomain.com/halaman.shtmlPeriksa keluaran (output) pada terminal. Pastikan baris yang memuat X-Robots-Tag: noindex, nofollow muncul pada bagian header respons HTTP sebelum Anda melakukan pengajuan inspeksi URL melalui Google Search Console.
Troubleshooting Lapangan
Kendala yang sering ditemui saat menerapkan X-Robots-Tag pada file SHTML adalah modul header Apache (mod_headers) yang belum aktif. Jika perintah Header set menghasilkan kesalahan server (HTTP 500), aktifkan modul tersebut dengan menjalankan perintah sudo a2enmod headers pada sistem operasi server berbasis Debian/Ubuntu, lalu muat ulang server web Anda.