Penyebab Utama Error pada HTTrack
Error pada HTTrack saat melakukan mirroring website umumnya disebabkan oleh proteksi server (seperti anti-bot atau rate limiting), konfigurasi filter yang terlalu agresif, atau ketidaksesuaian User-Agent. Untuk mengatasi hal ini, Anda harus menyesuaikan parameter pada menu Set Options agar aktivitas crawling Anda dianggap sebagai akses browser normal.
Konfigurasi Optimal di Set Options
Berikut adalah langkah-langkah teknis untuk meminimalisir kegagalan saat proses mirroring:
- Limits: Atur Maximum transfer rate ke angka yang wajar (misal: 20-50 KB/s) agar tidak memicu proteksi DDoS server target.
- Flow: Atur Number of connections ke 1 atau 2. Terlalu banyak koneksi simultan seringkali menyebabkan IP Anda diblokir oleh server.
- Browser ID: Ubah User-Agent menjadi browser populer seperti Chrome atau Firefox terbaru agar server target tidak menolak akses dari 'HTTrack'.
- Scan Rules: Pastikan filter tidak memblokir file penting seperti CSS atau JS yang dibutuhkan untuk tampilan website.
| Parameter | Setting Rekomendasi | Fungsi |
|---|---|---|
| Max Connections | 1 - 2 | Mencegah pemblokiran IP oleh server |
| Transfer Rate | 20 - 50 KB/s | Menghindari deteksi rate-limiting |
| User-Agent | Mozilla/5.0 (Windows NT 10.0; Win64; x64) | Menyamarkan identitas sebagai browser |
| Timeout | 60 - 120 detik | Memberi waktu server merespons |
Troubleshooting Error Umum
Jika Anda masih menemui error, gunakan kode berikut pada bagian Scan Rules untuk memastikan file pendukung tetap terunduh:
+*.css +*.js +*.png +*.jpg +*.gif +*.pdfJika error '403 Forbidden' muncul, tambahkan 'Referer' pada bagian Proxy/Misc atau pastikan Anda tidak mencoba mengunduh direktori yang dilindungi oleh file robots.txt. Jika website menggunakan proteksi Cloudflare, HTTrack seringkali tidak mampu menembus tantangan JavaScript (Captcha), sehingga Anda mungkin perlu menggunakan alat bantu seperti Selenium atau Puppeteer sebagai alternatif yang lebih modern.
Tips Tambahan
Selalu periksa file hts-log.txt di folder proyek Anda. File ini mencatat setiap URL yang gagal diunduh dan alasan spesifiknya (misal: 404 Not Found atau 403 Forbidden). Gunakan informasi tersebut untuk menyesuaikan filter atau menambah pengecualian pada menu Scan Rules.