Memblokir Aplikasi Pendownload Situs dengan robots.txt

Pada tulisan sebelumnya, disebutkan memblokir aplikasi penyedot situs dengan htaccess, kini kita lakukan dengan memanfaatkan robots.txt.

Memblokir beberapa aplikasi pendownload situs, kadang terpaksa dilakukan untuk mencegah pemanfaatan resource dengan cara yang tidak benar. Aplikasi itu mendownload seluruh konten terkait situs target, menyimpannya dalam satu folder, yang kemudian akan bisa diakse secara offline.

Berikut baris kode yang digunakan untuk menghalau aplikasi pendownload situs, dengan mengupload file robots.txt dan letakkan di root public_html.

User-agent: AhrefsBot
User-agent: Baiduspider
User-agent: EasouSpider
User-agent: Ezooms
User-agent: YandexBot
User-agent: MJ12bot
User-agent: SiteSucker
User-agent: HTTrack
Disallow: /

Demikian, semoga bermanfaat.

Share to

Do You Know!