Blok Laba-Laba Efektif untuk WordPress

Jika bukan karena laba-laba, kami tidak akan dapat mencari Google untuk menemukan konten Web. Laba-laba adalah robot yang menjelajahi Web dan mengindeks semua yang mereka temukan sehingga ketika Anda ingin mencari artikel di WordPress, laba-laba tahu di mana artikel itu berada dan dapat mengarahkan Anda ke sana. Anda tidak harus membiarkan indeks laba-laba WordPress, dan ada cara mudah untuk membuat blok laba-laba yang efektif untuk WordPress yang memblokir laba-laba dari perusahaan terkemuka. Blok laba-laba yang bahkan lebih efektif mencakup beberapa pengaturan dan proses untuk mengidentifikasi dan memblokir laba-laba jahat yang mengabaikan instruksi Anda dan mengindeks konten Web yang telah Anda tetapkan sebagai terlarang bagi laba-laba.

Robots.txt

Ketika spider mengunjungi situs WordPress Anda, hal pertama yang harus dilakukan adalah membaca file "robots.txt". File ini berisi aturan yang menentukan file dan direktori yang bisa atau tidak bisa diindeks oleh semua spider atau spider bernama individual. Seekor laba-laba menemukan kode "agen-pengguna" yang unik dalam file atau wildcard yang menunjukkan "semua laba-laba." Ia kemudian membaca daftar file dan direktori yang diizinkan atau tidak diizinkan. Selanjutnya, ia mulai mengindeks hanya bagian situs yang diizinkan untuk diindeks.

Memblokir Laba-laba

Anda dapat membuat blok laba-laba yang efektif untuk WordPress dengan membuat file "robots.txt" di direktori root WordPress Anda dan menentukan aturan yang melarang pengindeksan direktori root situs. Ini secara otomatis melarang pengindeksan subdirektori dari root. Dalam file, Anda juga harus menentukan bahwa aturan ini berlaku untuk semua kode agen-pengguna spider. Setiap laba-laba yang mengunjungi situs Anda harus membaca file dan pergi tanpa mengindeks bagian apa pun dari situs Anda. Misalnya, file "robots.txt" akan terlihat seperti:

User-agent: * Disallow: /

Laba-laba Baik dan Buruk

Ada laba-laba yang baik dan ada laba-laba yang buruk. Laba-laba yang baik berasal dari perusahaan terkemuka seperti Google, Yahoo atau Microsoft dan mematuhi aturan dalam file "robots.txt" Anda. Laba-laba jahat berasal dari individu atau perusahaan yang dengan sengaja mengabaikan file "robots.txt" dan berpotensi mengindeks seluruh konten situs Anda terlepas dari apa yang Anda izinkan atau tolak. Robot-robot ini kadang-kadang mencari informasi spesifik seperti alamat email, untuk dijual kepada pengirim spam, atau informasi pribadi tentang pengguna, untuk dijual ke perusahaan lain. Laba-laba menjelajahi seluruh situs Anda, mencari informasi atau konten yang belum Anda sembunyikan atau lindungi dengan baik. Webmaster yang berbeda memiliki cara berbeda dalam berurusan dengan laba-laba nakal. Beberapa hanya mencoba mengidentifikasi siapa mereka dan memblokirnya dari mengindeks konten di situs. Yang lain mencoba menimbulkan kerusakan dengan meracuni basis data laba-laba dengan informasi palsu atau dengan menipu laba-laba menjadi lingkaran tanpa akhir yang membuatnya berhenti atau dibatalkan.

Pot Madu, tempat madu, wadah madu

Honeypot atau tarpit adalah teknik yang digunakan oleh beberapa webmaster untuk mengidentifikasi laba-laba jahat sehingga mereka dapat diblokir. Anda dapat membuat honeypot hanya dengan menambahkan direktori yang berisi konten palsu, seperti alamat email, dan secara khusus menolak direktori itu di file "robots.txt". Log server akan memberi tahu Anda laba-laba mana yang mengakses direktori, dan Anda dapat merekam string agen-pengguna dan alamat IP mereka. Dengan informasi itu, Anda bisa membuat aturan di file WordPress "htaccess" yang menolak akses ke spider jahat ini. Honeypot perlu diperiksa secara berkala untuk menangkap robot nakal baru dari mengakses situs Anda.