Cara Menggunakan Robots.Txt untuk Memblokir Subdomain
Situs web adalah cara yang baik untuk mempromosikan bisnis kecil Anda, serta memamerkan produk dan kualifikasi unik Anda. Jika Anda mengelola situs web besar, Anda mungkin menggunakan beberapa subdomain dan setiap subdomain memiliki folder sendiri di host Web Anda. Jika Anda tidak ingin crawler mesin pencari menguraikan dan mengindeks subdomain tertentu, Anda dapat menggunakan file robots.txt untuk memblokirnya.
1.
Klik tombol Mulai di sudut kiri bawah layar Anda.
2.
Ketik "Notepad" di kotak pencarian di bagian bawah menu Start.
3.
Klik "Notepad" di bagian Program di bagian atas menu Start untuk meluncurkan Notepad. Dokumen baru secara otomatis dibuat di Notepad.
4.
Masukkan dua baris ini dalam dokumen Notepad untuk memblokir semua robot agar tidak menguraikan subdomain:
User-agent: * Disallow: /
5.
Tekan "Ctrl-S" untuk membuka jendela "Save As".
6.
Ketik "robots.txt" di kotak "Nama File", pilih folder tempat Anda ingin menyimpan file dan klik "Simpan" untuk menyimpannya.
7.
Unggah file robots.txt yang Anda simpan ke direktori root dari setiap domain yang ingin Anda lindungi dari crawler mesin pencari. Direktori root adalah direktori tingkat atas.
Tip
- Anda dapat mengunggah file menggunakan perangkat lunak klien FTP atau bahkan manajer file Web host Anda.