Cara Mengunduh Semua Halaman dari Situs Web di Linux

Wget adalah perangkat lunak open source yang kuat di Linux yang dapat digunakan untuk mengunduh konten dari situs web. Terkadang perlu untuk membuat salinan dari semua konten di situs web, mungkin untuk membuat mirror situs atau untuk mempertahankan konten saat ini untuk digunakan nanti. Dengan Wget, seluruh situs web dapat diunduh dengan satu perintah satu baris.

1.

Pastikan bahwa wget diinstal dengan menggunakan perintah "yang". Mengetik "yang wget", tanpa tanda kutip, di terminal akan menunjukkan di mana Wget diinstal pada komputer Linux. Jika Wget tidak diinstal, gunakan alat instalasi perangkat lunak distribusi seperti Yum atau Apt-get untuk menginstal Wget.

2.

Atur bendera untuk mencerminkan situs web. Wget memiliki banyak flag yang dapat diatur untuk mengubah perilaku program. Bendera "-m" digunakan untuk mengunduh seluruh situs web. Misalnya, ketik:

wget -m www.fake-web-site.com

Ini menciptakan salinan lokal "www.fake-web-site.com" di komputer Anda. Secara default, Wget membuat direktori dengan nama yang sama dengan situs web di dalam direktori tempat dieksekusi.

3.

Periksa apakah konten diperoleh dengan membuka salinan lokal halaman di browser.

Hal-hal yang Dibutuhkan

• wget

Peringatan

• Wget dapat mengkonsumsi sejumlah besar bandwidth ketika meminta konten dari server. Juga, beberapa firewall dapat menafsirkan permintaan cepat dari satu klien sebagai serangan, yang dapat menyebabkan alamat IP Anda diblokir sementara dari server. Pastikan flag -w diatur untuk membatasi waktu antara permintaan. Sebagai contoh:
• wget -m -w 10 www.fake-web-site.com
• akan membuat Wget menunggu selama 10 detik sebelum meminta file selanjutnya dari server.