Зробіть автономну копію сайту за допомогою Wget у Windows та Linux

Зробіть офлайн-дзеркальну копію сайту за допомогою Wget у Windows та Linux

Іноді вам потрібно отримати доступну для перегляду копію веб-сайту, щоб ви могли отримати до нього доступ в автономному режимі, підключити USB-накопичувач або навіть завантажити на свій смартфон і прочитати його під час польоту чи подорожі. Хоча в сучасних браузерах та операційних системах легко зберегти веб-сторінку у форматі PDF, обробка кожної окремої сторінки може бути неприємною. Ось wget.

Wget — це менеджер завантажень з відкритим кодом. Це консольна програма, розроблена в основному для Linux, але успішно перенесена на інші ОС, включаючи Windows і MacOS.

Якщо ви не знайомі з wget, вам обов’язково варто спробувати. Це дуже потужно. Він дозволяє отримувати файли з веб-сайтів за допомогою HTTP, HTTPS і FTP, Інтернет-протоколів, які ми використовуємо сьогодні. Його поведінка контролюється аргументами командного рядка.

Wget підтримує різноманітні параметри для отримання файлів при повільних або нестабільних з'єднаннях, включаючи повторні спроби, продовження, де він залишився, тощо. Він підтримує файл "robots.txt", тому може працювати як веб-сканер. Він може отримувати лише змінені файли, підтримує символи підстановки, обмеження типів файлів і звичайні розширення.

Wget підтримує рекурсивне отримання HTML веб-сайтів і FTP-серверів, що дозволяє створити дзеркало веб-сайту. Ось як це можна зробити.

Перш ніж продовжити, вам потрібно отримати програму wget.

Завантажте Wget на Windows

Зазвичай я використовую двійкові файли з цих джерел:

• Вічно нудьгувати
• SourceForge

Обидва виконують свою роботу.

Завантажте Wget на Linux

Використовуйте менеджер пакетів свого дистрибутива. Деякі приклади (запустити їх як root):

Debian/Ubuntu/Mint:

apt встановити wget

CentOS/Redhat

yum встановити wget

Arch Linux

pacman -Sy wget

Порожня Linux

xbps-install -S wget

Щоб зробити офлайн-копію сайту за допомогою Wget,

1. відчинено командний рядок / термінал.
2. У Windows введіть повний шлях до файлу wget.exe.
3. У Linux введіть просто wget.
4. Тепер введіть такі аргументи, щоб отримати таку команду: wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://site-to-download.com
5. Замініть https://site-to-download.com частина з фактичною URL-адресою сайту, дзеркалом якої ви хочете зробити.

Ви закінчили!

Ось перемикачі, які ми використовуємо:

• --дзеркало - застосовує ряд параметрів, щоб зробити завантаження рекурсивним.
• --без батьків – Не скануйте батьківський каталог, щоб отримати лише частину сайту.
• --convert-links - забезпечує належну роботу всіх посилань з автономною копією.
• --page-requisites - завантажте файли JS та CSS, щоб зберегти оригінальний стиль сторінки під час перегляду локального дзеркала.
• --adjust-extension - додає відповідні розширення (наприклад, html, css, js) до файлів, якщо вони були отримані без них.

Це воно.