Сделайте автономную копию сайта с помощью Wget в Windows и Linux

Сделайте автономную зеркальную копию сайта с помощью Wget в Windows и Linux

Иногда вам нужно получить доступную для просмотра копию веб-сайта, чтобы вы могли получить к ней доступ в автономном режиме, подключить USB-накопитель или даже загрузить на свой смартфон и прочитать ее во время полета или путешествия. Хотя в современных браузерах и операционных системах легко сохранить веб-страницу в формате PDF, обработка каждой отдельной страницы может раздражать. А вот и wget.

Wget - это менеджер загрузок с открытым исходным кодом. Это консольное приложение, разработанное в первую очередь для Linux, но успешно перенесенное на другие ОС, включая Windows и MacOS.

Если вы не знакомы с wget, вам обязательно стоит попробовать. Это очень мощно. Он позволяет получать файлы с веб-сайтов, используя HTTP, HTTPS и FTP, Интернет-протоколы, которые мы используем в наши дни. Его поведение контролируется аргументами командной строки.

Wget поддерживает множество опций для получения файлов при медленных или нестабильных соединениях, в том числе повторные попытки, продолжение с того места, где оно осталось, и многое другое. Он поддерживает файл robots.txt, поэтому может работать как поисковый робот. Он может извлекать только измененные файлы, поддерживает подстановочные знаки, ограничения типов файлов и обычные расширения.

Wget поддерживает рекурсивное извлечение веб-сайтов в формате HTML и FTP-серверов, что позволяет создавать зеркала веб-сайтов. Вот как это можно сделать.

Прежде чем продолжить, вам необходимо получить приложение wget.

Получить Wget в Windows

Обычно я использую двоичные файлы из этих источников:

• Вечно скучный
• SourceForge

Оба делают свое дело.

Получите Wget в Linux

Используйте менеджер пакетов вашего дистрибутива. Некоторые примеры (запустите их как корень):

Debian / Ubuntu / Mint:

подходящая установка wget

CentOS / Redhat

ням установить wget

Arch Linux

pacman -Sy wget

Пустота Linux

xbps-install -S wget

Чтобы сделать офлайн-копию сайта с помощью Wget,

1. Открытым командная строка / Терминал.
2. В Windows введите полный путь к файлу wget.exe.
3. В Linux введите просто wget.
4. Теперь введите следующие аргументы, чтобы получить следующую команду: wget --mirror --convert-links --adjust-extension --page-Requisites --no-parent https://site-to-download.com
5. Заменить https://site-to-download.com часть с фактическим URL-адресом сайта, который вы хотите сделать зеркалом.

Вы сделали!

Вот переключатели, которые мы используем:

• --зеркало - применяет ряд параметров, чтобы сделать загрузку рекурсивной.
• - нет родителей - Не сканировать родительский каталог, чтобы получить только часть сайта.
• --convert-links - заставляет все ссылки корректно работать с офлайн-копией.
• --page-реквизиты - загрузите файлы JS и CSS, чтобы сохранить исходный стиль страницы при просмотре локального зеркала.
• --adjust-extension - добавляет к файлам соответствующие расширения (например, html, css, js), если они были получены без них.

Вот и все.