Erstellen Sie eine Offline-Kopie einer Site mit Wget unter Windows und Linux

Erstellen Sie eine Offline-Spiegelkopie einer Site mit Wget unter Windows und Linux

Manchmal benötigen Sie eine durchsuchbare Kopie einer Website, damit Sie offline darauf zugreifen, einen USB-Stick anstecken oder sogar auf Ihr Smartphone hochladen und beim Fliegen oder Reisen lesen können. Während es in modernen Browsern und Betriebssystemen einfach ist, eine Webseite als PDF zu speichern, kann es lästig sein, jede einzelne Seite zu verarbeiten. Hier kommt Wget.

Wget ist ein Open-Source-Download-Manager. Es ist eine Konsolen-App, die hauptsächlich für Linux entwickelt wurde, aber erfolgreich auf andere Betriebssysteme portiert wurde, einschließlich Windows und MacOS.

Wer wget nicht kennt, sollte es unbedingt ausprobieren. Es ist sehr mächtig. Es ermöglicht das Abrufen von Dateien von Websites mit HTTP, HTTPS und FTP, den Internetprotokollen, die wir heutzutage verwenden. Sein Verhalten wird durch Befehlszeilenargumente gesteuert.

Wget unterstützt eine Vielzahl von Optionen, um Dateien bei langsamen oder instabilen Verbindungen abzurufen, einschließlich Wiederholungen, Fortfahren dort, wo es aufgehört hat, und mehr. Es unterstützt die Datei "robots.txt", sodass es wie ein Webcrawler funktionieren kann. Es kann nur geänderte Dateien abrufen, unterstützt Platzhalter, Dateitypbeschränkungen und reguläre Erweiterungen.

Wget unterstützt den rekursiven Abruf von HTML-Websites und FTP-Servern, sodass Sie einen Website-Spiegel erstellen können. Hier ist, wie es gemacht werden kann.

Bevor Sie fortfahren, müssen Sie die wget-App herunterladen.

Holen Sie sich Wget unter Windows

Normalerweise verwende ich Binärdateien aus diesen Quellen:

• Ewig gelangweilt
• SourceForge

Beide machen ihre Arbeit.

Holen Sie sich Wget unter Linux

Verwenden Sie den Paketmanager Ihrer Distribution. Einige Beispiele (run sie als Wurzel):

Debian/Ubuntu/Mint:

apt installieren wget

CentOS/Redhat

yum installiere wget

Arch Linux

pacman -Sy wget

Leeres Linux

xbps-install -S wget

Um eine Offline-Kopie einer Site mit Wget zu erstellen,

1. Offen Eingabeaufforderung / Terminal.
2. Geben Sie unter Windows den vollständigen Pfad zur Datei wget.exe ein.
3. Geben Sie unter Linux einfach wget ein.
4. Geben Sie nun die folgenden Argumente ein, um den folgenden Befehl zu erhalten: wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://site-to-download.com
5. Ersetze das https://site-to-download.com Teil mit der tatsächlichen Site-URL, die Sie spiegeln möchten.

Du bist fertig!

Hier sind die Schalter, die wir verwenden:

• --Spiegel - wendet eine Reihe von Optionen an, um den Download rekursiv zu machen.
• --keine-eltern – Crawlen Sie nicht das übergeordnete Verzeichnis, um nur einen Teil der Site zu erhalten.
• --convert-links - sorgt dafür, dass alle Links ordnungsgemäß mit der Offline-Kopie funktionieren.
• --page-requirements - Laden Sie JS- und CSS-Dateien herunter, um den ursprünglichen Seitenstil beim Durchsuchen eines lokalen Spiegels beizubehalten.
• --adjust-extension - fügt Dateien die entsprechenden Erweiterungen (z. B. html, css, js) hinzu, wenn sie ohne diese abgerufen wurden.

Das ist es.