WindowsおよびLinuxでWgetを使用してサイトのオフラインコピーを作成する

WindowsおよびLinuxでWgetを使用してサイトのオフラインミラーコピーを作成する

Webサイトの閲覧可能なコピーを入手する必要がある場合があります。これにより、オフラインでアクセスしたり、USBスティックを装着したり、スマートフォンにアップロードして、飛行機や旅行の際に読んだりできます。最近のブラウザやオペレーティングシステムでは、WebページをPDFに保存するのは簡単ですが、すべてのページを処理するのは面倒な場合があります。これがwgetです。

Wgetはオープンソースのダウンロードマネージャーです。これは主にLinux用に開発されたコンソールアプリですが、WindowsやMacOSなどの他のOSに正常に移植されています。

wgetに慣れていない場合は、ぜひ試してみてください。とてもパワフルです。最近使用しているインターネットプロトコルであるHTTP、HTTPS、FTPを使用してWebサイトからファイルをフェッチできます。その動作は、コマンドライン引数によって制御されます。

Wgetは、再試行、終了した場所からの続行など、低速または不安定な接続でファイルを取得するためのさまざまなオプションをサポートしています。「robots.txt」ファイルをサポートしているため、Webクローラーのように機能します。変更されたファイルのみを取得でき、ワイルドカード、ファイルタイプの制限、および通常の拡張子をサポートします。

Wgetは、HTML WebサイトとFTPサーバーの再帰的な取得をサポートしているため、Webサイトをミラーリングできます。これがその方法です。

先に進む前に、wgetアプリを入手する必要があります。

WindowsでWgetを入手する

私は通常、これらのソースからのバイナリを使用します。

EternallyBored
SourceForge

両方とも彼らの仕事をします。

LinuxでWgetを入手する

ディストリビューションのパッケージマネージャーを使用します。いくつかの例（実行ルートとしてそれら):

Debian / Ubuntu / Mint：

apt install wget

CentOS / Redhat

yum install wget

Arch Linux

pacman -Sy wget

Void Linux

xbps-install -S wget

Wgetを使用してサイトのオフラインコピーを作成するには、

開けるコマンド・プロンプト / ターミナル.
Windowsでは、wget.exeファイルへのフルパスを入力します。
Linuxでは、wgetと入力します。
次に、次の引数を入力して、次のコマンドを取得します。 wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://site-to-download.com
交換してください https://site-to-download.com ミラーリングしたい実際のサイトURLの部分。

これで完了です。

使用するスイッチは次のとおりです。

- 鏡 -ダウンロードを再帰的にするためにいくつかのオプションを適用します。
-親なし –サイトの一部のみを取得するために、親ディレクトリをクロールしないでください。
--convert-links -すべてのリンクがオフラインコピーで正しく機能するようにします。
-ページ-必要条件 -ローカルミラーを参照するときに元のページスタイルを保持するために、JSファイルとCSSファイルをダウンロードします。
--adjust-extension -ファイルがない場合は、適切な拡張子（html、css、jsなど）をファイルに追加します。

それでおしまい。