Windows 및 Linux에서 Wget을 사용하여 사이트의 오프라인 사본 만들기

Windows 및 Linux에서 Wget을 사용하여 사이트의 오프라인 미러 복사본 만들기

때로는 웹 사이트의 탐색 가능한 복사본을 가져와야 합니다. 그래야 오프라인에서 액세스하거나 USB 스틱에 저장하거나 스마트폰에 업로드하여 비행 중이거나 여행할 때 읽을 수 있습니다. 최신 브라우저 및 운영 체제에서는 웹 페이지를 PDF로 저장하는 것이 쉽지만 모든 단일 페이지를 처리하는 것은 성가실 수 있습니다. 여기에 wget이 있습니다.

Wget은 오픈 소스 다운로드 관리자입니다. 주로 Linux용으로 개발된 콘솔 앱이지만 Windows 및 MacOS를 포함한 다른 OS에서도 성공적으로 이식되었습니다.

wget에 익숙하지 않다면 반드시 시도해 보십시오. 그것은 매우 강력합니다. 그것은 우리가 요즘 사용하는 인터넷 프로토콜인 HTTP, HTTPS 및 FTP를 사용하여 웹 사이트에서 파일을 가져올 수 있습니다. 그 동작은 명령줄 인수에 의해 제어됩니다.

Wget은 재시도를 포함하여 느리거나 불안정한 연결에서 파일을 검색하는 다양한 옵션을 지원합니다. "robots.txt" 파일을 지원하므로 웹 크롤러처럼 작동할 수 있습니다. 수정된 파일만 검색할 수 있으며 와일드카드, 파일 형식 제한 및 일반 확장자를 지원합니다.

Wget은 HTML 웹 사이트 및 FTP 서버의 재귀 검색을 지원하므로 웹 사이트 미러를 만들 수 있습니다. 다음은 수행할 수 있는 방법입니다.

계속하기 전에 wget 앱을 받아야 합니다.

Windows에서 Wget 받기

나는 일반적으로 다음 소스의 바이너리를 사용합니다.

영원히 지루하다
소스포지

둘 다 일을 합니다.

Linux에서 Wget 받기

배포판의 패키지 관리자를 사용하십시오. 몇 가지 예(실행 그것들을 루트로):

데비안/우분투/민트:

적절한 설치 wget

CentOS/레드햇

냠 설치 wget

아치 리눅스

팩맨 -Sy wget

무효 리눅스

xbps-install -S wget

Wget으로 사이트의 오프라인 사본을 만들려면,

열려있는 명령 프롬프트 / 단말기.
Windows의 경우 wget.exe 파일의 전체 경로를 입력합니다.

Linux에서는 wget만 입력합니다.
이제 다음 인수를 입력하여 다음 명령을 가져옵니다. wget --mirror --convert-links --adjust-extension --page-requisites --no-parent https://site-to-download.com
교체 https://site-to-download.com 미러를 만들고자 하는 실제 사이트 URL이 있는 부분.

당신은 끝났습니다!

우리가 사용하는 스위치는 다음과 같습니다.

--거울 - 다운로드를 재귀적으로 만들기 위해 여러 옵션을 적용합니다.
--부모 없음 – 사이트의 일부만 가져오기 위해 상위 디렉토리를 크롤링하지 마십시오.
--변환 링크 - 모든 링크가 오프라인 사본과 제대로 작동하도록 합니다.
--페이지 요구 사항 - JS 및 CSS 파일을 다운로드하여 로컬 미러를 탐색할 때 원래 페이지 스타일을 유지합니다.
--adjust-확장 - 적절한 확장자(예: html, css, js) 없이 검색된 경우 파일에 추가합니다.

그게 다야