scrapy

웹 크롤링 프레임워크. 더 많은 정보: https://scrapy.org.

• 프로젝트 생성:

scrapy startproject 프로젝트_이름

• 스파이더 생성 (프로젝트 디렉토리에서):

scrapy genspider 스파이더_이름 웹사이트_도메인

• 스파이더 편집 (프로젝트 디렉토리에서):

scrapy edit 스파이더_이름

• 스파이더 실행 (프로젝트 디렉토리에서):

scrapy crawl 스파이더_이름

• Scrapy가 인식하는 방식으로 웹페이지를 가져와 stdout에 소스 출력:

scrapy fetch URL

• Scrapy가 인식하는 방식으로 웹페이지를 기본 브라우저에서 열기 (더 정확하게 보려면 JavaScript 비활성화):

scrapy view URL

• URL에 대한 Scrapy 셸 열기, 이 셸을 통해 Python 셸(IPython이 가능하다면)을 사용하여 페이지 소스와 상호작용 가능:

scrapy shell URL