scrapy

ウェブクローリングのフレームワークです。 もっと詳しく: https://scrapy.org。

• プロジェクトを作成する:

scrapy startproject プロジェクト名

• スパイダーを作成する (プロジェクトのディレクトリ内での実行):

scrapy genspider スパイダー名 ウェブサイトのドメイン名

• スパイダーを編集する (プロジェクトのディレクトリ内での実行):

scrapy edit スパイダー名

• スパイダーを実行する (プロジェクトのディレクトリ内での実行):

scrapy crawl スパイダー名

• Scrapyが見るようにWebページを取得しソースをstdout(標準出力)に表示する:

scrapy fetch url

• Scrapyが見ているようにデフォルトブラウザ内でウェブページを開く(より応答に忠実であるようにするためにJavaScriptを無効化している):

scrapy view url

• URL用のScrapyシェルを開き、Python(もしくは可能であればIPython)シェル内でページソースとの対話式でのやり取りを可能にする:

scrapy shell url