scrapy

Web 爬取框架。 更多信息：https://scrapy.org.

• 创建一个项目：

scrapy startproject 项目名

• 创建一个爬虫（在项目目录下）：

scrapy genspider 爬虫名 站点域名

• 编辑爬虫（在项目目录下）：

scrapy edit 爬虫名

• 运行爬虫（在项目目录下）：

scrapy crawl 爬虫名

• 抓取一个网页并将它的网页源码打印至标准输出：

scrapy fetch url

• 使用默认浏览器打开给定的 URL 来确认是否符合期望（为确保准确会禁用 JavaScript）：

scrapy view url

• 通过给定的 URL 打开交互窗口，除此之外还支持 UNIX 风格的本地文件路径：

scrapy shell url