本文共 495 字,大约阅读时间需要 1 分钟。
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛;框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常方便。
库安装:pip install scrapyconda install scrapy
以scrapy的教程网站上的一个例子为例,我们来实例化一下scrapy爬虫。
#scrapy教程https://docs.scrapy.org/en/latest/intro/examples.html#目标站点http://quotes.toscrape.com/
1、创建爬虫项目,命令:scrapy startproject 项目名称
scrapy startproject mySpider
2、创建爬虫文件,命令:scrapy genspider 文件名称 域名
创建完成后会自动生成一些文件scrapy genspider quotoes quotes.toscrape.com
然后用pycharm打开项目文件,即可以看到生成的项目和
转载地址:http://jqoxi.baihongyu.com/