博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python爬虫---scrapy入门(一个实例来了解一下scrapy爬虫流程)
阅读量:4164 次
发布时间:2019-05-26

本文共 495 字,大约阅读时间需要 1 分钟。

scrapy框架简介

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛;框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常方便。

库安装:

pip install scrapyconda install scrapy

以scrapy的教程网站上的一个例子为例,我们来实例化一下scrapy爬虫。

#scrapy教程https://docs.scrapy.org/en/latest/intro/examples.html#目标站点http://quotes.toscrape.com/

新建scrapy项目

1、创建爬虫项目,命令:scrapy startproject 项目名称

scrapy startproject mySpider

2、创建爬虫文件,命令:scrapy genspider 文件名称 域名

创建完成后会自动生成一些文件

scrapy genspider quotoes quotes.toscrape.com

然后用pycharm打开项目文件,即可以看到生成的项目和

转载地址:http://jqoxi.baihongyu.com/

你可能感兴趣的文章
泛型 VS Data Table
查看>>
机房重构之组合查询
查看>>
回忆过去,畅想未来--2016下
查看>>
2月英语--感谢没有放弃
查看>>
sqlhelper重构
查看>>
CSS盒子模型
查看>>
C#美化窗体--IrisSkin4
查看>>
IIS发布网站
查看>>
ASP.NET模板使用--牛腩收仓
查看>>
HTML总结(一)
查看>>
3月英语--平平淡淡
查看>>
csf格式转换--逼自己一把
查看>>
ASP控件总结(一)
查看>>
Nginx+Keepalived技术分享
查看>>
Repeater&Validator控件使用
查看>>
细水翻起半点波涛--4月英语
查看>>
ASP--Active Server Pages Summary
查看>>
EF异常:对一个或多个实体的验证失败
查看>>
从XML中学习HTML
查看>>
常见的电脑病毒
查看>>