SCRAPY命令
SCRAPY命令
- 创建一个新的项目
scrapy startproject 一个项目的名称
注释:我们可以进入创建的项目执行相关的命令 cd demo1
2.生成爬虫
scrapy genspider 文件名 网址
3.运行(crawl)
scrapy crawl 爬虫名称
4.check检查错误
scrapy check
5.list返回项目所有spider名称
scrapy list
6.fetch 帮助我们下载网页,将网页源代码返回(前面是一些日志,后面是源代码)
也可以加一些参数,得到headers,并不输出日志文件
在这里插入图片描述
7.view请求Url,把它的网页源代码保存成文件,并打开网页
在做网页测试的时候很有用,可以测试ajax内容,我们知道淘宝的页面很复杂,很多网页内容都是用ajax保存的。
很多内容没有加载,采取其他方式爬ajax内容
8.shell方法,命令行交互模式
传入了url进入了交互模式
甚至可以调用CSS选择器
9.runspider运行爬虫文件,与crawl的去区别是runspider运行的是文件的名称 拓展名
10.version 输出scrapy版本参数-v可以输出依赖库的版本
11.bench 做测试用,反映当前性能,爬虫速度
自行测试~~~
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhgfhjjg
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01