Python爬虫Python爬虫框架——Scrapy
一、Scrapy是什么?
An open source and collaborative framework for extracting the data you need from websites.
开源的爬虫框架
In a fast, simple, yet extensible way.
快速、简单、高效的方式
二、安装部署
If you’re using Anaconda or Miniconda, you can install the package from the conda-forge channel, which has up-to-date packages for Linux, Windows and macOS.
如果您使用的是Anaconda或Miniconda ,您可以从 conda - forge 频道安装该软件包,该频道包含适用于 Linux、Windows 和 macOS 的最新软件包。
To install Scrapy using conda, run:
要使用 安装 Scrapy conda,请运行:
conda install -c conda-forge scrapy
Alternatively, if you’re already familiar with installation of Python packages, you can install Scrapy and its dependencies from PyPI with:
或者,如果您已经熟悉 Python 包的安装,您可以从 PyPI 安装 Scrapy 及其依赖项:
在安装之前进行pip 升级,使用清华源安装
python -m pip install --upgrade pip -i https://pypi.douban.com/simple
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
We strongly recommend that you install Scrapy in a dedicated virtualenv, to avoid conflicting with your system packages.
我们强烈建议您将 Scrapy 安装在专用的 virtualenv中,以避免与您的系统包冲突。
三、基本使用
1.创建一个项目
scrapy startproject test_scrapy
项目目录:
- scrapy.cfg 【项目的配置文件】
- settings.py 【项目的配置文件】
- spiders/ 【防止 爬虫代码的目录】
2.编写爬虫代码
创建一个爬虫代码
scrapy genspider [options] <name> <domain>
Eg:scrapy genspider python01 www.xxx.com
注意事项
name:
1.不能重复
2.爬虫文件的名字
‘’’
name = ‘python01’
‘’’
scrapy 允许爬取的 url
‘’’
allowed_domains = [‘www.百度.com’]
‘’’
scrapy 去爬取的 url 列表
‘’’
start_urls = [‘http://www.百度.com/’,‘https://www.sougou.com’]
3.启动爬虫项目
启动命令
scrapy runspider [options] <spider_file>
scrapy runspider./test_scrapy/spiders/python01.py
scrapy crawl python01
scrapy crawl python01 --nolog 【使用命令 不显示日志信息】
数据解析
- 标签定位:
返回 selector(xpath,data[xpath表达式 结果]) - 数据解析
返回 selector(xpath,data[xpath表达式 结果]) - 取值
- .get()
- .getall()
存储数据【持久化数据】
scrapy crawl python01 -o ./filename.json/csv 【不支持txt格式】
总结
若仍有问题存在可访问官方文档:https://docs.scrapy.org/en/latest/intro/tutorial.html
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhgfiffb
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01