ChatGPT炒股爬取传感器专家网上的传感器企业
传感器专家网上有很齐全的传感器企业名录。对于想研究传感器行业的投资者,这是一份基础性资料。
不过,这个网站上的网页数据是无限下拉的,动态加载,爬取有些麻烦。
打开network,可以看到真实的网址:https://www.sensorexpert.com.cn/v2/brand/rec-list?page=71&pageSize=15&type=0
不过,有很多页面,而且不知道到底有多少页面。
把网址放到postman里面,模拟请求,尝试几次,终于知道页面数量:262页
每页返回的数据是json格式:
类似这样的:
{"total":3923,"list":[{"id":6182,"full_name":"鑫精诚传感器","logo":"https://i0.sensorexpert.com.cn/company/20230703/FtbfNy6shN.png?x-oss-process=style/f300","summary":"压力传感器、称重传感器、智能变送器、智能仪表","url":"/brand/6182.html","total":203,"product_arr":[{"id":17661418,"title":"XJC-100KS","cpbh":"XJC-100KS","cover_image":"https://static.sensorexpert.com.cn/cp/upload/image/20230520/1684578576916112_238x178.png","url":"/prod/detail/17661418.html"}
现在,可以在ChatGPT中输入提示词了:
写一段Python程序,批量爬取网页数据,具体步骤如下:
打开网站:https://www.sensorexpert.com.cn/v2/brand/rec-list?page={pagenumber}&pageSize=15&type=0
其中,pagenumber参数的值是从0到262;
获取返回的json数据,打印出来;
解析其中的"data"字段内容,这是一个json数据;
然后解析其中的"list"字段内容,这是一个json数据;
然后提取其中的字段:"id"、"full_name"、"logo"、"summary"、"url"、"total";
保存这些字段内容到F盘的“传感器企业大全(传感器专家网)20230714.xlsx”
注意:每一步都要输出信息;
每爬取1页内容后暂停5秒;
一共3939条数据,全部成功爬取。
需要【传感器企业大全20230714】这个表格数据的朋友,可以加入“AIGC部落”然后下载。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhhhckfj
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
微信运动停用后别人还能看到步数吗
PHP中文网 07-22 -
excel打印预览压线压字怎么办
PHP中文网 06-22