详解用Python爬虫获取百度企业信用中企业基本信息

站长资源 2024/11/24 佚名

2 0 1

一、背景

希望根据企业名称查询其经纬度，所在的省份、城市等信息。直接将企业名称传给百度地图提供的API，得到的经纬度是非常不准确的，因此希望获取企业完整的地理位置，这样传给API后结果会更加准确。
百度企业信用提供了企业基本信息查询的功能。希望通过Python爬虫获取企业基本信息。目前已基本实现了这一需求。
本文最后会提供具体的代码。代码仅供学习参考，希望不要恶意爬取数据！

二、分析

以苏宁为例。输入“江苏苏宁”后，查询结果如下：

经过分析，这里列示的企业信息是用JavaScript动态生成的。服务器最初传过来的未经渲染的HTML如下：

注意其中标注出来的JS代码。有意思的是，企业基本信息都可以直接从这段JS代码中获取，无需构造复杂的参数。

这是进一步查看的结果，注意那个“resultList”，后面存放的就是页面中的企业信息。显然，利用正则表达式提取需要的字符串，转换成JSON就可以了。

三、源码

以下代码为查询某个企业的基本信息提供了API：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Author: Wild Orange
# @Email: jixuanfan_seu@163.com
# @Date:  2020-06-19 22:38:14
# @Last Modified time: 2020-07-01 17:33:13

import requests
import re
import json

headers={'User-Agent': 'Chrome/76.0.3809.132'}

#正则表达式提取数据
re_get_js=re.compile(r'<script>([\s\S]*"resultList":(\[{.+"color: #ff0000">四、使用方法
直接将需要查询的企业名称传入Get_company_info：


res=Get_company_info('江苏苏宁')
	print(res)



结果：





需要注意的是：
返回的是字典构成的数组，每个字典元素代表一家企业的信息。顺序与浏览器中显示的顺序相同。字典中参数的含义已在_parse_baidu_company_info函数的注释中说明。程序仅获取第一页的信息。如果要查询多页，可以修改源码。程序仅获取企业的基本信息，没有进入企业的具体页面，如：苏宁物流具体页面。不过返回结果中的pid或bid应该能用于构造查询页面的URL。
最后再次强调：代码仅供学习参考，希望不要恶意爬取数据！

Python爬虫获取百度企业信用,Python,百度企业信用爬取

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“详解用Python爬虫获取百度企业信用中企业基本信息”

暂无评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月24日

详解用Python爬虫获取百度企业信用中企业基本信息

Keras搭建自编码器操作

python 识别登录验证码图片功能的实现代码（完整代码）

评论“详解用Python爬虫获取百度企业信用中企业基本信息”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接