Python爬取微信小程序通用方法代码实例详解

站长资源 2024/11/24 佚名

2 0 1

背景介绍

最近遇到一个需求，大致就是要获取某个小程序上的数据。心想小程序本质上就是移动端加壳的浏览器，所以想到用Python去获取数据。在网上学习了一下如何实现后，记录一下我的实现过程以及所踩过的小坑。本文关键词：Python，小程序，Charles抓包

目标小程序：

公众号“同城商圈网”左下角“找商家”->汽车维修->小车维修->所有的商家信息，如下图所示：

环境

PC端：Windows 10

移动端：iPhone

软件：Charles

Charles抓包

虽说网上大佬的教程很好很详细，但我想加入几个坑点解释，请点此查看Charles配置教程

Charles清空当前获取到的连接，防止干扰（学会使用这个黄色扫把！很有用）

打开微信小程序进入到指定界面，Charles中显示如下

进入到某个具体商家后，最先请求的是这个

于是我们猜测，这个可能就是小程序相关的http请求，点进去我们看一下

此时手机的界面是这样的

诶，好像就是这个！（其实我也是一个一个试了好久，多试试就会找到啦，当然如果你懂点英文，能看懂左侧的英文就更好了！merchant就是商家的意思~），

但是我们想要获取所有的商家信息怎么办呢？那就先点击Charles上的黄色小扫把~，再返回到商家列表看看

手机界面如下：

没错就是这个请求了！

分析请求

选中左边发送的请求，右边点击Overview选项卡，查看请求信息，我们不难发现这是个POST请求

我们知道POST请求提交的是表单，那么表单数据在哪里呢？我们可以在右边界面，鼠标右击，点击Copy Request就能获取表单数据了！

复制到这里看看：

{"pageIndex":1,"pageSize":50,"regionId":"8","categoryId":"148","orderRule":0}

看到这里，我们就能猜出个大概了，pageIndex是页码，pageSize是每页显示数量，regionId是地区编号，categoryId是货品编号，orderRule是排序规则，至此抓包结束，我们成功抓到了目标包！

本节抓包方法理论上适合所有小程序，其他的你们可以自行尝试哦~

编写python代码

这里我们就简单的写个demo

import requests

url = "http://api.tc688.net/api/services/app/merchant/LoadCategoryMerchants"
header = {
  'Origin':'http://zazhi.tc688.net',
  'Host':'api.tc688.net',
  'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 13_6_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/7.0.14(0x17000e2e) NetType/WIFI Language/zh_CN',
  'Referer':'http://zazhi.tc688.net/companylist"pageIndex":1,"pageSize":50,"regionId":"8","categoryId":"148","orderRule":0}
r = requests.post(url=url,data=data,headers=header)
print(r.text)

运行结果：

完整项目

有关数据处理以及更换地区的详细代码，请访问我的GitHub：GitHub

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

Python,爬取,微信小程序

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“Python爬取微信小程序通用方法代码实例详解”

暂无评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月24日

Python爬取微信小程序通用方法代码实例详解

python ssh 执行shell命令的示例

Scrapy基于scrapy_redis实现分布式爬虫部署的示例

评论“Python爬取微信小程序通用方法代码实例详解”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接