伏龙阁资源网

如何用Node写页面爬虫的工具集
站长资源 2024/11/27 佚名
2 0

最近做了几个写爬虫的小项目（从页面端到APP端的都有），在网上搜寻了一番好用的爬虫工具，做了个工具集整理：

Puppeteer

简介

Puppeteer 是一个Node库，它提供了一个高级 API 来通过 DevTools协议控制Chromium或Chrome。简单点说，就是使用Node命令控制一个无需渲染至用户界面的浏览器。

与使用 PhantomJS 搭配 Python 进行爬虫抓取类似，其原理也是去完全地模拟一个浏览器进行页面的渲染，从而抓取其中某些特定的内容。

特性

Puppeteer 可以完整地模拟一个浏览器的行为，并且可以进行截图、拦截浏览器请求、获取Cookie、通过Node注入JS代码等操作，使用Chrome浏览器开发者工具能做到的，Puppeteer也能做到。

使用起来也十分的简单，以下是官方的例子：

const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch();
 const page = await browser.newPage();
 await page.goto('https://example.com');
 await page.screenshot({path: 'example.png'});

 await browser.close();
})();

在GitHub上放了一份自己写的使用Puppeteer获取微博cookie的代码，欢迎查看：

https://github.com/SP-Lyu/puppeteer_weibo_cookie/blob/master/index.js

由于 Puppeteer 基于Chromium，每次都需要载入页面再进行页面分析，性能十分有限，下面提到的 cheerio 则可以从另一层面解决这个问题。

文档

GitHub 

中文API地址

cheerio

cheerio 是一个轻型灵活，类jQuery的对HTML元素分析操作的工具。在进行一些server端渲染的页面以及一些简单的小页面的爬取时， cheerio 十分好用且高效。

特性

cheerio 包括了jQuery的核心子集，意味着可以直接使用jQuery的API进行元素的操控，官方的例子：

const cheerio = require('cheerio')
const $ = cheerio.load('<h2 class="title">Hello world</h2>')

$('h2.title').text('Hello there!')
$('h2').addClass('welcome')

$.html()
//=> <h2 class="title welcome">Hello there!</h2>

自己写的获取某个网站的所有a链接：

const cheerio = require('cheerio');
const get = function(){/*HTTP get请求...*/}
(async ()=>{
 const html = await get(`http://example.com`);
 const $ = cheerio.load(html);
 const $dom_arr = $('a');
 $dom_arr.each((index, elem)=>{
  const url = $(elem).attr('href') || '';
  console.log(url);
 });
})();

文档

GitHub

Auto.js

国人开发的，使用js编写代码操作Android设备的自动化工具，对于爬取某些加固措施较好的APP来说十分有用，而且有非常完善的文档以及社区，十分良心。

使用Auto.js进行设备自动化操作，再通过代理进行请求数据的获取，能绕开加固中难以破解的加密串。

特性

作为爬虫工具，好处有：

  1. 采用JavaScript作为脚本语言开发，JS开发者0成本接入；
  2. 兼容性良好，大多数任务不需要root权限；
  3. 自带界面分析工具，方便定位需要操作的元素。

从Auto.js载入某个APP，并点击进入某个频道的例子：

// 声明环境
auto();
// 设备常亮
device.keepScreenDim();
// 调起APP
launchApp('头条');
sleep(10000);
// 找到某个频道，并点击进入
var rect = text('视频').findOnce().bounds();
var x = rect.centerX();
var y = rect.centerY();
click(x, y);
// 点击进入详情，使用代理抓取并处理请求...
...

文档

GitHub
中文文档
社区

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
www.wwsws.com 伏龙阁资源网
39,976影音资源
44,792技术资源
21,817软件资源
651,128站长资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接