说起爬虫一般想到的情况是,使用 python 中都通过 requests 库获取网页内容,然后通过 beautifulSoup 进行筛选文档中的标签和内容。但是这样有个问题就是,容易被反扒机制所拦住。
反扒机制有很多种,例如知乎:刚开始只加载几个问题,当你往下滚动时才会继续往下面加载,而且在往下滚动一段距离时就会出来一个登陆的弹框。
这样的机制对于通过获取服务器返回内容的爬虫方式进行了限制,我们只能获得前几个回答,而没办法或许后面的回答。
所以需要使用 selenium 模拟真实浏览器进行操作。
最终实现效果如下:
前提是需要自行搜索教程安装:
- chromeDriver
- selenium 库
想要使用下面代码的可以直接修改 driver.get()
里的地址,然后爬取结果最终会存在message.txt
文件中
代码如下:
from selenium import webdriver # 从selenium导入webdriver from selenium.webdriver.common.by import By # 内置定位器策略集 from selenium.webdriver.support.wait import WebDriverWait # 用于实例化一个Driver的显式等待 from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.action_chains import ActionChains import time option = webdriver.ChromeOptions() option.add_argument("headless") driver = webdriver.Chrome() # chrome_options=option 这个参数设置之后可以隐藏浏览器 driver.get('https://www.zhihu.com/question/22110581') #修改这里的地址 file = open("./messages.txt", "w") def waitFun(): js = """ let equalNum = 0; window.checkBottom = false; window.height = 0; window.intervalId = setInterval(()=>{ let currentHeight = document.body.scrollHeight; if(currentHeight === window.height){ equalNum++; if(equalNum === 2){ clearInterval(window.intervalId); window.checkBottom = true; } }else{ window.height = currentHeight; window.scrollTo(0,window.height); window.scrollTo(0,window.height-1000); } },1500)""" # 这个暂停一下是因为要等待页面将下面的内容加载出,这个 1500 可以根据自己的网络快慢进行适当的调节 # 这里需要往上移动一下,因为不往上移动一下发现不会加载。 driver.execute_script(js) # selenium 可以获取 浏览器中 js 的变量。调用的js return def getHeight(nice): # 这里获取 js 中的 checkBottom 变量,作为到底部时进行停止。 js = """ return window.checkBottom; """ return driver.execute_script(js) try: # 先触发登陆弹窗。 WebDriverWait(driver, 40, 1).until(EC.presence_of_all_elements_located( (By.CLASS_NAME, 'Modal-backdrop')), waitFun()) # 点击空白关闭登陆窗口 ActionChains(driver).move_by_offset(200, 100).click().perform() # 当滚动到底部时 WebDriverWait(driver, 40, 3).until(getHeight, waitFun()) # 获取回答 answerElementArr = driver.find_elements_by_css_selector('.RichContent-inner') for answer in answerElementArr: file.write('==================================================================================') file.write('\n') file.write(answer.text) file.write('\n') print('爬取成功 '+ str(len(answerElementArr)) +' 条,存入到 message.txt 文件内') finally: driver.close() #close the driver
这套代码实现了打开知乎,然后自动向下滑动,当弹出登陆框时,自动点击左上角关闭登陆框。然后继续向下滑动,加载页面,直到滑动到底部。然后将内容写在 message.txt 文件里面。
selenium 功能非常强大, 可以模拟人为在浏览器的操作,进行输入、点击、滑动、播放、暂停等等操作,因此也可以用来写一些脚本,用来刷学时,抢课等等。
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
暂无评论...
更新日志
2024年12月25日
2024年12月25日
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]