大概记录一下：#coding:utf8"""@authorNemo@time2024/04/2000:06"""importtimefromDrissionPageimportChromiumPage,ChromiumOptionsdefget_ua():"""获取浏览原始UA:return:"""co=ChromiumOptions()#无头模式co.headless()co.set_argum

使用Selenium模拟操作浏览器时，除了界面上展示的内容，有时候也需要关心一些浏览器中发送的浏览器请求，毕竟其中某些请求的结果数据并不会展示到界面上，但是又跟实际采集业务相关。在高版本（4.x）的Selenium中可以直接开启性能日志即可：fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium

近期在玩一些爬虫类的东西，其中需要用到Selenium。稍微简单封装了个Selenium操作工具，后续很可能会用得上，所以这里简单记录下。这里的封装主要做了两个事情：强制单线程执行Selenium防止内存溢出+浏览器管理，加入Selenium指纹特征屏蔽防止被检测。#coding:utf8"""selenium操作工具@authorNemo@time2022/05/1711:46"""import

Python:importrequestsfrombs4importBeautifulSoupurl='http://top.baidu.com/buzz?b=1&fr=topbuzz_b1'save_path='hot_python.txt'if__name__=='__main__':content=requests.get(url).contentsoup=BeautifulSoup......

简单实现了下，自动保存豆瓣美女网站的图片到本地，仅作学习参考：importrequestsimportosfromlxmlimportetreeimportrandomimportstringimportdatetime#保存目录path='D://photos/'headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64;rv:60.0)Geck......

如图，简单记录下：

varhttp=require('http');varcheerio=require('cheerio');varurl='http://www.link-nemo.com/Cynthia/index.do';functionfilterChapters(html){       var$=cheerio.load(html);......