使用Selenium模拟操作浏览器时,除了界面上展示的内容,有时候也需要关心一些浏览器中发送的浏览器请求,毕竟其中某些请求的结果数据并不会展示到界面上,但是又跟实际采集业务相关。在高版本(4.x)的Selenium中可以直接开启性能日志即可:fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium
-
-
python Selenium 操作工具封装:反反爬虫+内存管理
近期在玩一些爬虫类的东西,其中需要用到Selenium。稍微简单封装了个Selenium操作工具,后续很可能会用得上,所以这里简单记录下。这里的封装主要做了两个事情:强制单线程执行Selenium防止内存溢出+浏览器管理,加入Selenium指纹特征屏蔽防止被检测。#coding:utf8"""selenium操作工具@authorNemo@time2022/05/1711:46"""import13,814 0 2022-06-10 16:27