大概记录一下：#coding:utf8"""@authorNemo@time2024/04/2000:06"""importtimefromDrissionPageimportChromiumPage,ChromiumOptionsdefget_ua():"""获取浏览原始UA:return:"""co=ChromiumOptions()#无头模式co.headless()co.set_argum
-
-
Python Selenium获取浏览器中的网咯请求响应
使用Selenium模拟操作浏览器时，除了界面上展示的内容，有时候也需要关心一些浏览器中发送的浏览器请求，毕竟其中某些请求的结果数据并不会展示到界面上，但是又跟实际采集业务相关。在高版本（4.x）的Selenium中可以直接开启性能日志即可：fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium2,528 0 2024-01-18 10:43
-
解决pip安装库时提示UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 72: illegal multibyte sequence
基本都是在mac上做开发，偶尔切换到windows上写写代码，安装依赖包就出了问题。UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xaainposition72:illegalmultibytesequence操作系统是win11，尝试了设置系统环境变量PYTHONUTF8及调整lib\site-packages\pip_internal\utils\e4,831 0 2023-09-01 14:45
-
Python print如何一行覆盖输出？
简单记录下：importtimeforiinrange(100):time.sleep(0.4)#这种方式可以避免输出内容刷屏print('\r','count:'+str(i),end='')6,313 2 2023-06-11 19:13
-
单元测试编码规范
以下摘取自阿里巴巴java编码规范第三章-单元测试：强制1.好的单元测试必须遵守AIR原则。A：Automatic(自动化),I：Independent(独立性),R：Repeatable(可重复)2.单元测试应该是全自动执行的，并且非交互式的。测试用例通常是被定期执行的，执行过程必须完全自动化才有意义。输出结果需要人工检查的测试不是一个好的单元测试。单元测试中不准使用System.out来进行人11,320 0 2022-08-18 20:00
-
浅谈代码覆盖率
前言最近在重新学习单元测试方面的东西，无意间爬到有赞技术团队总结的这篇文章，反复读了几遍，有种醍醐灌顶的感觉。同时看了不少有赞总结的其他技术文章，虽然没有每个文章都细读，但是总也是受益颇多，由衷感谢写这些文章的作者！推荐收藏有赞技术团队网址：https://tech.youzan.com。以下是文章正文。引言经常有人问这样的问题：“我们在做单元测试，那测试覆盖率要到多少才行？”。答案其实很简答，“11,478 0 2022-08-16 11:06
-
Java & Python 里的泛型
泛型是Java里头比较有意思且有用的一个东西了。一个简单的例子：publicstaticIntegerparse(Integera1,Integera2){if(a1.equals(a2)){returna1;}returna2;}publicstaticFloatparse(Floata1,Floata2){if(a1.equals(a2)){returna1;}returna2;}可以看到，两12,739 1 2022-07-05 14:51
-
python Selenium 操作工具封装：反反爬虫+内存管理
近期在玩一些爬虫类的东西，其中需要用到Selenium。稍微简单封装了个Selenium操作工具，后续很可能会用得上，所以这里简单记录下。这里的封装主要做了两个事情：强制单线程执行Selenium防止内存溢出+浏览器管理，加入Selenium指纹特征屏蔽防止被检测。#coding:utf8"""selenium操作工具@authorNemo@time2022/05/1711:46"""import13,627 0 2022-06-10 16:27
-
nexus 搭建python私服：私有pip组件库
最近在搭建公司自己的python私有组件库，简单做一下记录：1、安装nexus。过程就不赘述了。2、nexus新建仓库：proxy（其他源代理仓库），设置其中的代理仓库，这里使用的是阿里云的；hosted（自主推送pip包存放仓库）；group（主访问仓库，可以访问其他仓库）。3、本地配置pip源：$vim~/.pip/pip.conf添加/修改配置：[global]index_url=http:16,486 1 2021-12-30 16:46
-
如何开发一个自己的Python组件？
python开发里面，用的比较多的可能就是pip了，比如要操作数据库那么就需要用到pymysql：$pipinstallpymysql这里的pymysql，就是由其他组织开发的组件，这个组件放在一些公共仓库，方便开发者直接下载。举一个场景：公司的业务里面，好几个项目，有一块公共逻辑在这几个项目里面都要用到，那么你要怎么管理这块公共逻辑呢？几个项目里面同时冗余这个公共逻辑吗？要修改逻辑的时候，几个项16,442 4 2021-12-03 16:01
-
Java/Python3/Go语法简单对比
1、HelloworldjavapublicclassHelloWorld{publicstaticvoidmain(Stringargs[]){System.out.println("Helloworld!");}}pythonprint("Helloworld!");Gopackagemainimport"fmt"funcmain(){fmt.Println("Helloworld!")}Go16,874 0 2021-08-31 11:26
-
CentOS7防火墙端口开放
查看当前已经开放的端口：firewall-cmd--list-ports开启端口，以80端口为例：firewall-cmd--zone=public--add-port=80/tcp--permanent重启防火墙：firewall-cmd--reload其他指令：#关闭防火墙firewallsystemctlstopfirewalld.service#关闭防火墙开机启动firewallsuste16,789 0 2021-08-20 10:19
-
Intellij IDEA配置golang环境
最近有一些工作需要用到Golang做开发，所以需要配置一个golang开发用的IDE。原本考虑到某个项目里同时存在Golang和Python两种开发语言，所以决定使用vscode作为开发工具。但是实际使用了一阵子vscode，感觉vscode和平时做java和python时候用的IDEA和PyCharm在使用上相去甚远，使用了一段时间后仍然不能习惯，所以考虑切换回IntelliJ家的产品。以前玩安16,808 0 2021-08-05 11:06
-
Visual Studio Code下载包失败，代理网址无法访问：proxy.golang.org
最近需要同时使用python和go做一些开发，为了方便开发，所以需要切换到VisualStudioCode。在使用过程中，需要给VisualStudioCode安装一些插件，然后一直都是如下提示：go:golang.org/x/exp@v0.0.0-20190731235908-ec7cb31e5a56:Get"https://proxy.golang.org/golang.org/x/exp/@16,872 0 2021-07-13 18:18
-
python 使用 virtualenv 管理虚拟环境
为啥要用virtualenv？每个项目都会有自己的一套依赖库，可能并不相同，甚至还有可能存在各种版本上的差异。为了避免因为环境导致的各种问题，最好给每个项目分配一个相互独立、隔离的虚拟环境。怎么安装virtualenv？$pipinstallvirtualenv或者$pip3installvirtualenv怎么创建虚拟环境？$virtualenv-ppython执行文件路径虚拟环境名例如，有一个16,987 0 2021-07-07 11:34