logo头像
Snippet 博客主题

curl_cffi绕过TLS/JA3指纹,爬虫利器

本文于 314 天之前发表,文中内容可能已经过时。

原因

最近在做pilot.ultiverse.io/?inviteCode=QHWKK的自动化脚本处理,
使用常用的 python request 一直被拒绝,说是机器人访问。朋友刚开始说是cloud flare的5s盾。结果找了一天,发现表现形式和网上的资料完全对不上。后来,朋友给了一份据说能访问到网站的代码,看了下使用了curl_cffi在访问网站。网上找了下资料,发现原来是因为不同的http访问工具有不同的指纹信息,不管上层怎么仿真,下层的工具有自己的指纹信息。不懂底层代码,认知盲区的问题。

指纹识别网站

https://tls.browserleaks.com/json
https://tls.peet.ws/
https://kawayiyi.com/tls

直接打开网站,或者调用请求,就能找到对应工具的指纹信息。

参考资料

https://github.com/yifeikong/curl_cffi/blob/main/README-zh.md