分享创建动态IP池的做法

IP池的创建

反爬的手段是越来越多了,加密的算法更新,柔和参杂各种加密方式,京东的服务器随机加密方式,淘系的本地jscookie加密,拼系的混淆压缩加密。这些都是暴露出来的,服务端的拦截也是更复杂,ip限制,ua限制等等

办法总比困难多,嘿嘿!!

我们要自己建造一个ip代理池,随机ua信息等,来逃过服务端的拦截。

有大佬分享过免费的ip代理池,而且还一直在更新。


代码抓取一些,供我们自己使用测试用,商用就算了,花点钱买点好的。


这里因为没有接口(接口收费的),采用的页面爬取方式。bs4的使用这里就不说,正则也不说,看一下代码就行

IP池的使用

定义为一个字典,ip ={ 'https':'','http':''}

发送request请求的时候,加上ip代理

response = requests.get(self.url, params=self.doparams(),cookies=self.cookies, proxies=self.ip,
headers=self.doheader())

这样就可以使用了,定义ip代理的时候,记得带上端口。


展开阅读全文

页面更新:2024-03-13

标签:大佬   正则   买点   端口   服务端   算法   做法   接口   定义   代码   方式   动态

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号

Top