IP池的创建
反爬的手段是越来越多了,加密的算法更新,柔和参杂各种加密方式,京东的服务器随机加密方式,淘系的本地jscookie加密,拼系的混淆压缩加密。这些都是暴露出来的,服务端的拦截也是更复杂,ip限制,ua限制等等
办法总比困难多,嘿嘿!!
我们要自己建造一个ip代理池,随机ua信息等,来逃过服务端的拦截。
有大佬分享过免费的ip代理池,而且还一直在更新。
代码抓取一些,供我们自己使用测试用,商用就算了,花点钱买点好的。
这里因为没有接口(接口收费的),采用的页面爬取方式。bs4的使用这里就不说,正则也不说,看一下代码就行
IP池的使用
定义为一个字典,ip ={ 'https':'','http':''}
发送request请求的时候,加上ip代理
response = requests.get(self.url, params=self.doparams(),cookies=self.cookies, proxies=self.ip,
headers=self.doheader())
这样就可以使用了,定义ip代理的时候,记得带上端口。
页面更新:2024-03-13
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号