python爬虫如何使用代理IP-创新互联
作为一名数据采集者,我们都是知道,一个网站要是频繁访问都会被封IP ,那要怎么解决这个问题呢?不可能一直频繁的更换设备,不光数据不能同步,这些设备的成本也是无法预计的,所以这个时候就需要代理 IP 了。以亿牛云 (https://www.16yun.cn/) 代理为例,代理 IP 在 python 的使用 .
十年建站经验, 做网站、网站制作客户的见证与正确选择。创新互联提供完善的营销型网页建站明细报价表。后期开发更加便捷高效,我们致力于追求更美、更快、更规范。
亿牛云官网提供了两种模式的代理使用方式
1. 优质 API 代理:通过 api 连接获取代理信息,返回的是 ip 和端口。
2. 动态转发隧道代理:接入固定代理服务器,动态转发请求,无须切换 IP ,连接上代理服务器后,每一个请求都是一个随机 IP ,按照每秒的请求量进行收费。
1 先获取 api 连接
在后台直接把代理连接拷贝到程序里面
import requests
# 生成的 API 链接
url = 'http://http://ip.16yun.cn:817/myip/pl/111bad2b-7bc5-4903b-82d1-9a700fa132685/?s=gduffcpucm&u=dadada12
resp = requests.get(url=url)
if resp.status_code == 200:
data_json = resp.text
for d in data_json['msg']:
port = d['port']
ip = d['ip']
full_ip = ip + ':' + port
print(full_ip)
程序配置好后直接启动程序就可以获取代理ip ,然后把代理 ip 拼到请求参数里面就可以进行数据采集了。
当前题目:python爬虫如何使用代理IP-创新互联
文章路径:http://hbruida.cn/article/ichcg.html