当前位置:首页 > python > 正文内容

python selenium 使用代理ip

zhangsir3年前 (2022-12-22)python332

代码如下:

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()
chromeOptions.add_argument("--proxy-server=http://179.23.6.82:10152")
driver = webdriver.Chrome(chrome_options = chromeOptions)
driver.get("https://www.haohaokan17.com/ip")
driver.close()

注意事项: 


第一,署理IP最好是稳定的固定IP,不要选动态IP。我们常用的爬虫IP是高匿名动态IP,是经过拨号动态产生的,时效性很短,一般在1~3分钟。对于scrapy这种并发度很高,又不需要登录的爬虫来说,十分合适,但是在浏览器渲染类爬虫中并不适用。


第二,署理IP的速度。因为selenium爬虫采用的是浏览器渲染技术,本身速度就很慢。如果选择的署理IP速度较慢,就会大大添加爬取的时间。


第三,电脑内存要够大。因为chrome占内存较大,在并发度很高的情况下,容易形成浏览器溃散,也就是程序溃散。


第四,在程序结束时,调用 browser.quit( ) 铲除浏览器缓存。


zhangsir版权a1防采集https://mianka.xyz

扫描二维码推送至手机访问。

版权声明:本文由zhangsir or zhangmaam发布,如需转载请注明出处。

本文链接:http://mianka.xyz/post/86.html

标签: pythonselenium
分享给朋友:

“python selenium 使用代理ip” 的相关文章

Selenium添加Cookie来实现自动登录

Selenium添加Cookie来实现自动登录第一步获取你登录的cookie,以csdn为例from selenium import webdriver driver = webdriver.Chrome() driver.get('...

pip安装三方库 国内的一些镜像站点推荐

pip 国内的一些镜像站点推荐镜像套路:使用cmd;输入命令pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名 即可开始安装。清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http...

计算机学习视频教程

人工智能机器学习:Python&R实践课程介绍:https://www.aihorizon.cn/1百度网盘地址: https://pan.baidu.com/s/1a743NTKFRjsgexMTagWooA?pwd=e39j动手使用Python进行自然语言处理(NLP)课程介绍:http...

python 实现快速扣背景图功能

一,实现快速扣背景图需要rembg这个三方库#引入rembg库 from rembg import remove #素材 input_path = 'input.jpg' #效果 output_path =&nbs...

Linux之python版本升级

四、python3升级步骤1、下载安装包wget https://www.python.org/ftp/python/3.8.8/Python-3.8.8.tgz2、解压软件包tar -zxvf Python-3.8.8.tgz3、预编译注意在编译结束后会有提示&quo...