当前位置:首页 > python > 正文内容

python selenium 使用代理ip

zhangsir3年前 (2022-12-22)python280

代码如下:

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()
chromeOptions.add_argument("--proxy-server=http://179.23.6.82:10152")
driver = webdriver.Chrome(chrome_options = chromeOptions)
driver.get("https://www.haohaokan17.com/ip")
driver.close()

注意事项: 


第一,署理IP最好是稳定的固定IP,不要选动态IP。我们常用的爬虫IP是高匿名动态IP,是经过拨号动态产生的,时效性很短,一般在1~3分钟。对于scrapy这种并发度很高,又不需要登录的爬虫来说,十分合适,但是在浏览器渲染类爬虫中并不适用。


第二,署理IP的速度。因为selenium爬虫采用的是浏览器渲染技术,本身速度就很慢。如果选择的署理IP速度较慢,就会大大添加爬取的时间。


第三,电脑内存要够大。因为chrome占内存较大,在并发度很高的情况下,容易形成浏览器溃散,也就是程序溃散。


第四,在程序结束时,调用 browser.quit( ) 铲除浏览器缓存。


zhangsir版权c3防采集https://mianka.xyz

扫描二维码推送至手机访问。

版权声明:本文由zhangsir or zhangmaam发布,如需转载请注明出处。

本文链接:https://mianka.xyz/post/86.html

标签: pythonselenium
分享给朋友:

“python selenium 使用代理ip” 的相关文章

如何用python获取一个网页的所有连接

如何用python获取一个网页的所有连接很简单直接上代码:# -*- coding: utf-8 -*- ''' 如何用python获取一个网页的所有连接 author:zhangsir ''' imp...

权大师商标查询api

''' data:2022-10-15 autor:zhangsir 权大师商标查询api ''' import requests import json import time import h...

解决Django的request.POST获取不到请求参数的问题

这个是Django自身的问题:只要在请求头的添加"content-type":'application/x-www-form-urlencoded'就行。...

python 将json数据转成csv文件

从JSON数据转化CSV文件下面的这个Python脚本能够将JSON数据转化到CSV文件的表格当中去,我们输入的是带有.json后缀的文件,输出的是.csv后缀的表格文件,代码如下import json def converter(input_file, output...

计算机学习视频教程

人工智能机器学习:Python&R实践课程介绍:https://www.aihorizon.cn/1百度网盘地址: https://pan.baidu.com/s/1a743NTKFRjsgexMTagWooA?pwd=e39j动手使用Python进行自然语言处理(NLP)课程介绍:http...

Linux系统下使用Python+selenium+谷歌浏览器下载文件

from seleniumwire import webdriver import time ch_options = webdriver.ChromeOptions() ch_options.add_argument("-...