Python爬虫xpath详解
一、xpath介绍
xpath是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。
二、安装lxml
lxml是Python的一个第三方解析库，支持HTML和XML解析，而且效率非常高，弥补了Python自带的xml标准库在XML解析方面的不足。
由于是第三方库，所以在使用 lxml 之前需要先安装：pip install lxml
三、xpath解析原理
1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。
2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。
四、实例化一个etree对象
1.将本地的html文档中的源码数据加载到etree对象中：
etree.parse(filePath)
2.可以将从互联网上获取的源码数据加载到该对象中
etree.HTML('page_text')3.xpath('xpath表达式')
五、xpath表达式
/:表示的是从根节点开始定位。表示的是一个层级。
//:表示的是多个层级。可以表示从任意位置开始定位。
属性定位：//div[@class='zhang'] tag[@attrName="attrValue"]
索引定位：//div[@class="zhang"]/p[3] 索引是从1开始的。
取文本：/text() 获取的是标签中直系的文本内容、//text() 标签中非直系的文本内容（所有的文本内容）
取属性： /@attrName ==>img/src
六、爬虫实战
爬取网站信息
import requests
from lxml import etree
# 使用xpath 爬取二手房信息
headers = {
'User-Agent' :'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
url = 'https://bj.58.com/ershoufang/{0}/?PGTID=0d30000c-0000-1bdc-b1e5-d9efea8142e9&ClickID=1'
fp = open('58二手房.txt','w',encoding='utf-8')
for page in range(1,6):
page = str(page)
new_url = url.format(page)
page_text = requests.get(url=new_url,headers=headers).text
tree = etree.HTML(page_text)
div_list = tree.xpath('//section[@class="list"]/div')
for div in div_list:
title = div.xpath('./a//h3/@title')[0]
roomsAndHalls = div.xpath('./a//div[@class="property-content-info"]//span/text()')
address = div.xpath('./a//div[@class="property-content-info property-content-info-comm"]//span/text()')
house_year = div.xpath('./a//span[@class="property-content-info-tag"]/text()')
total_price = div.xpath('./a//p[@class="property-price-total"]//span/text()')
total_area = div.xpath('./a//p[@class="property-price-average"]//text()')
roomsAndHalls = ''.join(roomsAndHalls)
address = ''.join(address)
house_year = ''.join(house_year)
total_price = ''.join(total_price)
total_area = ''.join(total_area)
# print(title)
# print(''.join(roomsAndHalls))
# print(''.join(address))
# print(''.join(house_year))
print(title+'======>'+roomsAndHalls+'======>'+address+'======>'+house_year+'======>'+total_price+'======>'+total_area)
fp.write(title+'======>'+roomsAndHalls+'======>'+address+'======>'+house_year+'======>'+total_price+'======>'+total_area+'\n')其实xpath很简单，只要把表达式理解对就没啥大问题。