python第二十五天

2024-03-20 20:18
文章标签 python 第二十五

本文主要是介绍python第二十五天,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

# 1.xpath解析原理:
# 通过需要的标签在html/xml结构的标签路径去获取指定标签# 2.xml数据格式
# xml和json一样是一种通用的数据格式,用于多语言程序之间的数据传输
# xml和json的比较:xml(更安全,方便加密)、json更轻量级(传输的时候更快)
# xml和html一样是以节点(标签)为基本单位来提供数据的,例如:
"""
保存一个商店中的书的信息:
json:
{name: '新华书店',books: [{name: '流程的Python'author: '张三'price: 120num: 20},{name: '代码整洁之道'author: '小明'price: 89num: 12},{name: '程序员修养之道- 从小工到专家'author: 'Bob'price: 78num:23},{name: 'Unix编程艺术'author: '小花'price: 102num: 9}]
}<bookStore><name>新华书店</name><books><book><name flag="hot">流程的Python</name><author>张三</author><price>120</price><num>20</num></book><book><name>代码整洁之道</name><author>小明</author><price>89</price><num>12</num></book><book><name>程序员修养之道- 从小工到专家</name><author>Bob</author><price>78</price><num>23</num></book><book><name>Unix编程艺术</name><author>小花</author><price>102</price><num>9</num></book></books>
</bookStore>
"""
from lxml import etreewith open('data.xml', encoding='utf-8') as f:data = f.read()# 1.获取树对应的根节点
# 树  -  整个xml/html
# 根节点  -  xml或者html数据中最外层的标签/节点
bookStore = etree.XML(data)
print(bookStore)# 2.通过xPath解析数据
# 语法: 节点对象.xpath(路径)
# =======================1)路径的写法=========================
# 1) / - 从根节点开始的绝对路径(查找的时候跟前面的节点对象没有任何关系)
# /A/B   -  找根节点A下面的B(A如果不是根节点,就找不到)result = bookStore.xpath('/bookStore/books/book/author')
print(result)result = bookStore.xpath('/bookStore/name')
print(result)   # [<Element name at 0x10cfc0be0>]book_list = bookStore.xpath('/bookStore/books/book')
print(book_list)book_list = result[0].xpath('/bookStore/books/book')
print(book_list)# 2) // - 从任意位置开始按路径查找
# //A/B   -   在整个xml或者html中找A节点下面的B节点
# //B     -   在整个xml或者html中找B节点
name_list = bookStore.xpath('//name')
print(name_list)name_list = bookStore.xpath('//book/name')
print(name_list)# 3)
# ./   -   从当前位置开始找
# 节点名称  -  从当前位置开始找
name_list = bookStore.xpath('./name')
print(name_list)name_list = bookStore.xpath('./books/book/name')
print(name_list)result = book_list[0].xpath('./name/text()')
print(result)result = book_list[0].xpath('name/text()')
print(result)# 4) ../  -  从当前节点的父节点开始查找
name_list = bookStore.xpath('//name')
name_1 = name_list[0]
result = name_1.xpath('..')
print(result)    # [<Element bookStore at 0x106d2c050>]result = name_1.xpath('../books')
print(result)    # [<Element books at 0x105461190>]# ======================2)标签内容和属性=================
# 1)text()  -  获取标签内容
store_name = bookStore.xpath('/bookStore/name/text()')
print(store_name)   # ['新华书店']store_name = bookStore.xpath('//name')[0].xpath('./text()')
print(store_name)    # ['新华书店']result = bookStore.xpath('//text()')
print(result)# 2)@属性名  - 获取指定属性值
flag = bookStore.xpath('//book/name')[0].xpath('./@flag')
print(flag)   # ['hot']ids = bookStore.xpath('//book/@id')
print(ids)    # ['b1', 'b2', 'b3', 'b4']# 3)======================3)谓词==================
# 路径[谓词]  -  按照谓词对应的条件通过指定路径获取标签
# 1)[N]  -  获取第N个标签,从1开始
# //book[1]/name   -  第一本书下面的name
# //book/name[1]   -  所有的书后面的第一个name
name_1 = bookStore.xpath('//book[1]/name/text()')
print(name_1)   # ['流程的Python']# 2)
# [last()]   -  获取最后一个标签
# [last()-N]  -  获取最后一个的前N个标签(获取倒数第 N+1 个标签)
name_last = bookStore.xpath('//book[last()]/name/text()')
print(name_last)   # ['Unix编程艺术']name_last_2 = bookStore.xpath('//book[last()-1]/name/text()')
print(name_last_2)# 3)
# [position()<N]  - 获取前N-1个标签
# [position()>N]  - 获取第N个以后的标签
book_list = bookStore.xpath('//books/book[position()<4]/author/text()')
print(book_list)   # ['张三', '小明', 'Bob']book_list = bookStore.xpath('//books/book[position()>2]/author/text()')
print(book_list)    # ['Bob', '小花']# 4) [@属性名]  -  获取拥有指定属性的标签
flags = bookStore.xpath('//name[@flag]/text()')
print(flags)   # ['流程的Python', '代码整洁之道']# 5) [@属性名=值]   -   获取指定属性是指定值的标签
flags = bookStore.xpath('//name[@flag="hot"]/text()')
print(flags)   # ['流程的Python']# [@属性名>数值]、[@属性名<数值]、[@属性名>=数值]、[@属性名<=数值]
book_list = bookStore.xpath('//books/book[@id>200]')
print(book_list)# 6) [标签名=值]、[标签名>数值]、[标签名>=数值]、[标签名<数值]、[标签名<=数值]
# //book[name="流程的Python"]  -  获取子标签name标签值是 '流程的Python'的 book标签
book_list = bookStore.xpath('//book[name="流程的Python"]')
print(book_list)    # [<Element book at 0x10495a280>]book_list = bookStore.xpath('//book[price>100]/name/text()')
print(book_list)   # ['流程的Python', 'Unix编程艺术']# ==================4)通配符==========================
# * - 表示任意节点或者任意属性(不能表示任意值)
# //book[1]/*  -  获取第一个book节点中所有的子节点
result = bookStore.xpath('//book[1]/*/text()')
print(result)# //*[@id]  -  获取设置了id属性的任意节点
result = bookStore.xpath('//*[@id]')
print(result)# //*[@*]   -  获取所有设置了属性的节点
result = bookStore.xpath('//*[@*]')
print(result)result = bookStore.xpath('//book[@id=100]')
print(result)# ==================5)选取若干路径(分支)=================
# 路径1 | 路径2 | 路径3 | ...  -  同时选取每个路径对应的标签
# 注意:谓词不能使用分支
result = bookStore.xpath('//book[1]/name/text()|//book[1]/price/text()')
print(result)
from lxml import etree
import requestsdef get_data():url = 'https://movie.douban.com/top250'headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:xpath_analysis(response.text)else:print('请求失败!', response)def xpath_analysis(data):html = etree.HTML(data)# 获取电影盒子li_list = html.xpath('//ol[@class="grid_view"]/li')all_f_info = []# 遍历拿到每个电影对应的盒子(li标签)for li in li_list:f_info = {}# 1.电影名names = li.xpath('./div/div[@class="info"]/div[@class="hd"]/a/span/text()')# print(names)f_info['name'] = names[0]# 2.导演director = li.xpath('./div/div[@class="info"]/div[@class="bd"]/p[1]/text()')# 字符串.strip()  -  去掉字符串开头和结尾的空白字符director = [x.strip() for x in director]# print(director)f_info['director'] = director[0]f_info['time_type'] = director[1]# print(f_info)# 3.评分score = li.xpath('./div/div[@class="info"]/div[@class="bd"]/div/span[@class="rating_num"]/text()')f_info['score'] = score[0]# print(f_info)all_f_info.append(f_info)print(all_f_info)if __name__ == '__main__':get_data()
import csvdef write_data1():# ===============写列表数据========================# 1.打开文件# 参数newline在csv文件中必须添加with open('files/data1.csv', 'w', newline='')as f:# 2.创建writer对象# csv.writer(文件对象)writer = csv.writer(f)# 3.写数据# 一行一行的写writer.writerow(['姓名', '性别', '年龄', '电话'])# 一次写多行writer.writerows([['张三', '男', '30', '123'],['李四', '女', '22', '321']])def write_data2():# ====================将数据以字典的形式写入文件===================# 1.打开文件with open('files/data2.csv', 'w', encoding='utf-8', newline='') as f:# 2.创建writer# csv.DictWriter(文件对象, 表头列表)# 表头列表必须是要写入的字典的所有的keywriter = csv.DictWriter(f, ['name', 'sex', 'age', 'tel'])# 将表头列表中的元素作为文件的第一行内容writer.writeheader()# 一行一行的写writer.writerow({'name': '张三','sex': '男','age': 30,'tel': '110'})# 一次写多行writer.writerows([{'name': '小明', 'sex': '男', 'age': 19, 'tel': '119'},{'name': '小红', 'sex': '女', 'age': 21, 'tel': '114'}])write_data2()
def reader_list():# ===================以列表的形式读====================# 1.打开文件with open('files/data1.csv', encoding='gbk', newline='') as f:# 2. 创建readerreader = csv.reader(f)print(reader)# 3.一行一行的获取数据# 获取每一行的内容和迭代器获取元素的方法一样print(next(reader))print(next(reader))print('============')for x in reader:print(x)def reader_dict():# ===================以字典的形式读====================# 1.打开文件with open('files/data1.csv', encoding='gbk', newline='') as f:# 2.创建reader# csv.DictReader(文件对象, 字典的key列表)# 字典的key列表  -  不赋值的时候会把第一行的内容作为字典的keyreader = csv.DictReader(f, ['name', 'sex', 'age', 'tel'])# 3.读数据next(reader)print(dict(next(reader)))for x in reader:print(dict(x))reader_dict()

这篇关于python第二十五天的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/830623

相关文章

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

nudepy,一个有趣的 Python 库!

更多资料获取 📚 个人网站:ipengtao.com 大家好,今天为大家分享一个有趣的 Python 库 - nudepy。 Github地址:https://github.com/hhatto/nude.py 在图像处理和计算机视觉应用中,检测图像中的不适当内容(例如裸露图像)是一个重要的任务。nudepy 是一个基于 Python 的库,专门用于检测图像中的不适当内容。该

pip-tools:打造可重复、可控的 Python 开发环境,解决依赖关系,让代码更稳定

在 Python 开发中,管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等,都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools? pip-tools 是一组命令行工具,旨在简化 Python 依赖关系的管理,确保项目环境的稳定性和可重复性。它主要包含两个核心工具:pip-compile 和 pip

HTML提交表单给python

python 代码 from flask import Flask, request, render_template, redirect, url_forapp = Flask(__name__)@app.route('/')def form():# 渲染表单页面return render_template('./index.html')@app.route('/submit_form',

Python QT实现A-star寻路算法

目录 1、界面使用方法 2、注意事项 3、补充说明 用Qt5搭建一个图形化测试寻路算法的测试环境。 1、界面使用方法 设定起点: 鼠标左键双击,设定红色的起点。左键双击设定起点,用红色标记。 设定终点: 鼠标右键双击,设定蓝色的终点。右键双击设定终点,用蓝色标记。 设置障碍点: 鼠标左键或者右键按着不放,拖动可以设置黑色的障碍点。按住左键或右键并拖动,设置一系列黑色障碍点

Python:豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣,数据处理过程,数据分析,可视化,以及完整PPT报告】

**爬取豆瓣电影信息,分析近年电影行业的发展情况** 本文是完整的数据分析展现,代码有完整版,包含豆瓣电影爬取的具体方式【附带爬虫豆瓣,数据处理过程,数据分析,可视化,以及完整PPT报告】   最近MBA在学习《商业数据分析》,大实训作业给了数据要进行数据分析,所以先拿豆瓣电影练练手,网络上爬取豆瓣电影TOP250较多,但对于豆瓣电影全数据的爬取教程很少,所以我自己做一版。 目

【Python报错已解决】AttributeError: ‘list‘ object has no attribute ‘text‘

🎬 鸽芷咕:个人主页  🔥 个人专栏: 《C++干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 前言一、问题描述1.1 报错示例1.2 报错分析1.3 解决思路 二、解决方法2.1 方法一:检查属性名2.2 步骤二:访问列表元素的属性 三、其他解决方法四、总结 前言 在Python编程中,属性错误(At