本文主要是介绍6.6 集思录——可转债信息爬取（使用XPath获取所需网页源代码，解决selenium模拟登录但是未能获取目标网页源代码、MultiIndex问题），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
- 本节要从债券相关网站集思录上爬取可转债信息。在浏览器中打开网址https://www.jisilu.cn/data/cbnew/#cb，可看到可转债的各种信息，如下图所示。
- 首先用Selenium库访问网址并获取网页源代码，代码如下：
from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.jisilu.cn/data/cbnew/#cb'
browser.get(url)
data = browser.page_source
- 虽然上面这个代码不能获取网页的源代码，但是仍能爬取网页上的表格。
- 然后在pandas库的read_html()函数提取网页中的所有表格，代码如下：
- 首先找到网页中的目标表格数据
import pandas as pd
tables = pd.read_html(data)
for i in range(len(tables)):print(i)print(tables[i])
第2行代码有时会jup中运行会报错，在pycharm运行一直报错。
- 其次将目标表格打印出来：
df = tables[0]
df
- 但是游客只能获取30条数据。
Selenium模拟登录获取所有数据
首先使用常用的模拟登录的源代码
import pandas as pd
from selenium import webdriver
import time
def get_browser():options = webdriver.ChromeOptions()options.add_experimental_option('excludeSwitches', ['enable-automation'])options.add_argument("--disable-blink-features=AutomationControlled")driver = webdriver.Chrome(options=options)driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})return driverbrowser = get_browser()
url = 'https://www.jisilu.cn/data/cbnew/#cb'
browser.get(url)
time.sleep(15)
data = browser.page_source
- 获取的是首页，而非目标页面：
用XPath表达式获取目标页的源代码
- 进入首页页面后，还需点击“实时数据”，进入实时数据页面后，在点击“可转债”按钮。
browser.find_element_by_xpath('//*[@id="nav_data"]').click()
time.sleep(3)
browser.find_element_by_xpath('//*[@id="app"]/div/div[2]/div[1]/div/div/div[2]/div/div[1]/a[5]').click()
time.sleep(3)
data = browser.page_source
获取所有的表格数据（存在MutiIndex问题）
tables = pd.read_html(data)
tables[0]
- 通过以下代码，将之导入到excel表中
df = tables[0]
df.to_excel('可转债（所有）.xlsx')#如果加选择项index=False，会有如下报错
Writing to Excel with MultiIndex columns and no index ('index'=False) is not yet implemented.
- 打开excel表，发现列索引比较杂乱，原因是网页表格的表头中有合并单元格，形成了多重索引（MutiIndex）格式的列索引。
获取所有的表格数据（解决了MuniIndex问题）
- 此时，可通过read_html()函数的header参数指定以表格的第几行（从0开始计数）作为列索引。这里将header参数设置为1，代码如下：
tables = pd.read_html(data,header=1)
tables[0]
- 去除索引，并将之导入到Excel表中
#%%
df = tables[0]
df.to_excel('可转债（所有）.xlsx',index=False)
这篇关于6.6 集思录——可转债信息爬取（使用XPath获取所需网页源代码，解决selenium模拟登录但是未能获取目标网页源代码、MultiIndex问题）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
