Python爬虫获取geneID对应的NCBI注释

在海量的组学数据中，我们经常需要根据已有的差异表达基因找到对应的注释信息。那么针对一系列基因ID批量获取其注释无疑能够大大简化后继的分析，提高科研效率。本次来分享使用python爬虫完成NCBI基因注释的方法。

Sample input： 输入文件如下，是一列geneID。

待获取的信息来源于NCBI-geneID页中Description项，也就是下图中红色方框项：

Sample output： 最终输出结果如下

下面讲解一下思路流程：
1. 逐行读取xls文件列名并获取基因ID。
2. NCBI搜索基因ID，进入网站并获取注释信息。
3. 记录注释信息并逐行保存在xls文件中。

所使用的python API：

urllib 获取网页信息。
pandas 读取xls格式输入文件。
tqdm 可视geneID注释信息获取进度。
re 正则表达式找到网页URL对应的信息行。

下面我们分步完成：

Step1：逐行读取xls文件列名并获取基因ID

首先，因为我们的输入文件是xls格式的，我们需要通过pandas包将输入数据读入计算机内存中。在这里定义了read_xlsx方法，通过输入文件路径（path），输入文件中的工作表名称（sheetname），该工作表中待获取的列数（i）。最终以数组形式返回基因ID，可供后继遍历使用。

# 1.逐行读取xls文件列名并获取基因ID
def read_xlsx(path, sheetname,i):sheet = pd.read_excel(path, sheetname)geneID = []for row in sheet.index.values:geneID.append(sheet.iloc[row, i-1])return geneID

Step2：NCBI搜索基因ID，进入网站并获取注释信息。

将Step1中得到的geneID数组作为Step2的输入数据。逐行读取geneID，并将获得的geneID保存到变量i中并传入"https://www.ncbi.nlm.nih.gov/gene/?term={i}"，这样相当于获得了每一个geneID在NCBI的信息页。

此时，我们使用urllib包的request打开刚刚得到的url，获取网页信息并保存到content 中（decode用于html解码）。

最后使用正则表达式re.findall匹配注释信息（Description）所在的模式行:<dd>(.*?)</dd>。这是所获取的信息就是Description，我们将它保存在p中并输出到数组infoID中。

# 2.NCBI搜索基因ID，找到注释信息
def get_infoID(GeneID):infoID = []for i in tqdm(GeneID):url = f'https://www.ncbi.nlm.nih.gov/gene/?term={i}'  # 查找基因的网址headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}request = urllib.request.Request(url, headers=headers)response = urllib.request.urlopen(request)content = response.read().decode('utf-8')p = re.findall('<dd>(.*?)</dd>', content)[0]# (.*?)为正则表达式的目标区域infoID.append(p)return infoID

Step3：运行上述代码，记录注释信息并逐行保存在xls文件中。

输入文件的路径为"C:/Users/Administrator/Desktop/gene-NCBI_NO.xlsx"，而geneID信息保存在此表中的“218”工作表的第一列。

分别执行Step1和Step2。

最后使用pandas的ExcelWriter写入新的excel之中。

if __name__ == '__main__':# 1.逐行读取xls文件列名并获取基因IDGeneID = read_xlsx("C:/Users/Administrator/Desktop/gene-NCBI_NO.xlsx", "218", 1)print("读取基因标签完毕，正在获取基因注释！")# 2.NCBI搜索基因ID，找到注释信息infoID = get_infoID(GeneID)print("基因注释获取完毕，正在生成注释表格！")# 3.记录注释信息并逐行保存在xls文件中df = pd.DataFrame({'GeneID': GeneID, 'Description': infoID})writer = pd.ExcelWriter('C:/Users/Administrator/Desktop/218_with_Description.xls')df.fillna(' ', inplace=True)  # 文本空格消除掉df.to_excel(writer, sheet_name='218', index=False)writer.save()print("完成")

总结

本篇博客分享了使用Python语言实现NCBI爬虫获取基因注释的方法。当然，对于基因功能，分子组分和通路注释的方法，在生物信息学方面有对应的GO和KEGG注释可以实现并且可视化。亦可采用R来解决，实现的方法很丰富。

在本篇博客以代码实现为主，对于python爬虫的实现原理讲解相对较少。实现网站爬虫需要了解html开发者模式，re正则表达式等等，有兴趣的小伙伴可以自行学习~