python blast在线比对 每天最多数万条

2023-11-21 14:40

本文主要是介绍python blast在线比对 每天最多数万条,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

python blast在线比对、每天可达数万条

背景:在碱基序列,如

TRINITY_DN931509_c0_g1_i1
GCACGTTCTTCTCGATGCTGACGGAGCGAGGCGCGCTGGCGGAGCTGATGGC
GGCGCAGCTGGAGCGAGGGCGCACGCCGCGGGTGCGCCGGCGCCGGCCGC
GCCCCAGGCCCAGGGCCAGGCCGCGCCCGAGGCCGAGGAGTAGGAAATAAT
GATCTGTGACGAAACTAACCCACCCCTCGAGCTTGCGGAAATGCTGGAATCTG
CGACGTAGGCACTACTCGAACTTGAG

需要比对(即Basic Local Alignment Search Tool,BLAST)时,采取的方式主要有如下 :

  1. 美国国立生物技术信息中心(National Center for Biotechnology Information ,NCBI)官网提供免费在线blast服务
  2. 搭建本地的blast环境。
  3. 使用云服务商提供的付费BLAST服务,如blast2go

当需比对碱基序列量少时,即不考虑时间的情况下,上述三种方式均可;但如果需要大量比对时,常规操作下三种方式各有利弊,第一种和第三种的共同点——慢;第二种的比对极大消耗本地服务器集群的算力。本文试图改良第一种方式提高效率

一.啰嗦一下在线BLAST的流程

1.首先进入比对网址:https://blast.ncbi.nlm.nih.gov/Blast.cgi?PROGRAM=blastx&PAGE_TYPE=BlastSearch&BLAST_SPEC=&LINK_LOC=blasttab&LAST_PAGE=blastn
在线blast序列可采用两种上传方式,直接粘贴到输入框,或上传本地序列文件,如下图。
序列上传页面
2.然后根据需要配置其他参数,点击下方的”BLAST” 按钮进入漫长的等待(主要时间为等待NCBI服务器处理提交的序列)如下图
等待比对结果页面
这个页面会自动刷新,当比对完成后刷新出的截面就是结果页面;请注意图中红框标出的”Request ID” 的值,后面要用到。
3.结果页面如下图
比对结果选择下拉框

在多选框选定某特定碱基序列的选项,页面会自动跳转到该结果的页面(通过该页面定义为GetResults()的JavaScript函数),然后再根据需要再此页面索取信息。有时BLAST会匹配不到结果(这是序列自身与数据库中的碱基对没匹配上,请跟后面会提到的比对失败区别开),上图中,选项较浅且以 * 开头的为没有匹配到结果的序列,即这些序列的匹配结果为NULL或空。

二、分析

1.F12碱基序列提交后的等待页面发现页面在不断的发送一个POST包到指定地址,以询问是否出结果,如果出结果则跳转到结果页面(恕小弟才疏学浅没有发现POST包的构成规律)。
2.发现结果页面有GET方法可以访问https://blast.ncbi.nlm.nih.gov/Blast.cgi?CMD=Get&RID=***********;其中***********为上文提到的Request ID;也即是说,提交碱基序列过程和信息抓取过程可以分开,浏览器不必一直等待结果。可以提交序列,然后得到Request ID,另一个程序或设备用Request ID来抓取数据。
3.访问到结果页面后,通过不断选择下拉框的方式来获得同一批提交的不同的碱基序列的结果,而这些操作,使用python+selenium是方便的。
4.不断向NCBI服务器发起比对请求,并使用多线程的方式处理不同比对RID的结果,提高程序效率。

三、实际操作

  1. 环境:

    windows 10+python 3.6.5(推荐搭配PyCharm)+phantomjs +Mysql

  2. 用到的python第三方扩展包:

    1. selenium
    2. pymysql
    3. openpyxl
  3. 预处理:

    1. Mysql中新建table2表存放碱基序列,结构为
niddna

其中n为自增的主键,id为碱基序列的名称,dna为碱基序列。
2.Mysql中新建submit表存放Request ID,结构为

RIDTTimelen

其中TTime为碱基序列提交的时间,len为本次提交的总长度。

将待处理碱基序列导入表table2中。可以参考下列python代码

import pymysql
def sp(st):#分离序列的ID和序列b=st.split('\n')ID=b[0]DNAs=''for i in b:if b.index(i)==0:continueDNAs=DNAs+ireturn ID, DNAs
def DOSQLin(n,idL,DNAs):
#生成插入SQL语句id=idL.split(' ')ID=id[0]sql = "insert into table2 (n,id,dna) values (%s,'%s','%s');"%(n,ID,DNAs)return sql
f = open('C:\\*.fasta','r') #
All=f.read()
a=All.split('>')#每一条序列都是>开头的
del a[0]#删除第一个空元素
#链接数据库
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='luanchen',db='blast')
cur = conn.cursor()
n=1
for i in a:ID,DNA=sp(i)sql=DOSQLin(n, ID, DNA)try:cur.execute(sql)except:prio
cur.close()
conn.cmmit()#提交改变结果
conn.close()

四、提交碱基序列得到Request ID

过程分为下列步骤:

  1. 从mysql表中得到若干条待比对的碱基序列,再将这若干条从mysql表中删除;
  2. 将1中得到的序列生成一个本地文件(*.fasta) ;
  3. 通过selenium的方式打开在线BLAST网页,上传2得到的文件;
  4. 得到上传文件后的Request ID,并保存;
  5. 重复1~4直至mysql table2表中没有序列。

python代码(尽量加了很多注释,实际写得很乱…)

这篇关于python blast在线比对 每天最多数万条的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/402988

相关文章

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很