使用aspera下载SRA数据速度高达 下载中国gsa数据? ascp

2024-01-21 20:52

本文主要是介绍使用aspera下载SRA数据速度高达 下载中国gsa数据? ascp,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

转载自:秘籍 | 惊了,使用aspera下载SRA数据速度高达 291Mb/s - 简书

一、安装Aspera Connect

  • 安装Linux版的Aspera Connect

# 上面链接是最新版,因此下载的时候去官网复制最新的链接地址下载,否则可能会报错
wget https://d3gcli72yxqn2z.cloudfront.net/connect_latest/v4/bin/ibm-aspera-connect-3.11.2.63-linux-g2.12-64.tar.gz
tar -zvxf ibm-aspera-connect-3.11.2.63-linux-g2.12-64.tar.gz
sh ibm-aspera-connect-3.11.2.63-linux-g2.12-64.sh
# 永久添加到环境变量
echo 'export PATH=~/.aspera/connect/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

二、简单使用

  • 尝试下载一个小的数据集SRR14209175(343MB)

ascp -v -QT -l 300m -P33001 -k1 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:vol1/fastq/SRR142/075/SRR14209175/SRR14209175.fastq.gz ./
  • 结果,峰值速度达

    \color{red}{291 Mb/s }

    ,速度惊人,

    \color{red}{343MB}

    数据用时

    \color{red}{16秒}

SRR14209175.fastq.gz                           100%  343MB  191Mb/s    00:16    
Completed: 351408K bytes transferred in 16 seconds (173214K bits/sec), in 1 file.

三、批量下载

  • 提前准备好【srr.list】文件,格式如下

$ cat srr.list
SRR12362016
SRR12362017
SRR12362022
SRR12362023
SRR12362024
SRR12362025
  • 新建shell脚本,命名为【asperaDownload.sh】,和【srr.list】放在同一个文件夹中

vi asperaDownload.sh
  • 将下面的内容复制进去,里面的${y}需要根据情况微调,${i: -2}表达的意思就是截取字符串的后2位,${i: -1}截取字符串的后1位。特别说明的原因就是,有时候${y}是取一位,有时候取两位,所以要根据情况微调

#!/bin/bash
for i in $(cat srr.list)
do 
x=$(echo $i | cut -b1-6)
y=`echo ${i: -2}`
echo "vol1/fastq/${x}/0${y}/${i}/${i}_1.fastq.gz" >>fastqid_trim.txt
echo "vol1/fastq/${x}/0${y}/${i}/${i}_2.fastq.gz" >>fastqid_trim.txt
doneascp -v -QT -l 300m -P33001 -k1 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh --mode recv --host fasp.sra.ebi.ac.uk --user era-fasp --file-list fastqid_trim.txt ./
rm fastqid_trim.txt
  • 执行脚本

sh asperaDownload.sh
  • 结果,峰值速度达

    \color{red}{292 Mb/s }

    ,速度惊人,

    \color{red}{10GB}

    数据用时

    \color{red}{27分钟}

SRR12362016_1.fastq.gz                         100%  858MB  291Mb/s    03:28    
SRR12362016_2.fastq.gz                         100%  873MB  281Mb/s    04:40    
SRR12362017_1.fastq.gz                         100%  868MB  204Mb/s    06:16    
SRR12362017_2.fastq.gz                         100%  885MB  209Mb/s    07:13    
SRR12362022_1.fastq.gz                         100%  960MB  292Mb/s    09:34    
SRR12362022_2.fastq.gz                         100%  977MB  291Mb/s    10:56    
SRR12362023_1.fastq.gz                         100%  887MB  291Mb/s    12:01    
SRR12362023_2.fastq.gz                         100%  907MB  292Mb/s    14:08    
SRR12362024_1.fastq.gz                         100%  874MB  285Mb/s    17:45    
SRR12362024_2.fastq.gz                         100%  888MB  287Mb/s    18:54    
SRR12362025_1.fastq.gz                         100%  845MB  291Mb/s    20:37    
SRR12362025_2.fastq.gz                         100%  858MB  291Mb/s    27:01    
Completed: 10942138K bytes transferred in 1621 seconds

四、ascp 参数说明

  • 不要深究软件、代码怎么实现的,其实会用、目的达到就行了,真想仔细研究可以ascp -h查看,也可以参考以下我总结的,就这么点参数需要注意:
参数说明
-v  唠叨模式,显示下载进度,以百分数显示,建议加上去
-QT-Q指开启自主设定传输速率的功能,而-T指启用密钥以获得最大传输速率,二者配合-l-m使用。-l指定最大传输速率,这也是我峰值速度达到291 Mb/s后没有继续上升的原因,因为我设置的是-l 300m,默认是-l 100m,理论推荐为300M-500M,。-m指定最小传输速率,一般不用设置,默认为-m 0
-P设置用于启动fasp会话的TCP端口,默认搭配-P 33001不要乱改,否则报错
-k断点续传,非常必要的功能,能在意外情况下,继续下载文件,以免重新下载,设置-k1即可。-k1检查文件属性,如果匹配则继续;-k2检查文件属性并做稀疏文件校验和,如果匹配就继续;-k3检查文件属性并进行完整的文件校验和,如果匹配就继续
-i密钥地址,为固定位置:~/.aspera/connect/etc/asperaweb_id_dsa.openssh,不要修改和移动
--mode两种模式可供选择sendrecv--mode send为上传模式,--mode recv为接收模式,默认为--mode recv,因此可在命令行中删除,没有大碍
--host指定下载地址的前缀信息,后缀信息不同网站也不同,具体要修改上述echo中的代码。但我推荐要下载就去ENA下载,不要去NCBI和DDBJ下载,前车之鉴。
--user访问数据库的用户名,指定是去哪里下载
--file-list指定存放下载路径的文件夹,脚本中自动生成与删除,不用过多操心
./最后不要忽略了保存路径

五、常见疑问

问:为什么我下载的这么慢,明明我设置的也是-l 300m却只有几Mb/s甚至几Kb/s

  • 答:1.你家或校园网的带宽就那么宽,你占满速度也提不上去。如千兆光纤(1000Mb/s)最大带宽就是1000÷8=125MB/s,你能达到的上限也就是125MB/s。又如校园网一般说办理的100M宽带,其实单位是M

    \color{red}{b}

    /s,因此最大带宽就是12.5MB/s如此类推。
    2.网络波动,或者其他人占用了一部分带宽(如看剧,下载东西),这种情况就只有在人少或者夜晚下载。
    3.EBI或者NCBI访问人数过多,造成网络拥挤,这种情况就只有多尝试几次。
    4.你没有加参数-Q,没有启动自主设定传输速率的功能,但不加默认是100M,理论上也不应该太慢,因此这种概率低

问:Session Stop (Error: Failed to open TCP connection for SSH)咋回事?

  • 答:加上-P33001即可
    如果依旧不行就不好搞了,因为需要管理员权限,可是我们做生信的哪里去搞服务器权限?但如果你老板给你了,那就运行下面的命令即可,然后再加上-P33001。我没有试验官方给出的解决方案,如果你成功了,请告知我,谢谢

iptables -I INPUT -p tcp --dport 33001 -j ACCEPT
iptables -I OUTPUT -p tcp --dport 33001 -j ACCEPT

问:断点续传对fasta/q序列文件的完整性有怎样的影响?

  • 答:

    \color{red}{影响较大!}

    ,因为后续分析对fa/fq文件格式要求严格,如fq但凡不是四行四行的出现,首先在QC的时候就会报错,因此断点续传看着有用,但有时候是自欺欺人,所以一但下载终止,最好的方法就是把要续传的文件删干净,一个以【.aspera-ckpt】结尾,一个以【.partial】结尾,删除后重新下载!

问:既然断点续传对fasta/q序列文件的完整性有影响,那我不加k1可以嘛?

  • 答:

    \color{red}{不可以!}

    ,因为当你批量下载的时候,如果有的下载成功了,有的下载失败了,这时候重新跑脚本的时候,k1的作用就体现了,他可以跳过下载完整的文件,避免重复下载浪费时间!

问:ascp: failed to authenticate, exiting. Session Stop (Error: failed to authenticate) 怎么回事?

  • 答:

    \color{red}{无解}

    ,因为这种并不能称之为错误,而是网络问题,今天不行,明天再次尝试可能就可以了。



作者:生信卷王
链接:https://www.jianshu.com/p/2987843d97e3
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

这篇关于使用aspera下载SRA数据速度高达 下载中国gsa数据? ascp的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/630793

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

跨国公司撤出在华研发中心的启示:中国IT产业的挑战与机遇

近日,IBM中国宣布撤出在华的两大研发中心,这一决定在IT行业引发了广泛的讨论和关注。跨国公司在华研发中心的撤出,不仅对众多IT从业者的职业发展带来了直接的冲击,也引发了人们对全球化背景下中国IT产业竞争力和未来发展方向的深思。面对这一突如其来的变化,我们应如何看待跨国公司的决策?中国IT人才又该如何应对?中国IT产业将何去何从?本文将围绕这些问题展开探讨。 跨国公司撤出的背景与