【火山引擎数据传输工具 TOS import使用手册】

2024-03-25 22:44

本文主要是介绍【火山引擎数据传输工具 TOS import使用手册】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 背景
    • 正文
      • 下载软件包
      • 安装 TOS import
      • 部署分布式数据传输任务
      • 启动分布式任务

背景

TOS import是火山引擎的TOS(对象存储)传输工具包,是从本地、S3或者其他云存储传输数据到TOS的常用工具;在使用过程中发现TOS import的文档不太全面,本文作为补充,方便大家上手,争取做到复制粘帖即可运行。

正文

本文的服务器系统均为linux。

下载软件包

wget  https://tos-tools.tos-cn-beijing.volces.com/linux/tos-import_v1.0.3.linux_x86.tar.gz

安装 TOS import

解压安装,比如这里直接安装在root下;

tar -zxvf tos-import_v1.0.3.linux_x86.tar.gz  -C /root/

在/root/tos-import 目录下有这些内容,后续会用到;
在这里插入图片描述
简单解释下,

  1. conf是配置文件的存储目录;
  2. logs是日志目录;
  3. task是迁移任务的管理和配置;
  4. tos-import是二进制文件;

部署分布式数据传输任务

加入集群中有3个节点(IP分别为:1,2,3),以下列出必要的配置;
通信、节点配置

# conf/server.yaml 
work_dir: "/root/tos-import/"
work_nodes:- "1"# 默认第一个节点为管理节点,由管理节点下发配置给worker节点,并且将执行的结果收集起来展示- "2"- "3"
ssh_user: "root" # 节点间做root免密
ssh_password: ""
ssh_keyfile: "/root/.ssh/id_rsa" # 
ssh_port: "22" # ssh 的默认端口
mgr_port: "31" # 管理节点的端口
server_port: "32" # 节点间通信端口
log_level: "Info"

task 的配置

# task/task-local.template.yaml    
# 任务名称
task_name: "test"
#local:本地文件。
#url:url列表文件。
#s3:支持s3协议对象存储文件
src_type: "local"
# 需要迁移的目录/文件
src_prefix: "/root/tos-import_v1.0.3.linux_x86.tar.gz"
dest_type: "tos"
dest_ak:"" # access key
dest_sk:"" # secret key
dest_region:"" #tos 的region
dest_endpoint:"" #tos endpoint域名
dest_bucket:"" #桶名称
#迁移任务带宽流控,单位:KB/s,默认为100MB/s。最好设置,给其他业务或者服务留出带宽,防止带宽打满
task_bandwidth: 102400

启动分布式任务

注意配置文件;

./tos-import create --conf   task/task-local.template.yaml   
Create migrate task 'test' success, source type: local   

在这里插入图片描述

server:负责响应命令、管理任务、列举与分发功能的核心节点;worker:承载负责具体迁移的 executor 进程的节点。

查看迁移任务列表

# 查看迁移任务的列表
./tos-import list  
ID    TaskName         TaskStatus       CreateTime    Objects-Transferred/Total        Bytes-Transferred/Total                                                                      
1       test                  Transferring     2024-03-18 11:56:50     0/2                        43109799/86219599                                                                            

这篇关于【火山引擎数据传输工具 TOS import使用手册】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/846476

相关文章

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

jvm调优常用命令行工具详解

《jvm调优常用命令行工具详解》:本文主要介绍jvm调优常用命令行工具的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一 jinfo命令查看参数1.1 查看jvm参数二 jstack命令2.1 查看现场堆栈信息三 jstat 实时查看堆内存,gc情况3.1

MySQL使用binlog2sql工具实现在线恢复数据功能

《MySQL使用binlog2sql工具实现在线恢复数据功能》binlog2sql是大众点评开源的一款用于解析MySQLbinlog的工具,根据不同选项,可以得到原始SQL、回滚SQL等,下面我们就来... 目录背景目标步骤准备工作恢复数据结果验证结论背景生产数据库执行 SQL 脚本,一般会经过正规的审批

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并

Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)

《Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)》:本文主要介绍Java导入、导出excel的相关资料,讲解了使用Java和ApachePOI库将数据导出为Excel文件,包括... 目录前言一、引入Apache POI依赖二、用法&步骤2.1 创建Excel的元素2.3 样式和字体2.

基于Python开发PDF转PNG的可视化工具

《基于Python开发PDF转PNG的可视化工具》在数字文档处理领域,PDF到图像格式的转换是常见需求,本文介绍如何利用Python的PyMuPDF库和Tkinter框架开发一个带图形界面的PDF转P... 目录一、引言二、功能特性三、技术架构1. 技术栈组成2. 系统架构javascript设计3.效果图

MyBatis-Plus中静态工具Db的多种用法及实例分析

《MyBatis-Plus中静态工具Db的多种用法及实例分析》本文将详细讲解MyBatis-Plus中静态工具Db的各种用法,并结合具体案例进行演示和说明,具有很好的参考价值,希望对大家有所帮助,如有... 目录MyBATis-Plus中静态工具Db的多种用法及实例案例背景使用静态工具Db进行数据库操作插入

MySQL常见的存储引擎和区别说明

《MySQL常见的存储引擎和区别说明》MySQL支持多种存储引擎,如InnoDB、MyISAM、MEMORY、Archive、CSV和Blackhole,每种引擎有其特点和适用场景,选择存储引擎时需根... 目录mysql常见的存储引擎和区别说明1. InnoDB2. MyISAM3. MEMORY4. A