【火山引擎数据传输工具 TOS import使用手册】

2024-03-25 22:44

本文主要是介绍【火山引擎数据传输工具 TOS import使用手册】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 背景
    • 正文
      • 下载软件包
      • 安装 TOS import
      • 部署分布式数据传输任务
      • 启动分布式任务

背景

TOS import是火山引擎的TOS(对象存储)传输工具包,是从本地、S3或者其他云存储传输数据到TOS的常用工具;在使用过程中发现TOS import的文档不太全面,本文作为补充,方便大家上手,争取做到复制粘帖即可运行。

正文

本文的服务器系统均为linux。

下载软件包

wget  https://tos-tools.tos-cn-beijing.volces.com/linux/tos-import_v1.0.3.linux_x86.tar.gz

安装 TOS import

解压安装,比如这里直接安装在root下;

tar -zxvf tos-import_v1.0.3.linux_x86.tar.gz  -C /root/

在/root/tos-import 目录下有这些内容,后续会用到;
在这里插入图片描述
简单解释下,

  1. conf是配置文件的存储目录;
  2. logs是日志目录;
  3. task是迁移任务的管理和配置;
  4. tos-import是二进制文件;

部署分布式数据传输任务

加入集群中有3个节点(IP分别为:1,2,3),以下列出必要的配置;
通信、节点配置

# conf/server.yaml 
work_dir: "/root/tos-import/"
work_nodes:- "1"# 默认第一个节点为管理节点,由管理节点下发配置给worker节点,并且将执行的结果收集起来展示- "2"- "3"
ssh_user: "root" # 节点间做root免密
ssh_password: ""
ssh_keyfile: "/root/.ssh/id_rsa" # 
ssh_port: "22" # ssh 的默认端口
mgr_port: "31" # 管理节点的端口
server_port: "32" # 节点间通信端口
log_level: "Info"

task 的配置

# task/task-local.template.yaml    
# 任务名称
task_name: "test"
#local:本地文件。
#url:url列表文件。
#s3:支持s3协议对象存储文件
src_type: "local"
# 需要迁移的目录/文件
src_prefix: "/root/tos-import_v1.0.3.linux_x86.tar.gz"
dest_type: "tos"
dest_ak:"" # access key
dest_sk:"" # secret key
dest_region:"" #tos 的region
dest_endpoint:"" #tos endpoint域名
dest_bucket:"" #桶名称
#迁移任务带宽流控,单位:KB/s,默认为100MB/s。最好设置,给其他业务或者服务留出带宽,防止带宽打满
task_bandwidth: 102400

启动分布式任务

注意配置文件;

./tos-import create --conf   task/task-local.template.yaml   
Create migrate task 'test' success, source type: local   

在这里插入图片描述

server:负责响应命令、管理任务、列举与分发功能的核心节点;worker:承载负责具体迁移的 executor 进程的节点。

查看迁移任务列表

# 查看迁移任务的列表
./tos-import list  
ID    TaskName         TaskStatus       CreateTime    Objects-Transferred/Total        Bytes-Transferred/Total                                                                      
1       test                  Transferring     2024-03-18 11:56:50     0/2                        43109799/86219599                                                                            

这篇关于【火山引擎数据传输工具 TOS import使用手册】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/846476

相关文章

MySql match against工具详细用法

《MySqlmatchagainst工具详细用法》在MySQL中,MATCH……AGAINST是全文索引(Full-Textindex)的查询语法,它允许你对文本进行高效的全文搜素,支持自然语言搜... 目录一、全文索引的基本概念二、创建全文索引三、自然语言搜索四、布尔搜索五、相关性排序六、全文索引的限制七

基于Java实现回调监听工具类

《基于Java实现回调监听工具类》这篇文章主要为大家详细介绍了如何基于Java实现一个回调监听工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录监听接口类 Listenable实际用法打印结果首先,会用到 函数式接口 Consumer, 通过这个可以解耦回调方法,下面先写一个

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

JS+HTML实现在线图片水印添加工具

《JS+HTML实现在线图片水印添加工具》在社交媒体和内容创作日益频繁的今天,如何保护原创内容、展示品牌身份成了一个不得不面对的问题,本文将实现一个完全基于HTML+CSS构建的现代化图片水印在线工具... 目录概述功能亮点使用方法技术解析延伸思考运行效果项目源码下载总结概述在社交媒体和内容创作日益频繁的

基于Python打造一个全能文本处理工具

《基于Python打造一个全能文本处理工具》:本文主要介绍一个基于Python+Tkinter开发的全功能本地化文本处理工具,它不仅具备基础的格式转换功能,更集成了中文特色处理等实用功能,有需要的... 目录1. 概述:当文本处理遇上python图形界面2. 功能全景图:六大核心模块解析3.运行效果4. 相

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

基于Python实现高效PPT转图片工具

《基于Python实现高效PPT转图片工具》在日常工作中,PPT是我们常用的演示工具,但有时候我们需要将PPT的内容提取为图片格式以便于展示或保存,所以本文将用Python实现PPT转PNG工具,希望... 目录1. 概述2. 功能使用2.1 安装依赖2.2 使用步骤2.3 代码实现2.4 GUI界面3.效

基于Python和MoviePy实现照片管理和视频合成工具

《基于Python和MoviePy实现照片管理和视频合成工具》在这篇博客中,我们将详细剖析一个基于Python的图形界面应用程序,该程序使用wxPython构建用户界面,并结合MoviePy、Pill... 目录引言项目概述代码结构分析1. 导入和依赖2. 主类:PhotoManager初始化方法:__in

使用Python自建轻量级的HTTP调试工具

《使用Python自建轻量级的HTTP调试工具》这篇文章主要为大家详细介绍了如何使用Python自建一个轻量级的HTTP调试工具,文中的示例代码讲解详细,感兴趣的小伙伴可以参考一下... 目录一、为什么需要自建工具二、核心功能设计三、技术选型四、分步实现五、进阶优化技巧六、使用示例七、性能对比八、扩展方向建

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优