XSKY S3 Console 为对象存储系统赋能

随着移动互联网、5G、人工智能等新技术的发展，非结构化信息的数据量越来越大。据Gartner预估，在快速增长的数据中，非结构化数据占比已达80%，企业现有架构已无法应对海量非结构化数据的管理与利用等需求。

01

XSKY在管理非结构化数据方面可以提供整体解决方案：利用XEOS对象存储提供非结构化数据的存储和管理功能，同时基于全新发布的S3 Console软件（一款访问和管理对象存储服务的图形化Web应用程序），提供存储共享、内容管理和数据洞察的能力。

简化数据访问

对象存储一般情况下只是作为一种IT基础设施，给业务系统提供存储服务。使用XSKY S3 Console提供的Web图形界面可以方便的访问、移动和管理对象存储中的数据。将存储空间共享出来，变成一种经济实惠的文档管理解决方案，并且具有更好的可靠性和性能。企业内的普通用户也可以安全地访问存储，提高存储利用率，节省企业投入成本。

丰富管理功能

对象存储本身只能提供如存储池、服务器、硬盘、桶等存储资源级别的管理功能。XSKY S3 Console在数据级别提供了碎片管理、访问控制、标签/元数据管理、版本控制、断点续传等管理功能，进一步增强了对象存储的管理能力。

提供洞察能力

XSKY S3 Console基于对象存储查询引擎提供全局的数据检索功能，配合标签管理、自定义元数据功能可以方便的实现对象数据的分类与检索。

后续，S3 Console还计划增加桶、文件夹的容量分析，请求统计等功能，桶内数据的分布和访问情况实现可视化，从而快速识别桶内可能存在的空间浪费情况，并据此做出优化。

02

目前，XSKY S3 Console在早前基础上，又快速迭代新增了以下6项功能：

元数据检索

元数据检索在对象存储使用中是比较重要的特性，用户根据使用需要查询相应对象数据进行分析利用，或者上层应用直接调取查询接口获取相应数据进行分析使用。

XSKY S3 Console新版本中基于XEOS产品特有的查询引擎，实现了高级的元数据检索功能。支持全局文件进行精准检索，包括根据对象名称、大小、更新日期等基本信息，以及标签、自定义元数据等附加信息作为检索条件进行数据检索。

具体流程：首先，在XEOS管理界面上启用查询引擎，然后使用 S3 Console访问该XEOS集群，S3 Console会自动识别查询引擎的存在并开启对象查询功能。

如下图所示，通过产品界面配置检索条件进行查询，直接列出相应检索结果。在检索结果列表上，支持与文件列表类似的操作，包括剪切、复制、粘贴、下载、重命名等。

使用元数据检索功能，可以快速查找并访问特定的对象数据、进行相应的操作，从而提高终端用户管理和使用对象数据的效率。

碎片管理

XSKY S3 Console可灵活控制数据的上传下载等传输并发，默认支持分段上传及并发设置，提高数据传输效率。但在使用S3的分段上传功能上传文件时，文件会被切分成许多碎片（Part）上传到存储桶中，最后再通过完成接口将碎片组合成完整的文件。

在取消分段上传任务或其他没有完成分段上传任务的情况下，都可能造成这些碎片残留在存储桶中。一些支持断点续传的第三方工具也可能造成类似的碎片残留，造成存储空间的浪费。

可以通过新增的碎片管理功能了解桶中文件碎片的残留情况，并对不必要的碎片进行清理。

如上图可通过管理界面查看到当前桶中上传文件过程中残留的碎片，对桶中不必要的碎片进行清理，提高存储利用率，同时提高列出桶中对象的效率。

权限策略

桶权限策略（Bucket Policy）提供了基于资源（包括桶、桶内资源）的细粒度访问控制的能力。从访问来源、访问目标、操作类型、过滤条件几个方面提供丰富的控制策略，精细化授权用户及资源的访问权限。

用户可以限制某些用户对一些特定资源的访问，也可以将原本私有的资源开放给满足特定条件的用户进行访问。例如，企业内部的机密文档，只允许在企业内部分用户访问，不允许未授权的用户访问行为。这种可以基于桶权限策略来限制用户的访问，从而高效方便地进行授权。

如上图所示，权限策略功能提供了完善的JSON编辑器给用户进行设置，编辑器支持语法高亮、语法检查等功能。此外，界面上还提供了一些常用示例，供用户复制、参考。

断点续传

为了避免已经上传的分段数据重复上传，提高数据上传效率。在任务管理列表中增加了暂停和继续的断点续传功能，进行中的上传任务可以中途“暂停”，下次点“继续”时则会从上次完成的分段数据之后开始继续上传，避免已经上传的分段数据重复上传。使用“暂停”可中断低优先级的任务，让重要的任务优先进行。

自定义元数据

对象元数据是关于数据的数据或者叫做用来描述数据的数据，是对象本身包含的一组基本信息，类似文件的属性，如：名称、日期、大小等。自定义元数据是指用户在上传对象时或上传之后给对象添加元数据，其中包括系统元数据和用户自定义的元数据。元数据可以作为对象查询的条件。在下载对象的时候，元数据信息会随对象一起被获取。

通过对象元数据信息辅助应用检索感知，同时可为用户提供查询条件。

自定义标签

通过Tag标签来定义对象数据的关键词，利用标签将对象数据进行分组管理和归类更有利于搜索和批量操作。

S3 Console提供的自定义标签功能允许用户在上传对象时或上传之后给对象添加标签。结合对象查询功能，能够快速查找到一组同类型的对象。除此之外，在进行对象的访问控制、生命周期等设置的时候，也可以利用标签进行对象的过滤操作。

03

本次迭代中，为了提供最佳的使用体验，S3 Console还做了以下功能优化：

1、一键部署

提供一键部署功能，用户可以在SDS集群主机上部署S3 Console，也可以在独立的主机、VM上部署；

2、批量下载

优化了文件下载体验，支持下载整个文件夹，此时S3 Console会将文件夹打包成一个zip文件进行下载，下载完成后可以在本地解压出完整的文件夹并保留了和线上一致的文件夹结构；

3、文件夹下载

支持选中多个文件或文件夹，一次性触发批量下载，提高使用效率及体验；

4、拖拽上传

优化了文件上传体验，只需要打开本地的资源管理器（Windows）或访达（Mac），将文件或文件夹拖拽到S3 Console的文件列表中即可触发上传操作；

5、失败任务原因

对于上传或下载的任务有失败情况，会友好的展示图其任务失败的原因，辅助用户排查定位，提升使用体验。

XSKY S3 Console的新增和优化特性，使得XSKY XEOS对象存储可以更好的满足对海量非结构化数据的管理与分析利用等需求。让企业用户轻松便捷的管理数据内容，更近一步拉近对象存储和用户的距离。