Golang使用minio替代文件系统的实战教程

2025-01-09 16:50

本文主要是介绍Golang使用minio替代文件系统的实战教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

《Golang使用minio替代文件系统的实战教程》本文讨论项目开发中直接文件系统的限制或不足,接着介绍Minio对象存储的优势,同时给出Golang的实际示例代码,包括初始化客户端、读取minio对...

文件系统 vs Minio

在开发的早期阶段,常见的做法是使用文件系统来存储和检索任何类型的对象。甚至当我们转向微服务时,我们也经常在某个指定的文件夹上硬编码静态文件。这使得开发或迁移到微服务变得快速,但很快我们就会后悔这个决定。

文件系统不足:

  • 文件系统通常依赖于ACL(访问控制列表),因此并非所有用户都具有相同的功能。使用任何类型的对象存储都可China编程以完全避免这个ACL问题。
  • 文件系统与它们所在的操作系统紧密耦合。这可能会限制可移植性,并使在不同平台之间迁移或共享数据变得困难。另一方面,对象存储提供了一个标准化的接口(例如Amazon S3的S3或Azure Blob storage API),允许轻松的数据传输和跨不同系统的兼容性。
  • 当涉及到存储关于文件和对象的元数据时,文件系统通常有限制。另一方面,对象存储可以与每个对象一起存储大量元数据,从而更容易根据不同属性组织、搜索和分析数据。
  • 与对象存储相比,文件系统需要更多的管理开销。对于文件系统,您需要管理目录结构、文件层次结构和访问控制列表。然而,对象存储使用平面地址空间,可以更简单地管理。

对象存储:minio

Minio 是一个开源的高性能对象存储服务器,与传统的文件存储系统不同,它专注于以对象的方式存储数据。

从功能特性来看,它具有高度的可扩展性。可以很方便地通过添加节点来增加存储容量,满足数据量不断增长的需求。例如,在大数据存储场景下,随着数据的持续积累,Minio 可以灵活地扩展存储规模。

Minio 提供了出色的兼容性,它兼容亚马逊 S3 云存储服务的 API。这意味着,对于已经基于 S3 API 开发的应用程序,几乎可以无缝迁移到 Minio 上运行,大大降低了开发和迁移成本。

在数据安全性方面,Minio 支持数据加密,无论是在存储还是传输过程中,都能有效保护数据的安全。同时,它提供了多种数据冗余策略,像纠删码等方式,确保在部分存储设备出现故障时,数据依然能够完整恢复。

在性能表现上,Minio 的读写速度比较快。通过分布式架构设计,它能够实现高并发的数据访问,在处理大量小文件存储和读取的场景下,如图片存储、视频存储等互联网应用场景,能够提供高效的存储服务。

在应用场景方面,Minio 可用于企业数据备份与归档。企业可以将重要的数据备份到 Minio 存储系统中,方便在需要时进行恢复。还可以用于云原生应用的数据存储,它能够很好地与容器编排工具(如 Kubernetes)配合,为云原生应用提供可靠的存储支持。总之,Minio 以其出色的性能、良好的兼容性和可靠的安全性,在对象存储领域发挥着重要作用。

Golang连接Minio

不管我们用Minio做什么,有一些步骤是必须完成的,比如创建Bucket、配置Bucket策略等。我将提供一些Golang代码片段,这将有助于与MinIO进行交互。

配置Minio客户端

// 配置客户端的三个步骤
// 1. AccessKey and SecretKey : 创建Minio集群后获取访问key和密钥key
// 2. endpoint : Minio Cluster 访问地址
// 3. useSSL : 是否需要SSL 检查 ? (true or false)
import  "github.com/minio/minio-go/v7"

func getMinioClient(accessKey string, secretKey string, endpoint string, 
                     useSSL bool)(*minio.Client, error) {
 // Context you want to use
 context := context.Background()
 minioClient, err := getMinioClient(accessKey, secretKey, endpoint, useSsl)
 return minioClient, err
}

创建和配置Bucket

下面的代码将创建Bucket,并将Bucket配置为使用Webhook端点,Minio将通过php它发送所有配置的FileEvents。

这里比较棘手的部分是在Minio集群中配置Webhook ARN。一种可能的方法是设置环境变量,以便Minio能够理解,官方文档地址:Publish Events to Webhook — MinIO Object Storage for Kubernetes

set MINIO_NOTIFY_WEBHOOK_ENABLE_PRIMARY=”on”
set MINIO_NOTIFY_WEBHOOK_ENDPOINT_PRIMARY=”ENDPOINT”
package main

import (
    "context"
    "fmt"
    "log"

    "github.com/minio/minio-go/v7"
    "github.com/minio/minio-go/v7/pkg/notification"
)

// CreateBucket创建Minio存储桶并配置桶通知
func CreateBucket(bucketName, mArn string, minioClient *minio.Client) error {
    // 1. 创建存储桶
    ctx := context.Background()
    err := minioClient.MakeBucket(ctx, bucketName, minio.MakeBucketOptions{})
    if err!= nil {
        // 检查存储桶是否已存在,如果是因为已存在导致的错误则忽略
        exists, errBucketExists := minioClient.BucketExists(ctx, bucketName)
        if errBucketExists == nil && exists {
            fmt.Printf("存储桶 %s 已存在,无需重复创建\n", bucketName)
            return nil
        }
        return fmt.Errorf("创建存储桶失败: %v", err)
    }
    fmt.Printf("存储桶 %s 创建成功\n", bucketName)

    // 2. 配置桶通知
    arn, err := notification.NewArnFromString(mArn)
    if err!= nil {
        return fmt.Errorf("解析ARN失败: %v", err)
    }

    config := notification.NewConfig(arn)
    config.AddEvents(
        notification.ObjectCreatedAll,
        notification.ObjectRemovedAll,
        notification.ObjectAccessedAll,
    )

    notificationConfig := notification.Configuration{}
    notificationConfig.AddQueue(config)

    err = minioClient.SetBucketNotification(ctx, bucketName, &notificationConfig)
    if err!= nil {
        return fmt.Errorf("设置存储桶通知失败: %v", err)
    }
    fmt.Printf("存储桶 %s 的通知配置成功\n", bucketName)

    return nil
}

以下是一个使用 Go 语言结合 Minio 客户端库创建 Minio 存储桶(Bucket)并配置桶通知(示例中以发送到一个 Webhook 端点为例,假设 Webhook 对应的 ARN 已提前知晓)的更完整示例代码,代码中包含了必要的包导入以及一些错误处理优化等内容。

func main() {
    // Minio服务端的访问端点、访问密钥和秘密密钥
    endpoint := "your_minio_endpoint"
    accessKey := "your_access_key"
    secretKey := "your_secret_key"
    bucketName := "your_bucket_name"
    mArn := javascript"your_webhook_arn"

    // 创建Minio客户端对象
    minioClient, err := minio.New(endpoint, &minio.Options{
        Credentials: minio.Credentials{
            AccessKey: accessKey,
            SecretKey: secretKey,
        },
    })
    if err!= nil {
        log.Fatalf("创建Minio客户端失败: %v", err)
    }

    // 调用创建存储桶并配置通知的函数
    err = CreateBucket(bucketName, mArn, minioClient)
    if err!= nil {
        log.Fatalf("执行创建存储桶及配置通知操作失败: %v", err)
    }
}

注意要将代码中的 your_minio_endpoint、your_access_key、your_secret_key、your_bucket_name 和 your_webhook_arn 替换为实际的 Minio 服务端信息、要创建的存储桶名称以及对应的 Webhook 的 ARN 信息。

读Minio对象

func ReadObject(bucketName string, filePath string)([]byte, error) {
     contentBuffer, err := minioClient.GetObject(context, bucketName, filePath, minio.GetObjectOptions{})
     if err != nil {
       return nil, err
     }

     // read the content from the buffer
     contentBytes := new(bytes.Buffer)
     if _, err := io.Copy(contentBytes, contentBuffer); err != nil {
      return nil, err
     }
     return contentBytes.Bytes(), nil
}

写Minio对象

func uploadObject(bucketName string, objectName string, file *os.File) error {
    // get the stat of file
    fileStat, err := file.Stat()
    if err != nil {
    	return err
    }

    // upload the file
    uploadInfo, err := minioClient.PutObject(
        context, 
        bucketName, 
        objectName, 
        file, 
        fileStat.Size(), 
        minio.PutObjectOptions{})

    fmt.Printf("Uploaded Info : %v", uploadInfo)
    return err
}

过期策略

在 Minio 中,存储桶的过期策略可以用于自动删除桶内满足一定条件(比如对象创建时间达到指定时长等)的对象。这在一些场景下非常有用,例如对于临时存储的数据、日志文件等,设定过期策略后,系统可以自动清理过期数据,节省存储空间,提升存储资源的利php用效率。

**注意:**类似地,也可以实现转换策略。这会将文件重定向到远程存储。但是请确保,不要在同一个集群中配置远程存储。

import (
    "context"
    "fmt"
    "log"

    "github.com/minio/minio-go/v7"
    "github.com/minio/minio-go/v7/pkg/lifecycle"
)

func SetBucketLifecycle(bucketName string, days int, minioClient *minio.Client) error {
    ctx := context.Background()

    // 构建生命周期配置规则
    rule := lifecycle.NewRule{
        ID:     "rule1",
        Status: "Enabled",
        Filter: lifecycle.NewprefixFilter(""), // 这里可以指定前缀来限制规则应用http://www.chinasem.cn到特定前缀的对象,空字符串表示应用到桶内所有对象
        Expiration: lifecycle.Expiration{
            Days: &days, // 设置过期天数,对象创建后达到这个天数就会被自动删除
        },
    }

    // 将规则添加到生命周期配置对象中
    config := lifecycle.NewConfiguration()
    config.Rules = append(config.Rules, rule)

    // 使用Minio客户端设置存储桶的生命周期配置(即过期策略)
    err := minioClient.SetBucketLifecycle(ctx, bucketName, config)
    if err!= nil {
        return fmt.Errorf("设置存储桶 %s 生命周期配置失败: %v", bucketName, err)
    }

    fmt.Printf("存储桶 %s 的过期策略设置成功,对象将在创建后 %d 天过期\n", bucketName, days)
    return nil
}


在 main 函数中调用上述函数来实际设置存储桶过期策略的示例代码,你需要将相应的 Minio 服务端地址、访问密钥、秘密密钥、存储桶名称以及期望的过期天数等参数替换为实际的值:

func main() {
    endpoint := "your_minio_endpoint"
    accessKey := "your_access_key"
    secretKey := "your_secret_key"
    bucketName := "your_bucket_name"
    days := 30 // 这里假设设置对象30天后过期,你可以按需修改

    // 创建Minio客户端实例
    minioClient, err := minio.New(endpoint, &minio.Options{
        Credentials: minio.Credentials{
            AccessKey: accessKey,
            SecretKey: secretKey,
        },
    })
    if err!= nil {
        log.Fatalf("创建Minio客户端失败: %v", err)
    }

    // 调用函数设置存储桶过期策略
    err = SetBucketLifecycle(bucketName, days, minioClient)
    if err!= nil {
        log.Fatalf("设置存储桶过期策略时出现错误: %v", err)
    }
}

需要注意的是:

  • 要将代码中的占位符(如 "your_minio_endpoint""your_access_key""your_secret_key""your_bucket_name" 等)替换为实际有效的 Minio 相关参数信息。
  • 确保已经正确引入了 minio-go 库,可以通过 go get github.com/minio/minio-go/v7 命令获取该依赖(如果还未安装)。

通过以上代码示例,你可以在 Go 语言项目中实现对 Minio 存储对象读写、设置过期策略的功能,以满足不同业务场景下对数据自动过期清理的需求。

到此这篇关于Golang使用minio替代文件系统的实战教程的文章就介绍到这了,更多相关Golang minio替代文件系统内容请搜索China编程(www.chinasem.cn)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程China编程(www.chinasem.cn)!

这篇关于Golang使用minio替代文件系统的实战教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1153003

相关文章

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》:本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my

Python FastAPI入门安装使用

《PythonFastAPI入门安装使用》FastAPI是一个现代、快速的PythonWeb框架,用于构建API,它基于Python3.6+的类型提示特性,使得代码更加简洁且易于绶护,这篇文章主要介... 目录第一节:FastAPI入门一、FastAPI框架介绍什么是ASGI服务(WSGI)二、FastAP

Spring-AOP-ProceedingJoinPoint的使用详解

《Spring-AOP-ProceedingJoinPoint的使用详解》:本文主要介绍Spring-AOP-ProceedingJoinPoint的使用方式,具有很好的参考价值,希望对大家有所帮... 目录ProceedingJoinPoijsnt简介获取环绕通知方法的相关信息1.proceed()2.g

Maven pom.xml文件中build,plugin标签的使用小结

《Mavenpom.xml文件中build,plugin标签的使用小结》本文主要介绍了Mavenpom.xml文件中build,plugin标签的使用小结,文中通过示例代码介绍的非常详细,对大家的学... 目录<build> 标签Plugins插件<build> 标签<build> 标签是 pom.XML

SpringBoot操作MaxComputer方式(保姆级教程)

《SpringBoot操作MaxComputer方式(保姆级教程)》:本文主要介绍SpringBoot操作MaxComputer方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的... 目录引言uqNqjoe一、引入依赖二、配置文件 application.properties(信息用自己

如何通过Golang的container/list实现LRU缓存算法

《如何通过Golang的container/list实现LRU缓存算法》文章介绍了Go语言中container/list包实现的双向链表,并探讨了如何使用链表实现LRU缓存,LRU缓存通过维护一个双向... 目录力扣:146. LRU 缓存主要结构 List 和 Element常用方法1. 初始化链表2.

JAVA虚拟机中 -D, -X, -XX ,-server参数使用

《JAVA虚拟机中-D,-X,-XX,-server参数使用》本文主要介绍了JAVA虚拟机中-D,-X,-XX,-server参数使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录一、-D参数二、-X参数三、-XX参数总结:在Java开发过程中,对Java虚拟机(JVM)的启动参数进

Java中使用注解校验手机号格式的详细指南

《Java中使用注解校验手机号格式的详细指南》在现代的Web应用开发中,数据校验是一个非常重要的环节,本文将详细介绍如何在Java中使用注解对手机号格式进行校验,感兴趣的小伙伴可以了解下... 目录1. 引言2. 数据校验的重要性3. Java中的数据校验框架4. 使用注解校验手机号格式4.1 @NotBl

基于Canvas的Html5多时区动态时钟实战代码

《基于Canvas的Html5多时区动态时钟实战代码》:本文主要介绍了如何使用Canvas在HTML5上实现一个多时区动态时钟的web展示,通过Canvas的API,可以绘制出6个不同城市的时钟,并且这些时钟可以动态转动,每个时钟上都会标注出对应的24小时制时间,详细内容请阅读本文,希望能对你有所帮助...