Go语言base64流式编码在收尾时的一个小坑

2024-03-27 00:52

本文主要是介绍Go语言base64流式编码在收尾时的一个小坑,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题复现

请看下面代码

sb := strings.Builder{}
_, err := io.Copy(base64.NewEncoder(base64.StdEncoding, &sb),bytes.NewBufferString("12345678"),
)
if err != nil {panic(err)
}
fmt.Println("编码后:", sb.String())
data, err := base64.StdEncoding.DecodeString(sb.String())
if err != nil {panic(err)
}
fmt.Println("解码后:", string(data))

这里利用io.Copy将任意io.Reader编码为base64字符串,这种写法在处理网络通信等流式数据时十分简洁高效。可是,以上代码运行结果如下:

编码后: MTIzNDU2
解码后: 123456

显见,末尾的78被丢掉了。

原因分析

base64结尾处使用===标记编码未满,因此流式编码器在不知道当前是否为文件末尾时,不会贸然写入===,而是统一以3字节组进行编码,将不满3字节的写入数据残余部分先暂存起来。
  这样做是因为每3字节原始数据正好对应4字节base64编码,而完整的base64编码并不包含===,因此可以直接写入接收端。
  为了适配流式编码,base64.NewEncoder返回的并不是io.Writer而是io.WriteCloser。我们必须要显式调用其Close方法以通知编码器写入结尾残余部分,否则当原始数据长度不是3的倍数时,将在结尾处出现结尾缺损。

解决方案

编码结束后调用流式编码器的Close方法。

sb := strings.Builder{}
enc := base64.NewEncoder(base64.StdEncoding, &sb)
_, err := io.Copy(enc,bytes.NewBufferString("12345678"),
)
if err != nil {panic(err)
}
err = enc.Close()
if err != nil {panic(err)
}
fmt.Println("编码后:", sb.String())
data, err := base64.StdEncoding.DecodeString(sb.String())
if err != nil {panic(err)
}
fmt.Println("解码后:", string(data))

此时,输出恢复正常。

编码后: MTIzNDU2Nzg=
解码后: 12345678

这篇关于Go语言base64流式编码在收尾时的一个小坑的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/850424

相关文章

使用SQL语言查询多个Excel表格的操作方法

《使用SQL语言查询多个Excel表格的操作方法》本文介绍了如何使用SQL语言查询多个Excel表格,通过将所有Excel表格放入一个.xlsx文件中,并使用pandas和pandasql库进行读取和... 目录如何用SQL语言查询多个Excel表格如何使用sql查询excel内容1. 简介2. 实现思路3

Go语言实现将中文转化为拼音功能

《Go语言实现将中文转化为拼音功能》这篇文章主要为大家详细介绍了Go语言中如何实现将中文转化为拼音功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 有这么一个需求:新用户入职 创建一系列账号比较麻烦,打算通过接口传入姓名进行初始化。想把姓名转化成拼音。因为有些账号即需要中文也需要英

Go语言使用Buffer实现高性能处理字节和字符

《Go语言使用Buffer实现高性能处理字节和字符》在Go中,bytes.Buffer是一个非常高效的类型,用于处理字节数据的读写操作,本文将详细介绍一下如何使用Buffer实现高性能处理字节和... 目录1. bytes.Buffer 的基本用法1.1. 创建和初始化 Buffer1.2. 使用 Writ

深入理解C语言的void*

《深入理解C语言的void*》本文主要介绍了C语言的void*,包括它的任意性、编译器对void*的类型检查以及需要显式类型转换的规则,具有一定的参考价值,感兴趣的可以了解一下... 目录一、void* 的类型任意性二、编译器对 void* 的类型检查三、需要显式类型转换占用的字节四、总结一、void* 的

Go Gorm 示例详解

《GoGorm示例详解》Gorm是一款高性能的GolangORM库,便于开发人员提高效率,本文介绍了Gorm的基本概念、数据库连接、基本操作(创建表、新增记录、查询记录、修改记录、删除记录)等,本... 目录1. 概念2. 数据库连接2.1 安装依赖2.2 连接数据库3. 数据库基本操作3.1 创建表(表关

C语言线程池的常见实现方式详解

《C语言线程池的常见实现方式详解》本文介绍了如何使用C语言实现一个基本的线程池,线程池的实现包括工作线程、任务队列、任务调度、线程池的初始化、任务添加、销毁等步骤,感兴趣的朋友跟随小编一起看看吧... 目录1. 线程池的基本结构2. 线程池的实现步骤3. 线程池的核心数据结构4. 线程池的详细实现4.1 初

Go信号处理如何优雅地关闭你的应用

《Go信号处理如何优雅地关闭你的应用》Go中的优雅关闭机制使得在应用程序接收到终止信号时,能够进行平滑的资源清理,通过使用context来管理goroutine的生命周期,结合signal... 目录1. 什么是信号处理?2. 如何优雅地关闭 Go 应用?3. 代码实现3.1 基本的信号捕获和优雅关闭3.2

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

BUUCTF(34)特殊的 BASE64

使用pycharm时,如果想把代码撤销到之前的状态可以用 Ctrl+z 如果不小心撤销多了,可以用 Ctrl+Shift+Z 还原, 别傻傻的重新敲了 BUUCTF在线评测 (buuoj.cn) 查看字符串,想到base64的变表 这里用的c++的标准程序库中的string,头文件是#include<string> 这是base64的加密函数 std::string