Go语言base64流式编码在收尾时的一个小坑

2024-03-27 00:52

本文主要是介绍Go语言base64流式编码在收尾时的一个小坑,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题复现

请看下面代码

sb := strings.Builder{}
_, err := io.Copy(base64.NewEncoder(base64.StdEncoding, &sb),bytes.NewBufferString("12345678"),
)
if err != nil {panic(err)
}
fmt.Println("编码后:", sb.String())
data, err := base64.StdEncoding.DecodeString(sb.String())
if err != nil {panic(err)
}
fmt.Println("解码后:", string(data))

这里利用io.Copy将任意io.Reader编码为base64字符串,这种写法在处理网络通信等流式数据时十分简洁高效。可是,以上代码运行结果如下:

编码后: MTIzNDU2
解码后: 123456

显见,末尾的78被丢掉了。

原因分析

base64结尾处使用===标记编码未满,因此流式编码器在不知道当前是否为文件末尾时,不会贸然写入===,而是统一以3字节组进行编码,将不满3字节的写入数据残余部分先暂存起来。
  这样做是因为每3字节原始数据正好对应4字节base64编码,而完整的base64编码并不包含===,因此可以直接写入接收端。
  为了适配流式编码,base64.NewEncoder返回的并不是io.Writer而是io.WriteCloser。我们必须要显式调用其Close方法以通知编码器写入结尾残余部分,否则当原始数据长度不是3的倍数时,将在结尾处出现结尾缺损。

解决方案

编码结束后调用流式编码器的Close方法。

sb := strings.Builder{}
enc := base64.NewEncoder(base64.StdEncoding, &sb)
_, err := io.Copy(enc,bytes.NewBufferString("12345678"),
)
if err != nil {panic(err)
}
err = enc.Close()
if err != nil {panic(err)
}
fmt.Println("编码后:", sb.String())
data, err := base64.StdEncoding.DecodeString(sb.String())
if err != nil {panic(err)
}
fmt.Println("解码后:", string(data))

此时,输出恢复正常。

编码后: MTIzNDU2Nzg=
解码后: 12345678

这篇关于Go语言base64流式编码在收尾时的一个小坑的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/850424

相关文章

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

BUUCTF(34)特殊的 BASE64

使用pycharm时,如果想把代码撤销到之前的状态可以用 Ctrl+z 如果不小心撤销多了,可以用 Ctrl+Shift+Z 还原, 别傻傻的重新敲了 BUUCTF在线评测 (buuoj.cn) 查看字符串,想到base64的变表 这里用的c++的标准程序库中的string,头文件是#include<string> 这是base64的加密函数 std::string

Go Playground 在线编程环境

For all examples in this and the next chapter, we will use Go Playground. Go Playground represents a web service that can run programs written in Go. It can be opened in a web browser using the follow

C++ | Leetcode C++题解之第393题UTF-8编码验证

题目: 题解: class Solution {public:static const int MASK1 = 1 << 7;static const int MASK2 = (1 << 7) + (1 << 6);bool isValid(int num) {return (num & MASK2) == MASK1;}int getBytes(int num) {if ((num &

go基础知识归纳总结

无缓冲的 channel 和有缓冲的 channel 的区别? 在 Go 语言中,channel 是用来在 goroutines 之间传递数据的主要机制。它们有两种类型:无缓冲的 channel 和有缓冲的 channel。 无缓冲的 channel 行为:无缓冲的 channel 是一种同步的通信方式,发送和接收必须同时发生。如果一个 goroutine 试图通过无缓冲 channel

C语言 | Leetcode C语言题解之第393题UTF-8编码验证

题目: 题解: static const int MASK1 = 1 << 7;static const int MASK2 = (1 << 7) + (1 << 6);bool isValid(int num) {return (num & MASK2) == MASK1;}int getBytes(int num) {if ((num & MASK1) == 0) {return

MiniGPT-3D, 首个高效的3D点云大语言模型,仅需一张RTX3090显卡,训练一天时间,已开源

项目主页:https://tangyuan96.github.io/minigpt_3d_project_page/ 代码:https://github.com/TangYuan96/MiniGPT-3D 论文:https://arxiv.org/pdf/2405.01413 MiniGPT-3D在多个任务上取得了SoTA,被ACM MM2024接收,只拥有47.8M的可训练参数,在一张RTX

如何确定 Go 语言中 HTTP 连接池的最佳参数?

确定 Go 语言中 HTTP 连接池的最佳参数可以通过以下几种方式: 一、分析应用场景和需求 并发请求量: 确定应用程序在特定时间段内可能同时发起的 HTTP 请求数量。如果并发请求量很高,需要设置较大的连接池参数以满足需求。例如,对于一个高并发的 Web 服务,可能同时有数百个请求在处理,此时需要较大的连接池大小。可以通过压力测试工具模拟高并发场景,观察系统在不同并发请求下的性能表现,从而

C语言:柔性数组

数组定义 柔性数组 err int arr[0] = {0}; // ERROR 柔性数组 // 常见struct Test{int len;char arr[1024];} // 柔性数组struct Test{int len;char arr[0];}struct Test *t;t = malloc(sizeof(Test) + 11);strcpy(t->arr,