golang常用库之- encoding/binary包 | 字节转换成整形、整形转换成字节、“大字端” 和 “小字端”

2023-10-19 06:10

本文主要是介绍golang常用库之- encoding/binary包 | 字节转换成整形、整形转换成字节、“大字端” 和 “小字端”,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • golang常用库之- encoding/binary包 | 字节转换成整形、整形转换成字节、“大字端” 和 “小字端”
    • 背景和使用场景
    • go语言socket通信中大小端转换问题
    • encoding/binary包
      • Go语言自定义二进制文件的读写操作
    • 字节转换成整形、整形转换成字节
      • 代码demo
    • 小字端” 和 “大字端”
      • 计算机字节序和网络字节序
      • 对于网络传输,使用的就是大字端。为什么?

golang常用库之- encoding/binary包 | 字节转换成整形、整形转换成字节、“大字端” 和 “小字端”

背景和使用场景

Go编程的三十六个套路: int与[]byte互转用于数据传输
参考URL: https://blog.frognew.com/2016/03/go-guide-encoding-binary.html

在用Go进行数据传输的场景下,例如文件传输或文件存储时,需要将Go的数据例如int转换为[]byte。 得到的[]byte可以进一步在网络上传输或写入到文件中。这个场景需要借助go标准库中的encoding/binary包来实现。

变长值是使用一到多个字节编码整数的方法,绝对值较小的数字会占用较少的字节数。这个在ProtocolBuffer的编码文档中有详细说明。

encoding/binary包相对于效率更注重简单。 如果需要高效的序列化,特别是数据结构较复杂的,可以选择更高级的解决方案, 例如encoding/gob包(Go语言自带的数据编码解码工具包),或者采用ProtocolBuffer(跨语言)。

使用encoding/binary包可以实现序列化和反序列化功能:

  • binary.Write这个函数可以将数据序列化成字节流
  • binary.Read这个函数可以将字节流反序列化为数据结构

使用encoding/binary包的优缺点:

  • 优点: 简单、高效
  • 缺点: 如果编码的结构中有不确定长度的类型,会报错

如果是go语言之间的序列化和反序列化推荐使用encoding/gob包,跨语言的序列化和反序列化可以使用protobuf,使用protobuf的化我们就不用考虑socket接受大小端的事情,protobuf数据里面就做了这种事情。

go语言socket通信中大小端转换问题

一般来说网络传输的字节序,可能是大端序或者小端序,取决于软件开始时通讯双方的协议规定。TCP/IP协议RFC1700规定使用“大端”字节序为网络字节序,开发的时候需要遵守这一规则。默认golang是使用大端序。详情见golang中包encoding/binary已提供了大、小端序的使用。

在内存中这些字节是按照从大到小的地址空间存储还是从小到大。发送接收双方事先约定好,否则就会不同的顺寻着对接收数据的解析顺序不同出错。发送端和解析端必须一致!

encoding/binary包

官方:https://pkg.go.dev/encoding/binary

golang的binary包简单实现了数字(number)到字节序(byte sequences)的转换,以及64位整型(varint)的编码与解码。

Go语言自定义二进制文件的读写操作

Go语言自定义二进制文件的读写操作
参考URL: http://c.biancheng.net/view/4570.html

Go语言的 encoding/binary 包中的 binary.Write() 函数使得以二进制格式写数据非常简单,函数原型如下:

func Write(w io.Writer, order ByteOrder, data interface{}) error

Write 函数可以将参数 data 的 binary 编码格式写入参数 w 中,参数 data 必须是定长值、定长值的切片、定长值的指针。参数 order 指定写入数据的字节序,写入结构体时,名字中有_的字段会置为 0

package mainimport ("bytes""encoding/binary""fmt""os"
)type Website struct {Url int32
}func main() {file, err := os.Create("output.bin")for i := 1; i <= 10; i++ {info := Website{int32(i),}if err != nil {fmt.Println("文件创建失败 ", err.Error())return}defer file.Close()var bin_buf bytes.Bufferbinary.Write(&bin_buf, binary.LittleEndian, info)b := bin_buf.Bytes()_, err = file.Write(b)if err != nil {fmt.Println("编码失败", err.Error())return}}fmt.Println("编码成功")
}

运行上面的程序会在当前目录下生成 output.bin 文件,文件内容如下:

0100 0000 0200 0000 0300 0000 0400 0000
0500 0000 0600 0000 0700 0000 0800 0000
0900 0000 0a00 0000 

字节转换成整形、整形转换成字节

使用 Go 语言中 binary 这个标准包,该包实现了数字与字节之间的转化。

下来我们将数字 0x22334455 转化为大字端字节存储。

buffer := new(bytes.Buffer) 
binary.Write(buffer, binary.BigEndian, int32(0x22334455)) 

binary.BigEndian 常量,表示大字端。binary.LittleEndian 常量,表示小字端。

代码demo

package mainimport ("bytes""encoding/binary""fmt"
)//字节转换成整形
func BytesToInt(b []byte) int {bytesBuffer := bytes.NewBuffer(b)var x int32binary.Read(bytesBuffer, binary.BigEndian, &x)  //转换有两种不同的方式,也就是大端和小端。大端就是内存中低地址对应着整数的高位。return int(x)
}//整形转换成字节
func IntToBytes(n int) []byte {x := int32(n)bytesBuffer := bytes.NewBuffer([]byte{})binary.Write(bytesBuffer, binary.BigEndian, x)return bytesBuffer.Bytes()
}func main() {fmt.Println(IntToBytes(2))fmt.Println(len(IntToBytes(2)))}

小字端” 和 “大字端”

计算机字节序和网络字节序

字节序 就是多字节数据类型 (int, float 等)在内存中的存储顺序。可分为大端序,低地址端存放高位字节;小端序与之相反,低地址端存放低位字节。

  • 小端字节序(Little Endian): 低位字节排放在内存的低地址端,高位字节排放在内存的高地址端
  • 大端字节序(Big Endian): 高位字节排放在内存的低地址端,低位字节排放在内存的高地址端

在这里插入图片描述
使用小端序时不移动字节就能改变 number 占内存的大小而不需内存地址起始位。比如我想把四字节的 int32 类型的整型转变为八字节的 int64 整型,只需在小端序末端加零即可。

44 33 22 11
44 33 22 11 00 00 00 00
上述扩展或缩小整型变量操作在编译器层面非常有用,但在网络协议层非也。

例如,对于一个加法器,选择的是小字端。为什么?
因为,加法是从低位到高位开始加,一旦有进位,就直接送到下一位,设计就很简单。

在进行数据传输时需要先考虑一下字节序,因为不同处理器的架构体系会使用不同的存储字节序,而对于TCP/IP网络传输的字节序则固定采用的是大端字节序。

对于网络传输,使用的就是大字端。为什么?

因为,早年设备的缓存很小,先接收高字节能快速的判断报文信息:包长度(需要准备多大缓存)、地址范围(IP地址是从前到后匹配的)。

在性能不是很好的设备上,高字节在先确实是会更快一些。

TCP/IP协议RFC1700规定使用“大端”字节序为网络字节序,开发的时候需要遵守这一规则~

在网络协议层操作二进制数字时约定使用大端序,大端序是网络字节传输采用的方式。

这篇关于golang常用库之- encoding/binary包 | 字节转换成整形、整形转换成字节、“大字端” 和 “小字端”的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/237849

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

JS常用组件收集

收集了一些平时遇到的前端比较优秀的组件,方便以后开发的时候查找!!! 函数工具: Lodash 页面固定: stickUp、jQuery.Pin 轮播: unslider、swiper 开关: switch 复选框: icheck 气泡: grumble 隐藏元素: Headroom

字节面试 | 如何测试RocketMQ、RocketMQ?

字节面试:RocketMQ是怎么测试的呢? 答: 首先保证消息的消费正确、设计逆向用例,在验证消息内容为空等情况时的消费正确性; 推送大批量MQ,通过Admin控制台查看MQ消费的情况,是否出现消费假死、TPS是否正常等等问题。(上述都是临场发挥,但是RocketMQ真正的测试点,还真的需要探讨) 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说,就是一个分

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

常用的jdk下载地址

jdk下载地址 安装方式可以看之前的博客: mac安装jdk oracle 版本:https://www.oracle.com/java/technologies/downloads/ Eclipse Temurin版本:https://adoptium.net/zh-CN/temurin/releases/ 阿里版本: github:https://github.com/

30常用 Maven 命令

Maven 是一个强大的项目管理和构建工具,它广泛用于 Java 项目的依赖管理、构建流程和插件集成。Maven 的命令行工具提供了大量的命令来帮助开发人员管理项目的生命周期、依赖和插件。以下是 常用 Maven 命令的使用场景及其详细解释。 1. mvn clean 使用场景:清理项目的生成目录,通常用于删除项目中自动生成的文件(如 target/ 目录)。共性规律:清理操作

webm怎么转换成mp4?这几种方法超多人在用!

webm怎么转换成mp4?WebM作为一种新兴的视频编码格式,近年来逐渐进入大众视野,其背后承载着诸多优势,但同时也伴随着不容忽视的局限性,首要挑战在于其兼容性边界,尽管WebM已广泛适应于众多网站与软件平台,但在特定应用环境或老旧设备上,其兼容难题依旧凸显,为用户体验带来不便,再者,WebM格式的非普适性也体现在编辑流程上,由于它并非行业内的通用标准,编辑过程中可能会遭遇格式不兼容的障碍,导致操

uva 575 Skew Binary(位运算)

求第一个以(2^(k+1)-1)为进制的数。 数据不大,可以直接搞。 代码: #include <stdio.h>#include <string.h>const int maxn = 100 + 5;int main(){char num[maxn];while (scanf("%s", num) == 1){if (num[0] == '0')break;int len =

多重背包转换成0-1背包

http://acm.hdu.edu.cn/showproblem.php?pid=2191 多重背包特点: 一种物品有C个(既不是固定的1个,也不是无数个) 优化的方法: 运用神奇的二进制,进行物品拆分,转化成01背包 物品拆分,把13个相同的物品分成4组(1,2,4,6) 用这4组可以组成任意一个1~13之间的数! 原理:一个数总可以用2^

019、JOptionPane类的常用静态方法详解

目录 JOptionPane类的常用静态方法详解 1. showInputDialog()方法 1.1基本用法 1.2带有默认值的输入框 1.3带有选项的输入对话框 1.4自定义图标的输入对话框 2. showConfirmDialog()方法 2.1基本用法 2.2自定义按钮和图标 2.3带有自定义组件的确认对话框 3. showMessageDialog()方法 3.1