常见的几种编码方式

2024-05-31 22:28
文章标签 常见 几种 编码方式

本文主要是介绍常见的几种编码方式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

常见的编码方式及其特点:

编码方式的设计是为了适应不同的字符集和应用需求,因此它们在表示字符时使用的位数和字节数各不相同

  1. 常见编码方式及其位数和字节数

    • ASCII(American Standard Code for Information Interchange)

      • 位数:7位
      • 字节数:1字节(8位,但最高位固定为0)
      • 字符范围:128个字符(包括英文字母、数字、标点符号和控制字符)
    • ISO 8859-1(Latin-1)

      • 位数:8位
      • 字节数:1字节
      • 字符范围:256个字符(包括西欧语言的字符)
    • GB2312

      • 位数:16位
      • 字节数:2字节
      • 字符范围:6763个汉字及其他字符(主要用于简体中文)
    • BIG5

      • 位数:16位
      • 字节数:2字节
      • 字符范围:13053个汉字及其他字符(主要用于繁体中文)
    • Unicode

      • 位数:16位或32位
      • 字节数:2字节或4字节(具体取决于编码方式)
      • 字符范围:几乎所有已知字符(涵盖全球所有语言)
    • UTF-8(Unicode Transformation Format - 8-bit)

      • 位数:8位到32位
      • 字节数:1到4字节(变长编码)
      • 字符范围:所有Unicode字符
        • 1字节(7位):用于ASCII字符(0x00 - 0x7F)
        • 2字节(11位):用于扩展字符(0x80 - 0x7FF)
        • 3字节(16位):用于基本多文种平面(BMP)字符(0x800 - 0xFFFF)
        • 4字节(21位):用于补充字符(0x10000 - 0x10FFFF)
    • UTF-16(Unicode Transformation Format - 16-bit)

      • 位数:16位或32位
      • 字节数:2字节或4字节
      • 字符范围:所有Unicode字符
        • 2字节(16位):用于基本多文种平面(BMP)字符(0x0000 - 0xFFFF)
        • 4字节(32位):用于补充字符(0x10000 - 0x10FFFF)
    • UTF-32(Unicode Transformation Format - 32-bit)

      • 位数:32位
      • 字节数:4字节
      • 字符范围:所有Unicode字符(直接使用32位表示)

为什么UTF-8可以编码中文,而其他的编码方式不行?

原理解释:

  1. ASCII:只有128个字符,不可能表示中文这样的复杂字符。

  2. ISO 8859-1:扩展到256个字符,但主要用于西欧语言字符,不包括中文。

  3. GB2312 和 BIG5:这两种编码方式是专门为中文设计的,但它们有各自的局限性,不能表示所有的中文字符。

  4. Unicode:它是一个统一的编码标准,包含了全球所有已知的字符。Unicode为每个字符分配一个唯一的编码点(code point),例如“中”字的编码点是U+4E2D。

  5. UTF-8

    • UTF-8是Unicode的一种实现方式,它使用可变长度的字节来编码字符。
    • 对于中文字符,UTF-8通常使用3个字节表示。UTF-8的第一个字节的高位部分指示了该字符需要的总字节数。例如,一个中文字符的第一个字节的高位部分可能是1110xxxx,这表示需要三个字节。后面的两个字节的高位部分是10xxxxxx,表示这是一个多字节字符的一部分。
    • 这种可变长度的设计使得UTF-8可以非常高效地编码各种语言的字符,同时保持对ASCII的兼容性。

详细原理:

  • 中文汉字在UTF-8编码中通常是三个字节,但这并不是绝对的。具体来说,UTF-8编码的长度取决于字符的Unicode编码点范围。下面是UTF-8编码的基本规则:

  • 单字节字符(0x00 - 0x7F):1字节,最高位为0。例如,ASCII字符“a”编码为0x61。
  • 双字节字符(0x80 - 0x7FF):2字节,第一个字节为110xxxxx,第二个字节为10xxxxxx。
  • 三字节字符(0x800 - 0xFFFF):3字节,第一个字节为1110xxxx,后两个字节为10xxxxxx。
  • 四字节字符(0x10000 - 0x10FFFF):4字节,第一个字节为11110xxx,后三个字节为10xxxxxx。

总结

大多数中文汉字在UTF-8中是三个字节

但对于超过基本多文种平面的汉字,则需要使用四个字节表示。UTF-8通过这种可变长度的设计,能够有效地表示包括中文在内的所有Unicode字符。

大多数常用的中文汉字的Unicode编码点范围在0x4E00到0x9FFF之间,因此在UTF-8中表示为三个字节。例如,“中”字的Unicode编码是U+4E2D,在UTF-8中编码为E4 B8 AD。

然而,也有一些特殊的汉字或者罕见的汉字,它们的Unicode编码点超出了0xFFFF,需要使用四个字节来表示。以下是几个例子:

例子1:“𠀀”(CJK扩展B区第一个字符)

Unicode编码

  • “𠀀”字的Unicode编码是U+20000。

转换为二进制

  • 20000(十六进制)转换为二进制是0010 0000 0000 0000 0000。

根据UTF-8的编码规则进行分组

  • UTF-8编码四字节格式:
    • 第一个字节:11110xxx
    • 第二个字节:10xxxxxx
    • 第三个字节:10xxxxxx
    • 第四个字节:10xxxxxx

应用到“𠀀”字的二进制表示

  • 将0010 0000 0000 0000 0000分配到UTF-8的四个字节中:
    • 第一个字节:1111 0000
    • 第二个字节:1010 0000
    • 第三个字节:1000 0000
    • 第四个字节:1000 0000

最终UTF-8编码表示

  • 第一个字节:11110000 (F0)
  • 第二个字节:10100000 (A0)
  • 第三个字节:10000000 (80)
  • 第四个字节:10000000 (80)

c++ String

C++ 的 std::string 是一个通用的字符串容器,它本身并不依赖于特定的字符编码。这种设计使得 std::string 可以存储不同编码的字符串。下面详细解释其中的原因和机制。

std::string 的设计

  1. 字节序列容器

    • std::string 本质上是一个字节序列的容器,可以存储任意的字节数据。
    • 它不关心这些字节数据的具体含义,这使得它可以存储不同编码的字符串。
  2. 字符编码无关性

    • std::string 并不强制要求字符串使用特定的编码。
    • 可以将任何编码的字符数据(如ASCII、UTF-8、ISO 8859-1等)存储在 std::string 中。
  3. 灵活的内存管理

    • std::string 使用动态内存管理,可以灵活地调整其容量以适应存储的字符数据。
    • 这使得它可以存储从短的ASCII字符串到长的多字节编码字符串(如UTF-8)。
#include <iostream>
#include <string>int main() {// ASCII编码的字符串std::string ascii_str = "Hello, World!";std::cout << "ASCII: " << ascii_str << std::endl;// UTF-8编码的字符串std::string utf8_str = u8"你好,世界!";std::cout << "UTF-8: " << utf8_str << std::endl;// ISO 8859-1编码的字符串std::string iso8859_1_str = "\xA1\xA2\xA3";std::cout << "ISO 8859-1: " << iso8859_1_str << std::endl;return 0;
}

std::wstring 和宽字符

对于需要处理Unicode字符的应用,C++还提供了宽字符字符串类型 std::wstringstd::wstring 使用 wchar_t 类型存储字符,每个字符的大小依赖于具体实现(通常是2或4字节),可以更方便地处理多字节编码的字符数据,如UTF-16。

#include <iostream>
#include <string>int main() {// UTF-16编码的宽字符字符串std::wstring utf16_str = L"你好,世界!";std::wcout << L"UTF-16: " << utf16_str << std::endl;return 0;
}

编码转换

在实际应用中,可能需要在不同编码之间进行转换。C++11及之后的标准库提供了 codecvt 来支持字符编码转换。

#include <iostream>
#include <string>
#include <locale>
#include <codecvt>int main() {// UTF-8 to UTF-16std::string utf8_str = u8"你好,世界!";std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> converter;std::wstring utf16_str = converter.from_bytes(utf8_str);std::wcout << L"UTF-16: " << utf16_str << std::endl;// UTF-16 to UTF-8std::string utf8_converted = converter.to_bytes(utf16_str);std::cout << "UTF-8: " << utf8_converted << std::endl;return 0;
}

总结

  • std::string 是一个通用的字节序列容器,可以存储不同编码的字符串,因为它本质上是存储字节数据而不是特定的字符编码。
  • std::wstring 提供了处理宽字符的支持,适用于多字节编码的字符数据。
  • 对于字符编码的转换和处理,需要使用适当的工具和库,例如 codecvt

这篇关于常见的几种编码方式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1019210

相关文章

SQL中redo log 刷⼊磁盘的常见方法

《SQL中redolog刷⼊磁盘的常见方法》本文主要介绍了SQL中redolog刷⼊磁盘的常见方法,将redolog刷入磁盘的方法确保了数据的持久性和一致性,下面就来具体介绍一下,感兴趣的可以了解... 目录Redo Log 刷入磁盘的方法Redo Log 刷入磁盘的过程代码示例(伪代码)在数据库系统中,r

JAVA保证HashMap线程安全的几种方式

《JAVA保证HashMap线程安全的几种方式》HashMap是线程不安全的,这意味着如果多个线程并发地访问和修改同一个HashMap实例,可能会导致数据不一致和其他线程安全问题,本文主要介绍了JAV... 目录1. 使用 Collections.synchronizedMap2. 使用 Concurren

SQL BETWEEN 的常见用法小结

《SQLBETWEEN的常见用法小结》BETWEEN操作符是SQL中非常有用的工具,它允许你快速选取某个范围内的值,本文给大家介绍SQLBETWEEN的常见用法,感兴趣的朋友一起看看吧... 在SQL中,BETWEEN是一个操作符,用于选取介于两个值之间的数据。它包含这两个边界值。BETWEEN操作符常用

python中各种常见文件的读写操作与类型转换详细指南

《python中各种常见文件的读写操作与类型转换详细指南》这篇文章主要为大家详细介绍了python中各种常见文件(txt,xls,csv,sql,二进制文件)的读写操作与类型转换,感兴趣的小伙伴可以跟... 目录1.文件txt读写标准用法1.1写入文件1.2读取文件2. 二进制文件读取3. 大文件读取3.1

C++中初始化二维数组的几种常见方法

《C++中初始化二维数组的几种常见方法》本文详细介绍了在C++中初始化二维数组的不同方式,包括静态初始化、循环、全部为零、部分初始化、std::array和std::vector,以及std::vec... 目录1. 静态初始化2. 使用循环初始化3. 全部初始化为零4. 部分初始化5. 使用 std::a

前端下载文件时如何后端返回的文件流一些常见方法

《前端下载文件时如何后端返回的文件流一些常见方法》:本文主要介绍前端下载文件时如何后端返回的文件流一些常见方法,包括使用Blob和URL.createObjectURL创建下载链接,以及处理带有C... 目录1. 使用 Blob 和 URL.createObjectURL 创建下载链接例子:使用 Blob

C++ vector的常见用法超详细讲解

《C++vector的常见用法超详细讲解》:本文主要介绍C++vector的常见用法,包括C++中vector容器的定义、初始化方法、访问元素、常用函数及其时间复杂度,通过代码介绍的非常详细,... 目录1、vector的定义2、vector常用初始化方法1、使编程用花括号直接赋值2、使用圆括号赋值3、ve

Pytest多环境切换的常见方法介绍

《Pytest多环境切换的常见方法介绍》Pytest作为自动化测试的主力框架,如何实现本地、测试、预发、生产环境的灵活切换,本文总结了通过pytest框架实现自由环境切换的几种方法,大家可以根据需要进... 目录1.pytest-base-url2.hooks函数3.yml和fixture结论你是否也遇到过

C/C++错误信息处理的常见方法及函数

《C/C++错误信息处理的常见方法及函数》C/C++是两种广泛使用的编程语言,特别是在系统编程、嵌入式开发以及高性能计算领域,:本文主要介绍C/C++错误信息处理的常见方法及函数,文中通过代码介绍... 目录前言1. errno 和 perror()示例:2. strerror()示例:3. perror(

CSS去除a标签的下划线的几种方法

《CSS去除a标签的下划线的几种方法》本文给大家分享在CSS中,去除a标签(超链接)的下划线的几种方法,本文给大家介绍的非常详细,感兴趣的朋友一起看看吧... 在 css 中,去除a标签(超链接)的下划线主要有以下几种方法:使用text-decoration属性通用选择器设置:使用a标签选择器,将tex