PHP 里进行字符串 Unicode 编码并正确截短的方法

2024-03-14 05:38
文章标签 进行 方法 php 字符串 编码 正确 unicode 截短

本文主要是介绍PHP 里进行字符串 Unicode 编码并正确截短的方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在 PHP 与其它语言互相调用传输数据的时候，经常会遇到字符串编码的问题。比如我最近使用 go 语言开发的一个 RPC 服务，在使用 PHP 作为客户端调用的时候，传输的对象数据就使用了 json_encode 来进行序列化，

源字符串：

> 测试41
> {"json":['test json 测试json串格式'不对'}

它序列化后得到的内容应该类似下面的：

> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'}

这个序列化看起来没有问题，我们可以很方便的用 json_decode 来获得原始字符串。

但是因为我的服务需要限制字符串长度，也就是说如果超出限制的字符串，会被截短，类似下面的：

> 测试41
> {"json":['test json 测试...

这里出现的问题，首先是截短的字符串长度不是预期的长度。为什么呢？因为 PHP 客户端如果在序列化之前就按限制长度来截短字符串，那么截短后的字符串序列化之后的长度肯定与源字符串序列化之后才截短的结果不一致。

假定我们限制长度为50（个单字节字符），我们撰写一个下面的脚本来展示一下截短序列化之前和之后的结果：

<?php$str1 = "> 测试41\n> {\"json\":['test json 测试json串格式'不对'}";$str2 = json_encode($str1);echo "str1: ".$str1."\n";
echo "Length of str1: ".strlen($str1)."\n\n";echo "str2: ".$str2."\n";
echo "Length of str2: ".strlen($str2)."\n\n";echo "MultiByte Length of str1: ".mb_strlen($str1)."\n\n";$limit = 50;$cut1 = substr($str1, 0, $limit);
$cut2 = substr($str2, 0, $limit);
$cut3 = mb_substr($str1, 0, $limit);echo "cut1: ".$cut1."\n";
echo "Encode cut1: ".json_encode($cut1)."\n";
echo "Length of encoded cut1: ".strlen(json_encode($cut1))."\n\n";echo "cut2: ".$cut2."\n";
echo "Length of cut2: ".strlen($cut2)."\n\n";echo "cut3: ".$cut3."\n";
echo "Encode cut3: ".json_encode($cut3)."\n";
echo "Length of encoded cut3: ".strlen(json_encode($cut3))."\n\n";

该脚本的运行结果如下：

str1: > 测试41
> {"json":['test json 测试json串格式'不对'}
Length of str1: 61str2: "> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'}"
Length of str2: 93MultiByte Length of str1: 43cut1: > 测试41
> {"json":['test json 测试json串格�
Encode cut1: 
Length of encoded cut1: 0cut2: "> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\
Length of cut2: 50cut3: > 测试41
> {"json":['test json 测试json串格式'不对'}
Encode cut3: "> \u6d4b\u8bd541\n> {\"json\":['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'}"
Length of encoded cut3: 93

可以看到源字符串被截短后，再 json_encode 出了问题，得到的序列化结果为空字符串……

但是如果我们用 mbstring 的方法来衡量和截短字符串，其序列化之后的字符串长度超出了我们的限制……

所以，正确的做法是 先对字符串进行序列化，然后根据限制截短字符串。这样能够确保字符串在不同的语言里处理都能有一致的结果。

网络上有很多序列化 Unicode 字符串的方法，但经过测试我发现，如果截短后都可能因为包含 JSON 的特殊符号大括号、中括号或其它符号，导致反序列化出现问题。最后经过尝试，我利用 PHP 的 JSON 模块实现了如下的编码方法：

<?php
//将内容进行UNICODE编码
function unicode_encode($str){$pattern = '/([\[\]\{\}])/i';$replacement = '\\\\${1}';$str = preg_replace($pattern, $replacement, $str);$str = '{"str":"'. $str.'"}';$encode = json_encode($str);return substr($encode, 12, -4);
}//将UNICODE编码后的内容进行解码
function unicode_decode($unicode_str){//避免一半 unicode 截断的情况$cut_pos_check = strrpos($unicode_str, '\u', 0);if(strlen($unicode_str) - $cut_pos_check < 6) { // unicode 编码都是 6 个字节：\uxxxx$unicode_str = substr($unicode_str, 0, $cut_pos_check);}if(substr($unicode_str, -1) == "\\" && substr($unicode_str, -2, 1) != "\\") {  //去掉截断最后为 \ 且不是 \\ 的情况$unicode_str = substr($unicode_str, 0, -1);}$json = '{"str":"'.$unicode_str.'"}';$obj = json_decode($json);if(empty($obj)) return '';return $obj->str;
}//截断字符串
function cutData($data, $occupied, $limit) {if($limit < 0) $limit = intval($this->config->ratchet->msglimit);$msglimit = $limit - $occupied;   //有些必须占用的长度去掉echo(date("Y-m-d h:i:s")." Msg length: ".strlen($data)."\n");echo(date("Y-m-d h:i:s")." Msg limit: ".$msglimit."\n");$tmp = preg_replace("/\&nbsp\;/", " ", unicode_encode(trim(htmlspecialchars_decode($data))));    //编码为Unicode$encoded_len = strlen($tmp);echo(date("Y-m-d h:i:s")." Unicode Encoded: ".$tmp."\n\n");echo(date("Y-m-d h:i:s")." Unicode Encoded Msg length: ".$encoded_len."\n");if($encoded_len > $msglimit) {  //超出限制长度$sub = substr($tmp, 0, $msglimit);echo(date("Y-m-d h:i:s")." Substring: ".$sub."\n\n");echo(date("Y-m-d h:i:s")." Unicode Decoded: ".unicode_decode($sub)."\n\n");return unicode_decode($sub) . "...";   //返回截短后的解码字符串}return preg_replace("/\&nbsp\;/", " ", $data);
}

再用一个测试脚本测试一下：

<?php
$str1 = "> 测试41\n> {\"json\":['test json 测试json串格式'不对'}";$str2 = unicode_encode($str1);echo "str1: ".$str1."\n";
echo "Length of str1: ".strlen($str1)."\n\n";$limit = 50;$cut = cutData($str1, 0, $limit);echo "cut: ".$cut."\n";

结果类似下面的：

str1: > 测试41
> {"json":['test json 测试json串格式'不对'}
Length of str1: 612021-08-28 11:18:26 Msg length: 61
2021-08-28 11:18:26 Unicode Encoded: > \u6d4b\u8bd541\n> \\{\"json\":\\['test json \u6d4b\u8bd5json\u4e32\u683c\u5f0f'\u4e0d\u5bf9'\\}2021-08-28 11:18:26 Unicode Encoded Msg length: 97
2021-08-28 11:18:26 Msg limit: 50
2021-08-28 11:18:26 Substring: > \u6d4b\u8bd541\n> \\{\"json\":\\['test json \u6d2021-08-28 11:18:26 Unicode Decoded: > 测试41
> \{"json":\['test json cut: > 测试41
> \{"json":\['test json ...

这篇关于PHP 里进行字符串 Unicode 编码并正确截短的方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/807361。

相关文章

【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
浅谈主机加固，六种有效的主机加固方法

浅谈主机加固，六种有效的主机加固方法

在数字化时代，数据的价值不言而喻，但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露，企业的数据安全面临着前所未有的挑战。为了应对这些挑战，一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案，采用先进的安全容器中间件技术，构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限，即使在管理员权限被恶意利用的情况下，也能确保服务器的安全稳定运行。 普适主机加固措施：
阅读更多...
webm怎么转换成mp4？这几种方法超多人在用！

webm怎么转换成mp4？这几种方法超多人在用！

webm怎么转换成mp4？WebM作为一种新兴的视频编码格式，近年来逐渐进入大众视野，其背后承载着诸多优势，但同时也伴随着不容忽视的局限性，首要挑战在于其兼容性边界，尽管WebM已广泛适应于众多网站与软件平台，但在特定应用环境或老旧设备上，其兼容难题依旧凸显，为用户体验带来不便，再者，WebM格式的非普适性也体现在编辑流程上，由于它并非行业内的通用标准，编辑过程中可能会遭遇格式不兼容的障碍，导致操
阅读更多...
【测试】输入正确用户名和密码，点击登录没有响应的可能性原因

【测试】输入正确用户名和密码，点击登录没有响应的可能性原因

目录 一、前端问题 1. 界面交互问题 2. 输入数据校验问题 二、网络问题 1. 网络连接中断 2. 代理设置问题 三、后端问题 1. 服务器故障 2. 数据库问题 3. 权限问题： 四、其他问题 1. 缓存问题 2. 第三方服务问题 3. 配置问题 一、前端问题 1. 界面交互问题 登录按钮的点击事件未正确绑定，导致点击后无法触发登录操作。 页面可能存在
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
业务中14个需要进行A/B测试的时刻[信息图]

业务中14个需要进行A/B测试的时刻[信息图]

在本指南中，我们将全面了解有关 A/B测试 的所有内容。 我们将介绍不同类型的A/B测试，如何有效地规划和启动测试，如何评估测试是否成功，您应该关注哪些指标，多年来我们发现的常见错误等等。 什么是A/B测试？ A/B测试（有时称为“分割测试”）是一种实验类型，其中您创建两种或多种内容变体——如登录页面、电子邮件或广告——并将它们显示给不同的受众群体，以查看哪一种效果最好。 本质上，A/B测
阅读更多...
【北交大信息所AI-Max2】使用方法

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡，拥有登录权限的账号密码，一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 （如果是1集群把75改成66） 交互式开发 执行器选Terminal 密码随便设一个（需记住） 工作空间：私有数据、全部文件 加速器选GeForce_RTX_2080_Ti
阅读更多...
【VUE】跨域问题的概念，以及解决方法。

【VUE】跨域问题的概念，以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略，该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同，则需要服务器显式地允许这种跨域请求。一般在springbo
阅读更多...
C++ | Leetcode C++题解之第393题UTF-8编码验证

C++ | Leetcode C++题解之第393题UTF-8编码验证

题目： 题解： class Solution {public:static const int MASK1 = 1 << 7;static const int MASK2 = (1 << 7) + (1 << 6);bool isValid(int num) {return (num & MASK2) == MASK1;}int getBytes(int num) {if ((num &
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2