突破编程_C++_网络编程（一种高性能处理 TCP 粘包问题的方法）

2024-04-23 17:44
文章标签 c++ 问题 方法 编程 处理 网络 tcp 高性能 一种 突破 粘包

本文主要是介绍突破编程_C++_网络编程（一种高性能处理 TCP 粘包问题的方法），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1 前言

在“突破编程_C++_网络编程（Windows 套接字（处理 TCP 粘包问题））”一文中，已经讲解了 TCP 粘包问题，并且给出了样例代码。但是该样例代码的核心是使用队列（std::queue）做报文的处理。

std::queue 是 C++ 标准模板库（STL）中的一个容器适配器，它提供了一种先进先出（FIFO）的数据结构。在 STL 中，std::queue 并不直接存储元素，而是依赖于一个底层容器来管理元素的存储，这个底层容器通常是 std::deque（双端队列）或者 std::list（双向链表），具体取决于实现。

默认情况下，std::queue 会使用 std::deque 作为底层容器：这是最常见的实现方式。std::deque 提供了从两端快速插入和删除元素的能力，这与 std::queue 的操作特性非常吻合。在 std::deque 上，std::queue 的 push() 操作对应于 std::deque 的 push_back()，而 pop() 对应于 std::deque 的 pop_front()。

如果使用 std::queue 作为处理 TCP 粘包问题，所有接收到的 TCP 数据会先存入队列中，然后再一个一个拿出来处理。一般情况下，这种处理模式是可行的，但是当报文的字节数很大时，这种模式的效率会比较低，所以本文会实现一种高性能的处理方式。

2 回顾一下 TCP 粘包问题

TCP（传输控制协议）是一种面向流的协议，它不保留数据包边界。在TCP连接中，数据被看作是一连串无结构的字节流。TCP 粘包问题指的是接收方在接收数据时，由于发送方发送的数据包较小，或者接收方处理较慢等原因，导致多个数据包粘在一起，形成一个大的数据块，从而使得接收方无法辨认出各个数据包的边界。

2.1 粘包产生的原因

（1）发送方原因：

  • 发送数据包较小，尤其是小于TCP协议的MSS（最大报文段长度）。
  • 发送数据包的时间间隔太短，导致接收方来不及处理。

（2）接收方原因：

  • 接收处理速度慢，导致多个数据包到达后才开始处理。
  • 接收缓冲区大小设置不当，可能过大或过小。

（3）网络原因：

  • 网络延迟或拥塞，导致数据包传输时间不一致。

2.2 粘包问题的影响

TCP 粘包问题对网络通信的影响是多方面的，它可能会导致数据的不完整、错误解析、性能下降甚至安全问题。以下是 TCP 粘包问题可能带来的一些具体影响：

  • 数据完整性受损：由于接收方无法准确识别数据包边界，可能会导致数据包被错误地合并或拆分，从而造成数据丢失或重复。

  • 错误解析：粘包可能导致接收方错误地解析数据，比如将两个数据包的内容错误地解释为一个数据包，或者将一个数据包的内容错误地解释为两个数据包。

  • 应用逻辑错误：在某些应用中，数据包的内容和顺序是非常重要的。粘包问题可能会导致应用逻辑处理错误，比如在聊天应用中，消息的顺序可能会被打乱。

  • 性能下降：为了处理粘包问题，接收方可能需要额外的缓冲区来暂存数据，并进行边界检测，这会增加CPU和内存的使用，从而降低系统的整体性能。

  • 延迟增加：在某些情况下，为了等待更多的数据以确定数据包的边界，接收方可能会延迟处理已经接收到的数据，这会增加处理延迟。

  • 资源浪费：由于粘包问题，接收方可能需要分配更大的缓冲区来暂存数据，这可能会导致内存资源的浪费。

  • 安全问题：粘包问题可能会被恶意利用，比如通过发送特制的数据包来破坏接收方的缓冲区，从而导致缓冲区溢出等安全问题。

  • 协议复杂性增加：为了解决粘包问题，可能需要在应用层定义额外的协议来标识数据包的边界，这会增加协议的复杂性。

  • 兼容性问题：不同的系统和应用可能采用不同的方法来处理粘包问题，这可能会导致兼容性问题。

  • 调试困难：粘包问题可能会使得网络通信的调试变得更加困难，因为错误可能不容易被发现和定位。

2.3 解决粘包问题的方法

（1）固定长度消息：

每个消息都发送固定长度的数据，接收方按照固定长度进行读取和处理。

**（2）消息头和消息体：

消息分为消息头和消息体，消息头中包含消息体的长度信息，接收方根据消息头中的长度来确定消息体的边界。

**（3）使用特殊字符或字节序列：

在消息体中使用特殊的字符或字节序列作为消息边界的标识。

**（4）应用层协议：

定义应用层协议，明确消息的开始和结束，例如使用 HTTP 协议中的 Content-Length 字段。

**（5）使用缓冲区处理：

接收方使用缓冲区暂存接收到的数据，当满足一个完整消息的条件时再进行处理。

**（6）使用 TCP 的紧急数据或带外数据：

通过发送紧急指针或带外数据来标记消息的结束。

3 一种高性能的 TCP 粘包问题的处理方式

本方式采用使用消息头（Header）+消息体长度（Length）+消息体（Body）的方法来做处理：

  1. 消息头设计：设计一个固定长度的消息头结构，通常包含消息体的长度信息。消息头的长度是固定的，以便于接收方能够快速地识别出消息头并从中读取消息体的长度。

  2. 消息体长度：在消息头中，最关键的信息是消息体的长度，这个长度值告诉接收方接下来需要读取多少字节的数据来构成一个完整的消息体。

  3. 消息体发送：发送方在发送消息体之前，先发送包含消息体长度的消息头。这样，接收方在接收到消息头后，就能够知道接下来需要读取多少字节的数据。

  4. 接收处理：

    • 接收方首先读取消息头，解析出消息体的长度。
    • 根据消息头中的长度信息，接收方分配一个足够大的缓冲区来存储整个消息体。
    • 接收方接着从TCP流中读取指定长度的消息体数据，直到读取完整个消息体。

  5. 连续读取：在读取完一个完整消息后，接收方再次读取消息头，以确定下一个消息的边界，继续处理后续的消息。

  6. 缓冲区管理：为了处理可能的粘包情况，接收方可能需要使用一个缓冲区来暂存接收到的数据。当缓冲区中的数据足以构成一个完整的消息时，就从缓冲区中提取出消息并处理，然后将剩余的数据留在缓冲区中，等待构成下一个消息。

  7. 错误处理：在设计协议时，还应考虑错误处理机制，比如如果接收到的消息头中的长度信息不合理（如长度为负数或过大），则需要采取相应的错误处理措施。

通过这种方式，即使在TCP流中数据包被粘在一起，接收方也能够准确地识别出每个消息的边界，从而有效地解决了粘包问题。这种方法简单、高效，且易于实现，因此在处理TCP粘包问题时被广泛采用。

（1）定义数据缓冲区

#include <iostream>  
#include <string>  
#include <sstream>
#include <vector>  
#include <deque>  
#include <tuple>  
#include <memory>  using namespace std;std::deque<tuple<unique_ptr<char[]>, uint64_t>> remainingDatas;

（2）定义工具函数，用来显示报文

string binaryStringToHex(string& binaryStr, string strPre, string strSplit)
{string ret;static const char *hex = "0123456789ABCDEF";uint64_t offset = 0;for (auto c : binaryStr){ret.append(strPre);ret.push_back(hex[(c >> 4) & 0xf]); //取二进制高四位ret.push_back(hex[c & 0xf]);        //取二进制低四位if (offset < binaryStr.length() - 1){ret.append(strSplit);}offset++;}return ret;
}string binaryCharToHex(const char* data, uint64_t len, string strPre, string strSplit)
{string strBinaryVal = string(data, len);return binaryStringToHex(strBinaryVal, strPre, strSplit);
}

（3）TCP 粘包问题处理函数

void revMsg(const char *data, uint64_t len)
{if (0 == len) {return;}unique_ptr<char[]> dataTmp = make_unique<char[]>(len);memcpy(dataTmp.get(), data, len);remainingDatas.push_back(tuple<unique_ptr<char[]>, uint64_t>(move(dataTmp), len));while (remainingDatas.size() > 0) {auto remainingDataPtr = get<0>(remainingDatas[0]).get();if (0x20 != remainingDataPtr[0]) {remainingDatas.clear();return;}if (1 == get<1>(remainingDatas[0]) && remainingDatas.size() <= 1) {return;}uint8_t msgLen = 0;uint64_t totalLen = 0;for (auto& remainingData : remainingDatas) {totalLen += get<1>(remainingData);}if (1 == get<1>(remainingDatas[0])) {remainingDataPtr = get<0>(remainingDatas[1]).get();msgLen = (uint8_t)remainingDataPtr[0];}else {msgLen = (uint8_t)remainingDataPtr[1];}if (msgLen + 2 > totalLen) {return;}unique_ptr<char[]> totalData = make_unique<char[]>(totalLen);uint64_t totalDataOffset = 0;for (auto& remainingData : remainingDatas) {uint64_t lenTmp = get<1>(remainingData);memcpy(&(totalData.get())[totalDataOffset], get<0>(remainingData).get(), lenTmp);totalDataOffset += lenTmp;}remainingDatas.clear();uint64_t offset = 2;uint64_t lastMsgOffset = 0;			// 最后一帧完整报文的最后一个字节偏移while (offset + msgLen <= totalLen) {uint64_t revMsgLen = msgLen + 2;unique_ptr<char[]> revMsg = make_unique<char[]>(revMsgLen);memcpy(revMsg.get(), &(totalData.get())[offset - 2], revMsgLen);// 打印处理粘包后的一帧完整报文auto strMsg = binaryCharToHex(revMsg.get(), revMsgLen, "", " ");printf("[recive] %s\n", strMsg.c_str());offset += msgLen;lastMsgOffset = offset;if (offset + 2 < totalLen) {if (0x20 != totalData[offset]) {return;}offset++;msgLen = (uint8_t)totalData[offset];offset++;}}if (lastMsgOffset < totalLen) {uint64_t lastRemainLen = totalLen - lastMsgOffset;unique_ptr<char[]> lastRemainData = make_unique<char[]>(lastRemainLen);memcpy(lastRemainData.get(), &(totalData.get())[lastMsgOffset], lastRemainLen);remainingDatas.push_back(tuple<unique_ptr<char[]>, uint64_t>(move(lastRemainData), lastRemainLen));}}
}

（4）使用模拟的字节流数据做测试

std::vector<std::string> split(const std::string& str, const char delimiter)
{std::vector<std::string> tokens;std::istringstream tokenStream(str);std::string token;while (std::getline(tokenStream, token, delimiter)){tokens.push_back(token);}return tokens;
}tuple<unique_ptr<char[]>, size_t> getBytesFromStr(string str)
{vector<string> strs = split(str, ' ');if (strs.size() > 0){unique_ptr<char[]> bytes(new char[strs.size()]);for (size_t i = 0; i < strs.size(); i++){int val = strtol(strs[i].c_str(), nullptr, 16);bytes[i] = (char)val;}return tuple<unique_ptr<char[]>, size_t>(move(bytes), strs.size());}else{return tuple<unique_ptr<char[]>, size_t>(unique_ptr<char[]>(nullptr), 0);}
}int main() {// 模拟TCP接收数据  string str = "20";auto res = getBytesFromStr(str);revMsg((get<0>(res)).get(), get<1>(res));str = "04 02 00 00 01 20 04 02 00 00 02 20 04 02 00";res = getBytesFromStr(str);revMsg((get<0>(res)).get(), get<1>(res));str = "00 03 20 04 02 00 00 04 20 04 02 00";res = getBytesFromStr(str);revMsg((get<0>(res)).get(), get<1>(res));return 0;
}

上面代码的输出为：

[recive] 20 04 02 00 00 01
[recive] 20 04 02 00 00 02
[recive] 20 04 02 00 00 03
[recive] 20 04 02 00 00 04

这篇关于突破编程_C++_网络编程（一种高性能处理 TCP 粘包问题的方法）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/929467。

相关文章

linux生产者，消费者问题

linux生产者，消费者问题

pthread_cond_wait() ：用于阻塞当前线程，等待别的线程使用pthread_cond_signal()或pthread_cond_broadcast来唤醒它。 pthread_cond_wait() 必须与pthread_mutex 配套使用。pthread_cond_wait()函数一进入wait状态就会自动release mutex。当其他线程通过pthread
阅读更多...
关于C++中的虚拟继承的一些总结（虚拟继承，覆盖，派生，隐藏）

关于C++中的虚拟继承的一些总结（虚拟继承，覆盖，派生，隐藏）

1.为什么要引入虚拟继承 虚拟继承是多重继承中特有的概念。虚拟基类是为解决多重继承而出现的。如:类D继承自类B1、B2，而类B1、B2都继承自类A，因此在类D中两次出现类A中的变量和函数。为了节省内存空间，可以将B1、B2对A的继承定义为虚拟继承，而A就成了虚拟基类。实现的代码如下： class A class B1:public virtual A; class B2:pu
阅读更多...
C++对象布局及多态实现探索之内存布局（整理的很多链接）

C++对象布局及多态实现探索之内存布局（整理的很多链接）

本文通过观察对象的内存布局，跟踪函数调用的汇编代码。分析了C++对象内存的布局情况，虚函数的执行方式，以及虚继承，等等 文章链接：http://dev.yesky.com/254/2191254.shtml      论C/C++函数间动态内存的传递 (2005-07-30)   当你涉及到C/C++的核心编程的时候，你会无止境地与内存管理打交道。 文章链接：http://dev.yesky
阅读更多...
如何突破底层思维方式的牢笼

如何突破底层思维方式的牢笼

我始终认为，牛人和普通人的根本区别在于思维方式的不同，而非知识多少、阅历多少。 在这个世界上总有一帮神一样的人物存在。就像读到的那句话：“人类就像是一条历史长河中的鱼，只有某几条鱼跳出河面，看到世界的法则，但是却无法改变，当那几条鱼中有跳上岸，进化了，改变河道流向，那样才能改变法则。”  最近一段时间一直在不断寻在内心的东西，同时也在不断的去反省和否定自己的一些思维模式，尝试重
阅读更多...
C++的模板(八)：子系统

C++的模板(八)：子系统

平常所见的大部分模板代码，模板所传的参数类型，到了模板里面，或实例化为对象，或嵌入模板内部结构中，或在模板内又派生了子类。不管怎样，最终他们在模板内，直接或间接，都实例化成对象了。 但这不是唯一的用法。试想一下。如果在模板内限制调用参数类型的构造函数会发生什么?参数类的对象在模板内无法构造。他们只能从模板的成员函数传入。模板不保存这些对象或者只保存他们的指针。因为构造函数被分离，这些指针在模板外
阅读更多...
问题：第一次世界大战的起止时间是 #其他#学习方法#微信

问题：第一次世界大战的起止时间是 #其他#学习方法#微信

问题：第一次世界大战的起止时间是 A.1913 ~1918 年 B.1913 ~1918 年 C.1914 ~1918 年 D.1914 ~1919 年 参考答案如图所示
阅读更多...
[word] word设置上标快捷键 #学习方法#其他#媒体

[word] word设置上标快捷键 #学习方法#其他#媒体

word设置上标快捷键 办公中，少不了使用word，这个是大家必备的软件，今天给大家分享word设置上标快捷键，希望在办公中能帮到您！ 1、添加上标 在录入一些公式，或者是化学产品时，需要添加上标内容，按下快捷键Ctrl+shift++就能将需要的内容设置为上标符号。 word设置上标快捷键的方法就是以上内容了，需要的小伙伴都可以试一试呢！
阅读更多...
C++工程编译链接错误汇总VisualStudio

C++工程编译链接错误汇总VisualStudio

目录 一些小的知识点 make工具 可以使用windows下的事件查看器崩溃的地方 dumpbin工具查看dll是32位还是64位的 _MSC_VER .cc 和.cpp 【VC++目录中的包含目录】 vs 【C/C++常规中的附加包含目录】——头文件所在目录如何怎么添加，添加了以后搜索头文件就会到这些个路径下搜索了 include<> 和 include"" WinMain 和
阅读更多...
大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

大学湖北中医药大学法医学试题及答案，分享几个实用搜题和学习工具 #微信#学习方法#职场发展

今天分享拥有拍照搜题、文字搜题、语音搜题、多重搜题等搜题模式，可以快速查找问题解析，加深对题目答案的理解。 1.快练题 这是一个网站 找题的网站海量题库,在线搜题,快速刷题~为您提供百万优质题库,直接搜索题库名称,支持多种刷题模式:顺序练习、语音听题、本地搜题、顺序阅读、模拟考试、组卷考试、赶快下载吧! 2.彩虹搜题 这是个老公众号了 支持手写输入，截图搜题，详细步骤，解题必备
阅读更多...
C/C++的编译和链接过程

C/C++的编译和链接过程

目录 从源文件生成可执行文件（书中第2章） 1.Preprocessing预处理——预处理器cpp 2.Compilation编译——编译器cll ps：vs中优化选项设置 3.Assembly汇编——汇编器as ps：vs中汇编输出文件设置 4.Linking链接——链接器ld 符号 模块，库 链接过程——链接器 链接过程 1.简单链接的例子 2.链接过程 3.地址和
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2