linux篇【13】：网络应用层—网络版计算器，序列化

本文主要是介绍linux篇【13】：网络应用层—网络版计算器，序列化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一.应用层

1.再谈 "协议"

2.序列化，反序列化

（1）序列化，反序列化的实例：

（2）自描述长度的协议

3.网络版计算器

细节（1）：报头方案

（2）netCal函数步骤

（3）client.hpp中如果是quit就是直接continue检测退出。

serverTcp.cc 中的 netCal函数

易错点：

Protocol.hpp（半成品）

二.json 序列化和反序列化

1.安装json库

json的头文件：#include

2.request中的json

（1）request的jason序列化：

Json::FastWriter与Json::StyledWriter两种显示风格

（2）request的jason反序列化：

3.response中的json

4.makefile中json的操作

（1）makefile中定义变量-D

（2） -ljsoncpp 包json对应的第三方库

5.代码

（1）snprintf：string—>char类型数组

（2）流程概述

Protocol.hpp

clientTcp.cc

serverTcp.cc

Lock.hpp

Makefile

Task.hpp

ThreadPool.hpp

daemonize.hpp

log.hpp

util.hpp

一.应用层

1.再谈 "协议"

协议是一种 " 约定 ". socket api 的接口 , 在读写数据时, 都是按 "字符串" 的方式来发送接收的 . 如果我们要传输一些 "结构化的数据 " 怎么办呢 ?

2.序列化，反序列化

直接发送同样的结构体对象，是不可取的，虽然在某些情况下，它确实行，但是我们需要进行序列化和反序列化

定义：定义结构体来表示我们需要交互的信息 ; 发送数据时将这个结构体按照一个规则转换成字符串, 接收到数据的时候再按照相同的规则把字符串转化回结构体; 这个过程叫做 " 序列化 " 和 " 反序列化 "

序列化，反序列化的操作是在用户发送和网络发送中间加了一层软件层，

（1）序列化，反序列化的实例：

把客户端的结构体通过软件层变成一个字符串叫做序列化，发送给网络服务器前把字符串再转化回结构体叫做反序列化。约定这个字符串有一共三个区域，用特殊字符"\3"分割，三部分都是char类型。

（2）自描述长度的协议

这一个字符串每个部分的字符串整体的长度对方怎么知道？
——我们定制协议的时候，序列化之后，需要将长度(长度类型我们设置为4字节)，将长度放入序列化之后的字符串的开始之前——自描述长度的协议! !
encode:涉及加密
decode:解密

3.网络版计算器

例如, 我们需要实现一个服务器版的加法器 . 我们需要客户端把要计算的两个加数发过去 , 然后由服务器进行计算 , 最

后再把结果返回给客户端 .

约定方案一 :

客户端发送一个形如 "1+1" 的字符串 ;

这个字符串中有两个操作数 , 都是整形 ;

两个数字之间会有一个字符是运算符 , 运算符只能是 + ;

数字和运算符之间没有空格 ;

...

约定方案二 :

定义结构体来表示我们需要交互的信息 ;

发送数据时将这个结构体按照一个规则转换成字符串 , 接收到数据的时候再按照相同的规则把字符串转

化回结构体 ;

这个过程叫做 " 序列化 " 和 " 反序列化 "

细节（1）：报头方案

encode,整个序列化之后的字符串进行添加长度（\r\n是我们规定的特殊字符）
定长报头方案：strlen XXXXXXXXXX 前面长度是四字节，后面是字符串。这种方案也可以，但是都是二进制，打印不方便，可读性不好
"strlen\r\n"XXXXXXXXX\r\n --采用这种方案

解释：那直接""XXXXXXXXX\r\n"读一行不行吗？——答：我们不知道字符串内是否包含\r\n，如果内部包含就会影响读取（比如XXXXXXXXX是123\r\n，总的是123\r\n\r\n，那我们会读到第一个\r\n结束，但实际上第一个\r\n是属于字符串内容的，就出错了），但是"strlen\r\n" 中的长度描述字符串一定不包含 \r\n ，读了字符串长度后，再从后面读这么长的字符串即可

（2）netCal函数步骤

string的rfind是从右往左找

netCal函数步骤：先创建好收集处理请求的对象Request req; 。从套接字中读数据。①检查是否已经具有了一个完整报文strPackage，不具有就continue，具有才继续执行。②读到的报文是字符串（序列化的），然后利用decode——对整个序列化之后的字符串进行提取长度。③deserialize(const std::string &in)反序列化 -- 字符串 -> 结构化的数据。④(3.)处理请求逻辑,Response resp = calculator(req);输入的是一个Request req，得到一个Response resp。⑤(4.)对resp进行序列化。⑥(5.)对报文进行encode。⑦简单进行发送

（3）client.hpp中如果是quit就是直接continue检测退出。

因为有了协议，如果是quit再往下继续处理数据会出错。

serverTcp.cc 中的 netCal函数

// 1. 全部手写
// 2. 部分采用别人的方案--序列化和反序列化的问题
void netCal(int sock, const std::string &clientIp, uint16_t clientPort)
{assert(sock >= 0);assert(!clientIp.empty());assert(clientPort >= 1024);    //因为一般1-1023端口属于系统保留端口，这些端口已经分配给一些应用了，所以我们只能使用1024及以上的端口// 9\r\n100 + 200\r\n    9\r\n112 / 200\r\nstd::string inbuffer;while (true){Request req;char buff[128];ssize_t s = read(sock, buff, sizeof(buff) - 1);if (s == 0){logMessage(NOTICE, "client[%s:%d] close sock, service done", clientIp.c_str(), clientPort);break;}else if (s < 0){logMessage(WARINING, "read client[%s:%d] error, errorcode: %d, errormessage: %s",clientIp.c_str(), clientPort, errno, strerror(errno));break;}// read successbuff[s] = 0;inbuffer += buff;// 1. 检查inbuffer是不是已经具有了一个strPackageuint32_t packageLen = 0;std::string package = decode(inbuffer, &packageLen); //TODOif (packageLen == 0) continue; // 无法提取一个完整的报文，继续努力读取吧// 2. 已经获得一个完整的packageif (req.deserialize(package)){req.debug();// 3. 处理逻辑, 输入的是一个req，得到一个respResponse resp = calculator(req); //resp是一个结构化的数据// 4. 对resp进行序列化std::string respPackage;resp.serialize(&respPackage);// 5. 对报文进行encode -- //TODOrespPackage = encode(respPackage, respPackage.size());// 6. 简单进行发送 -- 后续处理write(sock, respPackage.c_str(), respPackage.size());}}
}

易错点：

（1）buff[s] = 0; inbuffer += buff; 遗漏

（2）decode中 in.find(CRLF) 查找失败错误遗漏

（3） decode中5. 将当前报文完整的从in中全部移除掉遗漏

（4）这些全漏了！！！！

Protocol.hpp（半成品）

#pragma once#include <iostream>
#include <string>
#include <cassert>
// 我们要在这里进行我们自己的协议定制!
// 网络版本的计算器#define CRLF "\r\n"
#define CRLF_LEN strlen(CRLF) // 坑：sizeof(CRLF)
#define SPACE " "
#define SPACE_LEN strlen(SPACE)// decode，整个序列化之后的字符串进行提取长度
// 1. 必须具有完整的长度
// 2. 必须具有和len相符合的有效载荷
// 我们才返回有效载荷和len
// 否则，我们就是一个检测函数！
// 9\r\n100 + 200\r\n    9\r\n112 / 200\r\n
std::string decode(std::string &in, uint32_t *len)
{assert(len);// 1. 确认是否是一个包含len的有效字符串*len = 0;std::size_t pos = in.find(CRLF);if (pos == std::string::npos)return ""; // 1234\r\nYYYYY for(int i = 3; i < 9 ;i++) [)// 2. 提取长度std::string inLen = in.substr(0, pos);int intLen = atoi(inLen.c_str());// 3. 确认有效载荷也是符合要求的int surplus = in.size() - 2 * CRLF_LEN - pos;if (surplus < intLen)return "";// 4. 确认有完整的报文结构std::string package = in.substr(pos + CRLF_LEN, intLen);*len = intLen;// 5. 将当前报文完整的从in中全部移除掉int removeLen = inLen.size() + package.size() + 2 * CRLF_LEN;in.erase(0, removeLen);// 6. 正常返回return package;
}// encode, 整个序列化之后的字符串进行添加长度
std::string encode(const std::string &in, uint32_t len)
{// "exitCode_ result_"// "len\r\n""exitCode_ result_\r\n"std::string encodein = std::to_string(len);encodein += CRLF;encodein += in;encodein += CRLF;return encodein;
}// 定制的请求 x_ op y_
class Request
{
public:Request(){}~Request(){}// 序列化 -- 结构化的数据 -> 字符串void serialize(std::string *out){}// 反序列化 -- 字符串 -> 结构化的数据bool deserialize(const std::string &in){// 100 + 200std::size_t spaceOne = in.find(SPACE);if (std::string::npos == spaceOne)return false;std::size_t spaceTwo = in.rfind(SPACE);if (std::string::npos == spaceTwo)return false;std::string dataOne = in.substr(0, spaceOne);std::string dataTwo = in.substr(spaceTwo + SPACE_LEN);std::string oper = in.substr(spaceOne + SPACE_LEN, spaceTwo - (spaceOne + SPACE_LEN));if (oper.size() != 1)return false;// 转成内部成员x_ = atoi(dataOne.c_str());y_ = atoi(dataTwo.c_str());op_ = oper[0];return true;}void debug(){std::cout << "#################################" << std::endl;std::cout << "x_: " << x_ << std::endl;std::cout << "op_: " << op_ << std::endl;std::cout << "y_: " << y_ << std::endl;std::cout << "#################################" << std::endl;}public:// 需要计算的数据int x_;int y_;// 需要进行的计算种类char op_; // + - * / %
};// 定制的响应
class Response
{
public:Response() : exitCode_(0), result_(0){}~Response(){}// 序列化void serialize(std::string *out){// "exitCode_ result_"std::string ec = std::to_string(exitCode_);std::string res = std::to_string(result_);*out = ec;*out += SPACE;*out += res;}// 反序列化void deserialize(std::string &in){}
public:// 退出状态，0标识运算结果合法，非0标识运行结果是非法的，!0是几就表示是什么原因错了！int exitCode_;// 运算结果int result_;
};

二.json 序列化和反序列化

1.安装json库

sudo yum install -y jsoncpp-devel

查看已安装的jsoncpp：

lib64中放的是json对应的静态库

json的头文件：#include <jsoncpp/json/json.h>

2.request中的json

（1）request的jason序列化：

// 序列化 -- 结构化的数据 -> 字符串// 认为结构化字段中的内容已经被填充void serialize(std::string *out){
#ifdef MY_SELFstd::string xstr = std::to_string(x_);std::string ystr = std::to_string(y_);// std::string opstr = std::to_string(op_); // op_ -> char -> int -> 43 ->*out = xstr;*out += SPACE;*out += op_;*out += SPACE;*out += ystr;
#else//json// 1. Value对象，万能对象// 2. json是基于KV// 3. json有两套操作方法// 4. 序列化的时候，会将所有的数据内容，转换成为字符串Json::Value root;root["x"] = x_;root["y"] = y_;root["op"] = op_;Json::FastWriter fw;        序列化// Json::StyledWriter fw;*out = fw.write(root);      将结构体写成字符串存入out中
#endif}

Json::FastWriter与Json::StyledWriter两种显示风格

通常 Json::FastWriter 传输数据量较少，使用Json::StyledWriter较多

（2）request的jason反序列化：

 // 反序列化 -- 字符串 -> 结构化的数据bool deserialize(std::string &in){
#ifdef MY_SELF// 100 + 200std::size_t spaceOne = in.find(SPACE);if (std::string::npos == spaceOne)return false;std::size_t spaceTwo = in.rfind(SPACE);if (std::string::npos == spaceTwo)return false;std::string dataOne = in.substr(0, spaceOne);std::string dataTwo = in.substr(spaceTwo + SPACE_LEN);std::string oper = in.substr(spaceOne + SPACE_LEN, spaceTwo - (spaceOne + SPACE_LEN));if (oper.size() != 1)return false;// 转成内部成员x_ = atoi(dataOne.c_str());y_ = atoi(dataTwo.c_str());op_ = oper[0];return true;
#else//jsonJson::Value root;Json::Reader rd;rd.parse(in, root);    把in反序列化进root中，这里的root是输出型参数x_ = root["x"].asInt();    asInt：把root["x"]对应的KV的V值转为整数存入x_y_ = root["y"].asInt();op_ = root["op"].asInt();    没有aschar这一说，就是存入ASCII值，因为return true;                 op_是char类型，所以读取时会以char类型读取
#endif}

3.response中的json

// 定制的响应
class Response
{
public:Response() : exitCode_(0), result_(0){}~Response(){}// 序列化 -- 不仅仅是在网络中应用，本地也是可以直接使用的！void serialize(std::string *out){
#ifdef MY_SELF// "exitCode_ result_"std::string ec = std::to_string(exitCode_);std::string res = std::to_string(result_);*out = ec;*out += SPACE;*out += res;
#else//jsonJson::Value root;root["exitcode"] = exitCode_;root["result"] = result_;Json::FastWriter fw;// Json::StyledWriter fw;*out = fw.write(root);
#endif}// 反序列化bool deserialize(std::string &in){
#ifdef MY_SELF// "0 100"std::size_t pos = in.find(SPACE);if (std::string::npos == pos)return false;std::string codestr = in.substr(0, pos);std::string reststr = in.substr(pos + SPACE_LEN);// 将反序列化的结果写入到内部成员中，形成结构化数据exitCode_ = atoi(codestr.c_str());result_ = atoi(reststr.c_str());return true;
#else//jsonJson::Value root;Json::Reader rd;rd.parse(in, root);exitCode_ = root["exitcode"].asInt();result_ = root["result"].asInt();return true;
#endif}

4.makefile中json的操作

（1）makefile中定义变量-D

-D：命令行定义宏。目的：这样就不用把宏定义在源代码中（不用动源代码了），某种宏的定义会决定条件编译对相应代码进行裁剪。

在makefile中定义变量Method=-DMY_SELF，编译就会加上这个变量（类似于Protocol.hpp
中定义的 #define MY_SELF 1），代码中的 #ifdef MY_SELF 条件编译会起作用，此时就会执行我们自己的序列化代码；

如果利用#进行注释：Method=#-DMY_SELF —> 此时Method是无内容的，此时代码中的 #ifdef MY_SELF 条件编译不起作用而会执行#else，此时就会执行jason的序列化代码；

（2） -ljsoncpp 包json对应的第三方库

-ljsoncpp ：包第三方库，去掉 ~~lib~~jsoncpp~~.so~~ 前缀和后缀

5.代码

（1）snprintf：string—>char类型数组

int snprintf ( char * s, size_t n, const char * format, ... );

以C字符串的形式存储在s指向的缓冲区中。如果产生的字符串长于n-1个字符，剩余的字符将被丢弃而不被存储，但会被计入函数返回的值。在写入的内容之后，会自动附加一个终止的空字符 \0。

bool makeReuquest(const std::string &str, Request *req)
{// 123+1  1*1 1/1char strtmp[BUFFER_SIZE];snprintf(strtmp, sizeof strtmp, "%s", str.c_str());

把str内容写入strtmp数组中。

（2）流程概述

客户端：①客户输入1+1存入字符串。②字符串"1+1"通过makeReuquest函数—>req结构体。③req结构体通过serialize—>字符串"1 + 1"。④字符串"1 + 1"encode加码后成为“5\r\n1 + 1\r\n”写字符串入套接字。（①②③是为了把不规范的字符串转成可以加码的规范字符串）

服务器：①服务端读取 “5\r\n1 + 1\r\n” 。②字符串 “5\r\n1 + 1\r\n” decode解码得到字符串"1 + 1"。③字符串"1 + 1" deserialize反序列化存入req结构体。④Response resp = calculator(req); 计算rep后生成结果resp：exitCode_=0，result_=2。⑤resp serialize序列化后encode加码，返回给客户端。

完整版：

lesson43/calServer · whb-helloworld/104期 - 码云 - 开源中国 (gitee.com)