C/C++网络编程--文件分块传输

2024-09-01 19:04
文章标签 c++ 编程 网络 传输 分块

本文主要是介绍C/C++网络编程--文件分块传输，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文件分块传输是网络编程中一个常见的任务，尤其是在处理大文件时，将文件分块可以提高传输效率，简化错误处理，并可以实现并发传输。下面，写个从客户端向服务器发送大型数据的demo。

客户端

客户端有两点需要注意，在传输分两个一个是文件总块数和文件块，。传输文件总块数让服务器知道有多少文件块需要接收，确保所有数据都被完整地发送到服务器，避免因文件块数不对导致文件重组失败。

传输文件总块数

int sendAll(SOCKET s, const char* buf, int len, int flags) {int total = 0;int bytesLeft = len;int n;while (total < len) {n = send(s, buf + total, bytesLeft, flags);if (n == SOCKET_ERROR) {return SOCKET_ERROR;}total += n;bytesLeft -= n;}return total;
}

传输文件块

int sendFileBlock(SOCKET clientSocket, FileBlock* block) {int retry_count = 0;while (retry_count < MAX_RETRY_COUNT) {if (sendAll(clientSocket, (char*)&block->id, sizeof(block->id), 0) == SOCKET_ERROR ||sendAll(clientSocket, (char*)&block->size, sizeof(block->size), 0) == SOCKET_ERROR ||sendAll(clientSocket, block->data, block->size, 0) == SOCKET_ERROR ||sendAll(clientSocket, (char*)&block->crc32, sizeof(block->crc32), 0) == SOCKET_ERROR) {printf("发送块 %lld 失败，重试中...\n", block->id);retry_count++;Sleep(1000);  // 等待1秒后重试} else {return 1;  // 成功发送}}printf("发送块 %lld 失败，已达到最大重试次数\n", block->id);return 0;
}

服务器端

在服务器接收文件块时得做两件事：文件块接收和文件重组。

文件块接收

文件块接收牵扯到是否接收正确的判断，这里可以采用CRC32校验和判断服务器是否有接收正确文件块：

uint32_t calculateCRC32(const char* data, int32_t size) {uint32_t crc = 0xFFFFFFFF;for (int i = 0; i < size; i++) {crc ^= data[i];for (int j = 0; j < 8; j++) {crc = (crc >> 1) ^ (0xEDB88320 & -(crc & 1));}}return ~crc;
}

稍微解释一下，第一个for遍历全部字节，第二个for是得到每一位的crc值，crc = (crc >> 1) ^ (0xEDB88320 & -(crc & 1));，其中0xEDB88320是多项式常数，客户端和服务器应该一致。这个表达式将CRC值右移一位，如果CRC值的最低位是1，则将CRC值与0xEDB88320进行异或操作。

文件重组

文件重组还是比较简单的，首先在服务器目录下建立一个新的文件，遍历每个文件块fwrite写入创建好的文件，但是这里一定要记住在整个客户端和服务器端建立连接通信过程，一定要记得释放缓冲区内存！！！

void reassembleFile(const char* filename) {FILE* file = fopen(filename, "wb"); // 以二进制写模式打开文件if (file == NULL) {perror("无法创建输出文件");return;}// 写入文件for (int i = 0; i < totalBlocksExpected; i++) {fwrite(receivedBlocks[i].data, 1, receivedBlocks[i].size, file);free(receivedBlocks[i].data); // 释放内存}fclose(file); // 关闭文件printf("文件已重组并保存为 %s\n", filename);
}

最后，讲下服务器处理客户端发送的文件，首先接收客户端发来的文件总块数，先开辟相应大小的缓存数组：receivedBlocks = (FileBlock*)malloc(sizeof(FileBlock) * totalBlocksExpected);这里值得一提FileBlock结构体，它是由块ID，data，size，crc32值组成。然后，将接收文件数据放入缓冲数组

 block.data = (char*)malloc(block.size);int totalReceived = 0;while (totalReceived < block.size) {bytesReceived = recv(clientSocket, buffer, (BUFFER_SIZE<block.size - totalReceived?BUFFER_SIZE:block.size - totalReceived), 0);if (bytesReceived <= 0) {free(block.data);goto cleanup;}memcpy(block.data + totalReceived, buffer, bytesReceived);totalReceived += bytesReceived;}

最后验证CRC是否正确，将接收到的块重组成文件。

代码汇总

客户端代码

#include "p2p_common.h"
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <windows.h>
#include <winsock2.h>
#include <ws2tcpip.h>#pragma comment(lib, "ws2_32.lib")
#pragma execution_character_set("utf-8")
#define BUFFER_SIZE 1024
#define MAX_RETRY_COUNT 5void setConsoleCodePage() {SetConsoleOutputCP(65001);SetConsoleCP(65001);
}uint32_t calculateCRC32(const char* data, int32_t size) {uint32_t crc = 0xFFFFFFFF;for (int i = 0; i < size; i++) {crc ^= data[i];for (int j = 0; j < 8; j++) {crc = (crc >> 1) ^ (0xEDB88320 & -(crc & 1));}}return ~crc;
}
//传输总块数
int sendAll(SOCKET s, const char* buf, int len, int flags) {int total = 0;int bytesLeft = len;int n;while (total < len) {n = send(s, buf + total, bytesLeft, flags);if (n == SOCKET_ERROR) {return SOCKET_ERROR;}total += n;bytesLeft -= n;}return total;
}int sendFileBlock(SOCKET clientSocket, FileBlock* block) {int retry_count = 0;while (retry_count < MAX_RETRY_COUNT) {if (sendAll(clientSocket, (char*)&block->id, sizeof(block->id), 0) == SOCKET_ERROR ||sendAll(clientSocket, (char*)&block->size, sizeof(block->size), 0) == SOCKET_ERROR ||sendAll(clientSocket, block->data, block->size, 0) == SOCKET_ERROR ||sendAll(clientSocket, (char*)&block->crc32, sizeof(block->crc32), 0) == SOCKET_ERROR) {printf("发送块 %lld 失败，重试中...\n", block->id);retry_count++;Sleep(1000);  // 等待1秒后重试} else {return 1;  // 成功发送}}printf("发送块 %lld 失败，已达到最大重试次数\n", block->id);return 0;
}void displayProgress(int64_t current, int64_t total) {const int barWidth = 50;float progress = (float)current / total;int pos = barWidth * progress;printf("\r[");for (int i = 0; i < barWidth; ++i) {if (i < pos) printf("=");else if (i == pos) printf(">");else printf(" ");}printf("] %d%%", (int)(progress * 100.0));fflush(stdout);
}
int main() {setConsoleCodePage();WSADATA wsaData;SOCKET clientSocket;struct sockaddr_in serverAddr;char filename[BUFFER_SIZE];if (WSAStartup(MAKEWORD(2, 2), &wsaData) != 0) {printf("WSAStartup 失败！\n");return -1;}printf("请输入要上传的文件名: ");scanf("%s", filename);getchar(); // 清除输入缓冲FILE *fp = fopen(filename, "rb");if (fp == NULL) {perror("无法打开文件");WSACleanup();return -1;}// 获取文件大小,fseek(fp, 0, SEEK_END);long fileSize = ftell(fp);fseek(fp, 0, SEEK_SET);//向上取整int totalBlocks = (fileSize + BLOCK_SIZE - 1) / BLOCK_SIZE;clientSocket = socket(AF_INET, SOCK_STREAM, 0);if (clientSocket == INVALID_SOCKET) {printf("套接字创建失败！\n");fclose(fp);WSACleanup();return -1;}serverAddr.sin_family = AF_INET;serverAddr.sin_port = htons(PORT);serverAddr.sin_addr.s_addr = inet_addr("127.0.0.1");if (connect(clientSocket, (struct sockaddr*)&serverAddr, sizeof(serverAddr)) == SOCKET_ERROR) {printf("连接失败！\n");closesocket(clientSocket);fclose(fp);WSACleanup();return -1;}printf("已连接到服务器。\n");if (sendAll(clientSocket, (char*)&totalBlocks, sizeof(totalBlocks), 0) == SOCKET_ERROR) {printf("发送总块数失败\n");closesocket(clientSocket);fclose(fp);WSACleanup();return -1;}FileBlock block;for (int64_t i = 0; i < totalBlocks; i++) {block.id = i;block.size = (i == totalBlocks - 1) ? (fileSize % BLOCK_SIZE) : BLOCK_SIZE;if (block.size == 0) block.size = BLOCK_SIZE;block.data = (char*)malloc(block.size);fread(block.data, 1, block.size, fp);block.crc32 = calculateCRC32(block.data, block.size);if (!sendFileBlock(clientSocket, &block)) {printf("\n发送块 %lld 失败，传输中断\n", block.id);free(block.data);closesocket(clientSocket);fclose(fp);WSACleanup();return -1;}displayProgress(i + 1, totalBlocks);free(block.data);}printf("\n文件传输完成。\n");// 等待服务器确认char confirmation[BUFFER_SIZE];int received = recv(clientSocket, confirmation, BUFFER_SIZE, 0);if (received > 0) {confirmation[received] = '\0';printf("服务器响应: %s\n", confirmation);} else {printf("未收到服务器确认\n");}fclose(fp);closesocket(clientSocket);WSACleanup();printf("上传成功。按任意键退出...\n");getchar();return 0;
}

服务器端代码

#include "p2p_common.h" 
#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 
#include <windows.h> 
#include <winsock2.h> // Windows套接字库
#include <ws2tcpip.h> // TCP/IP协议相关库
#include <process.h> #pragma comment(lib, "ws2_32.lib") // 链接ws2_32库
#pragma execution_character_set("utf-8") // 设置执行字符集为UTF-8
#define MAX_BLOCKS 1000000 // 定义最大块数
#define BUFFER_SIZE 1024 // 定义缓冲区大小FileBlock* receivedBlocks = NULL; // 接收到的文件块数组
int blockCount = 0; // 已接收的块数
CRITICAL_SECTION blockMutex; // 用于线程同步的临界区
int serverRunning = 1; // 服务器运行状态标志
int totalBlocksExpected = 0; // 预期接收的总块数// 设置控制台代码页为UTF-8
void setConsoleCodePage() {SetConsoleOutputCP(65001); // 设置输出代码页为UTF-8SetConsoleCP(65001); // 设置输入代码页为UTF-8
}// CRC32校验和计算函数
uint32_t calculateCRC32(const char* data, int32_t size) {uint32_t crc = 0xFFFFFFFF;for (int i = 0; i < size; i++) {crc ^= data[i];for (int j = 0; j < 8; j++) {crc = (crc >> 1) ^ (0xEDB88320 & -(crc & 1));}}return ~crc;
}
// 文件重组函数
void reassembleFile(const char* filename) {FILE* file = fopen(filename, "wb"); // 以二进制写模式打开文件if (file == NULL) {perror("无法创建输出文件");return;}// 写入文件for (int i = 0; i < totalBlocksExpected; i++) {fwrite(receivedBlocks[i].data, 1, receivedBlocks[i].size, file);//fwrite(const void *ptr, size_t size, size_t count, FILE *stream);free(receivedBlocks[i].data); // 释放内存}fclose(file); // 关闭文件printf("文件已重组并保存为 %s\n", filename);
}// 处理客户端连接的线程函数
unsigned __stdcall handleClient(void* arg) {SOCKET clientSocket = *(SOCKET*)arg; // 客户端套接字FileBlock block;char buffer[BUFFER_SIZE];int bytesReceived;// 接收总块数针对服务器的预期if (totalBlocksExpected == 0) {//开始接收文件块之前，服务器需要知道总共有多少个文件块需要接收if (recv(clientSocket, (char*)&totalBlocksExpected, sizeof(totalBlocksExpected), 0) <= 0) {printf("接收总块数失败\n");closesocket(clientSocket);return 0;}printf("预期接收总块数：%d\n", totalBlocksExpected);receivedBlocks = (FileBlock*)malloc(sizeof(FileBlock) * totalBlocksExpected);if (receivedBlocks == NULL) {printf("内存分配失败\n");closesocket(clientSocket);return 0;}}while (1) {// 接收块IDif (recv(clientSocket, (char*)&block.id, sizeof(block.id), 0) <= 0) {break;}// 接收数据大小if (recv(clientSocket, (char*)&block.size, sizeof(block.size), 0) <= 0) {break;}// 分配内存并接收数据block.data = (char*)malloc(block.size);int totalReceived = 0;while (totalReceived < block.size) {bytesReceived = recv(clientSocket, buffer, (BUFFER_SIZE<block.size - totalReceived?BUFFER_SIZE:block.size - totalReceived), 0);if (bytesReceived <= 0) {free(block.data);goto cleanup;}memcpy(block.data + totalReceived, buffer, bytesReceived);totalReceived += bytesReceived;}// 接收CRC32校验和if (recv(clientSocket, (char*)&block.crc32, sizeof(block.crc32), 0) <= 0) {free(block.data);break;}// 验证CRC32校验和uint32_t calculatedCRC32 = calculateCRC32(block.data, block.size);if (calculatedCRC32 != block.crc32) {printf("块 %lld 的CRC32校验和不匹配\n", block.id);free(block.data);continue;}// 将块添加到接收列表EnterCriticalSection(&blockMutex);if (block.id < totalBlocksExpected) {receivedBlocks[block.id] = block;blockCount++;printf("接收到块 %lld，大小：%d 字节（%d/%d）\n", block.id, block.size, blockCount, totalBlocksExpected);if (blockCount == totalBlocksExpected) {printf("已接收所有块，准备重组文件...\n");reassembleFile("demo.mp4");serverRunning = 0;send(clientSocket, "File received successfully", 27, 0);}} else {printf("收到无效的块ID: %lld\n", block.id);free(block.data);}LeaveCriticalSection(&blockMutex);}cleanup:closesocket(clientSocket);return 0;
}// 服务器线程函数
unsigned __stdcall serverThread(void* arg) {SOCKET serverSocket = socket(AF_INET, SOCK_STREAM, 0); // 创建服务器套接字if (serverSocket == INVALID_SOCKET) {perror("无法创建套接字");return 1;}struct sockaddr_in serverAddr;serverAddr.sin_family = AF_INET;serverAddr.sin_port = htons(PORT);serverAddr.sin_addr.s_addr = INADDR_ANY;if (bind(serverSocket, (struct sockaddr*)&serverAddr, sizeof(serverAddr)) == SOCKET_ERROR) {perror("绑定套接字失败");closesocket(serverSocket);return 1;}if (listen(serverSocket, 5) == SOCKET_ERROR) {perror("监听失败");closesocket(serverSocket);return 1;}printf("服务器正在监听端口 %d\n", PORT);while (serverRunning) {struct sockaddr_in clientAddr;int clientAddrLen = sizeof(clientAddr);SOCKET clientSocket = accept(serverSocket, (struct sockaddr*)&clientAddr, &clientAddrLen);if (clientSocket == INVALID_SOCKET) {if (serverRunning) {perror("接受连接失败");}continue;}unsigned threadId;HANDLE threadHandle = (HANDLE)_beginthreadex(NULL, 0, handleClient, &clientSocket, 0, &threadId);if (threadHandle == NULL) {perror("创建线程失败");closesocket(clientSocket);} else {CloseHandle(threadHandle);}}closesocket(serverSocket);return 0;
}// 主函数
int main() {setConsoleCodePage(); // 设置控制台代码页WSADATA wsaData;if (WSAStartup(MAKEWORD(2, 2), &wsaData) != 0) {perror("WSAStartup 失败");return 1;}InitializeCriticalSection(&blockMutex); // 初始化临界区unsigned threadId;HANDLE serverThreadHandle = (HANDLE)_beginthreadex(NULL, 0, serverThread, NULL, 0, &threadId);if (serverThreadHandle == NULL) {perror("创建服务器线程失败");DeleteCriticalSection(&blockMutex);WSACleanup();return 1;}printf("服务器已启动。等待接收文件块...\n");WaitForSingleObject(serverThreadHandle, INFINITE); // 等待服务器线程结束CloseHandle(serverThreadHandle);DeleteCriticalSection(&blockMutex); // 删除临界区if (receivedBlocks) {free(receivedBlocks); // 释放内存}WSACleanup(); // 清理Winsock库printf("程序已完成。按回车键退出...\n");getchar();return 0;
}

效果展示

请添加图片描述

这篇关于C/C++网络编程--文件分块传输的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1127785。

相关文章

C++初始化数组的几种常见方法(简单易懂)

C++初始化数组的几种常见方法(简单易懂)

《C++初始化数组的几种常见方法(简单易懂)》本文介绍了C++中数组的初始化方法,包括一维数组和二维数组的初始化,以及用new动态初始化数组,在C++11及以上版本中,还提供了使用std::array... 目录1、初始化一维数组1.1、使用列表初始化（推荐方式）1.2、初始化部分列表1.3、使用std::
阅读更多...
C++ Primer 多维数组的使用

C++ Primer 多维数组的使用

《C++Primer多维数组的使用》本文主要介绍了多维数组在C++语言中的定义、初始化、下标引用以及使用范围for语句处理多维数组的方法,具有一定的参考价值,感兴趣的可以了解一下... 目录多维数组多维数组的初始化多维数组的下标引用使用范围for语句处理多维数组指针和多维数组多维数组严格来说,C++语言没
阅读更多...
如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

《如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解》：本文主要介绍如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别的相关资料,描述了如何使用海康威视设备网络SD... 目录前言开发流程问题和解决方案dll库加载不到的问题老旧版本sdk不兼容的问题关键实现流程总结前言作为
阅读更多...
c++中std::placeholders的使用方法

c++中std::placeholders的使用方法

《c++中std::placeholders的使用方法》std::placeholders是C++标准库中的一个工具,用于在函数对象绑定时创建占位符,本文就来详细的介绍一下,具有一定的参考价值,感兴... 目录1. 基本概念2. 使用场景3. 示例示例 1：部分参数绑定示例 2：参数重排序4. 注意事项5.
阅读更多...
使用C++将处理后的信号保存为PNG和TIFF格式

使用C++将处理后的信号保存为PNG和TIFF格式

《使用C++将处理后的信号保存为PNG和TIFF格式》在信号处理领域,我们常常需要将处理结果以图像的形式保存下来,方便后续分析和展示,C++提供了多种库来处理图像数据,本文将介绍如何使用stb_ima... 目录1. PNG格式保存使用stb_imagephp_write库1.1 安装和包含库1.2 代码解
阅读更多...
C++实现封装的顺序表的操作与实践

C++实现封装的顺序表的操作与实践

《C++实现封装的顺序表的操作与实践》在程序设计中,顺序表是一种常见的线性数据结构,通常用于存储具有固定顺序的元素,与链表不同,顺序表中的元素是连续存储的,因此访问速度较快,但插入和删除操作的效率可能... 目录一、顺序表的基本概念二、顺序表类的设计1. 顺序表类的成员变量2. 构造函数和析构函数三、顺序表
阅读更多...
使用C++实现单链表的操作与实践

使用C++实现单链表的操作与实践

《使用C++实现单链表的操作与实践》在程序设计中,链表是一种常见的数据结构,特别是在动态数据管理、频繁插入和删除元素的场景中,链表相比于数组,具有更高的灵活性和高效性,尤其是在需要频繁修改数据结构的应... 目录一、单链表的基本概念二、单链表类的设计1. 节点的定义2. 链表的类定义三、单链表的操作实现四、
阅读更多...
C#多线程编程中导致死锁的常见陷阱和避免方法

C#多线程编程中导致死锁的常见陷阱和避免方法

《C#多线程编程中导致死锁的常见陷阱和避免方法》在C#多线程编程中,死锁（Deadlock）是一种常见的、令人头疼的错误,死锁通常发生在多个线程试图获取多个资源的锁时,导致相互等待对方释放资源,最终形... 目录引言1. 什么是死锁？死锁的典型条件：2. 导致死锁的常见原因2.1 锁的顺序问题错误示例：不同
阅读更多...
使用C/C++调用libcurl调试消息的方式

使用C/C++调用libcurl调试消息的方式

《使用C/C++调用libcurl调试消息的方式》在使用C/C++调用libcurl进行HTTP请求时,有时我们需要查看请求的/应答消息的内容（包括请求头和请求体）以方便调试,libcurl提供了多种... 目录1. libcurl 调试工具简介2. 输出请求消息使用 CURLOPT_VERBOSE使用 C
阅读更多...
C++实现获取本机MAC地址与IP地址

C++实现获取本机MAC地址与IP地址

《C++实现获取本机MAC地址与IP地址》这篇文章主要为大家详细介绍了C++实现获取本机MAC地址与IP地址的两种方式,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 实际工作中，项目上常常需要获取本机的IP地址和MAC地址，在此使用两种方案获取1.MFC中获取IP和MAC地址获取
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2