C/C++网络编程--文件分块传输

2024-09-01 19:04
文章标签 c++ 编程 网络 传输 分块

本文主要是介绍C/C++网络编程--文件分块传输，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文件分块传输是网络编程中一个常见的任务，尤其是在处理大文件时，将文件分块可以提高传输效率，简化错误处理，并可以实现并发传输。下面，写个从客户端向服务器发送大型数据的demo。

客户端

客户端有两点需要注意，在传输分两个一个是文件总块数和文件块，。传输文件总块数让服务器知道有多少文件块需要接收，确保所有数据都被完整地发送到服务器，避免因文件块数不对导致文件重组失败。

传输文件总块数

int sendAll(SOCKET s, const char* buf, int len, int flags) {int total = 0;int bytesLeft = len;int n;while (total < len) {n = send(s, buf + total, bytesLeft, flags);if (n == SOCKET_ERROR) {return SOCKET_ERROR;}total += n;bytesLeft -= n;}return total;
}

传输文件块

int sendFileBlock(SOCKET clientSocket, FileBlock* block) {int retry_count = 0;while (retry_count < MAX_RETRY_COUNT) {if (sendAll(clientSocket, (char*)&block->id, sizeof(block->id), 0) == SOCKET_ERROR ||sendAll(clientSocket, (char*)&block->size, sizeof(block->size), 0) == SOCKET_ERROR ||sendAll(clientSocket, block->data, block->size, 0) == SOCKET_ERROR ||sendAll(clientSocket, (char*)&block->crc32, sizeof(block->crc32), 0) == SOCKET_ERROR) {printf("发送块 %lld 失败，重试中...\n", block->id);retry_count++;Sleep(1000);  // 等待1秒后重试} else {return 1;  // 成功发送}}printf("发送块 %lld 失败，已达到最大重试次数\n", block->id);return 0;
}

服务器端

在服务器接收文件块时得做两件事：文件块接收和文件重组。

文件块接收

文件块接收牵扯到是否接收正确的判断，这里可以采用CRC32校验和判断服务器是否有接收正确文件块：

uint32_t calculateCRC32(const char* data, int32_t size) {uint32_t crc = 0xFFFFFFFF;for (int i = 0; i < size; i++) {crc ^= data[i];for (int j = 0; j < 8; j++) {crc = (crc >> 1) ^ (0xEDB88320 & -(crc & 1));}}return ~crc;
}

稍微解释一下，第一个for遍历全部字节，第二个for是得到每一位的crc值，crc = (crc >> 1) ^ (0xEDB88320 & -(crc & 1));，其中0xEDB88320是多项式常数，客户端和服务器应该一致。这个表达式将CRC值右移一位，如果CRC值的最低位是1，则将CRC值与0xEDB88320进行异或操作。

文件重组

文件重组还是比较简单的，首先在服务器目录下建立一个新的文件，遍历每个文件块fwrite写入创建好的文件，但是这里一定要记住在整个客户端和服务器端建立连接通信过程，一定要记得释放缓冲区内存！！！

void reassembleFile(const char* filename) {FILE* file = fopen(filename, "wb"); // 以二进制写模式打开文件if (file == NULL) {perror("无法创建输出文件");return;}// 写入文件for (int i = 0; i < totalBlocksExpected; i++) {fwrite(receivedBlocks[i].data, 1, receivedBlocks[i].size, file);free(receivedBlocks[i].data); // 释放内存}fclose(file); // 关闭文件printf("文件已重组并保存为 %s\n", filename);
}

最后，讲下服务器处理客户端发送的文件，首先接收客户端发来的文件总块数，先开辟相应大小的缓存数组：receivedBlocks = (FileBlock*)malloc(sizeof(FileBlock) * totalBlocksExpected);这里值得一提FileBlock结构体，它是由块ID，data，size，crc32值组成。然后，将接收文件数据放入缓冲数组

 block.data = (char*)malloc(block.size);int totalReceived = 0;while (totalReceived < block.size) {bytesReceived = recv(clientSocket, buffer, (BUFFER_SIZE<block.size - totalReceived?BUFFER_SIZE:block.size - totalReceived), 0);if (bytesReceived <= 0) {free(block.data);goto cleanup;}memcpy(block.data + totalReceived, buffer, bytesReceived);totalReceived += bytesReceived;}

最后验证CRC是否正确，将接收到的块重组成文件。

代码汇总

客户端代码

#include "p2p_common.h"
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <windows.h>
#include <winsock2.h>
#include <ws2tcpip.h>#pragma comment(lib, "ws2_32.lib")
#pragma execution_character_set("utf-8")
#define BUFFER_SIZE 1024
#define MAX_RETRY_COUNT 5void setConsoleCodePage() {SetConsoleOutputCP(65001);SetConsoleCP(65001);
}uint32_t calculateCRC32(const char* data, int32_t size) {uint32_t crc = 0xFFFFFFFF;for (int i = 0; i < size; i++) {crc ^= data[i];for (int j = 0; j < 8; j++) {crc = (crc >> 1) ^ (0xEDB88320 & -(crc & 1));}}return ~crc;
}
//传输总块数
int sendAll(SOCKET s, const char* buf, int len, int flags) {int total = 0;int bytesLeft = len;int n;while (total < len) {n = send(s, buf + total, bytesLeft, flags);if (n == SOCKET_ERROR) {return SOCKET_ERROR;}total += n;bytesLeft -= n;}return total;
}int sendFileBlock(SOCKET clientSocket, FileBlock* block) {int retry_count = 0;while (retry_count < MAX_RETRY_COUNT) {if (sendAll(clientSocket, (char*)&block->id, sizeof(block->id), 0) == SOCKET_ERROR ||sendAll(clientSocket, (char*)&block->size, sizeof(block->size), 0) == SOCKET_ERROR ||sendAll(clientSocket, block->data, block->size, 0) == SOCKET_ERROR ||sendAll(clientSocket, (char*)&block->crc32, sizeof(block->crc32), 0) == SOCKET_ERROR) {printf("发送块 %lld 失败，重试中...\n", block->id);retry_count++;Sleep(1000);  // 等待1秒后重试} else {return 1;  // 成功发送}}printf("发送块 %lld 失败，已达到最大重试次数\n", block->id);return 0;
}void displayProgress(int64_t current, int64_t total) {const int barWidth = 50;float progress = (float)current / total;int pos = barWidth * progress;printf("\r[");for (int i = 0; i < barWidth; ++i) {if (i < pos) printf("=");else if (i == pos) printf(">");else printf(" ");}printf("] %d%%", (int)(progress * 100.0));fflush(stdout);
}
int main() {setConsoleCodePage();WSADATA wsaData;SOCKET clientSocket;struct sockaddr_in serverAddr;char filename[BUFFER_SIZE];if (WSAStartup(MAKEWORD(2, 2), &wsaData) != 0) {printf("WSAStartup 失败！\n");return -1;}printf("请输入要上传的文件名: ");scanf("%s", filename);getchar(); // 清除输入缓冲FILE *fp = fopen(filename, "rb");if (fp == NULL) {perror("无法打开文件");WSACleanup();return -1;}// 获取文件大小,fseek(fp, 0, SEEK_END);long fileSize = ftell(fp);fseek(fp, 0, SEEK_SET);//向上取整int totalBlocks = (fileSize + BLOCK_SIZE - 1) / BLOCK_SIZE;clientSocket = socket(AF_INET, SOCK_STREAM, 0);if (clientSocket == INVALID_SOCKET) {printf("套接字创建失败！\n");fclose(fp);WSACleanup();return -1;}serverAddr.sin_family = AF_INET;serverAddr.sin_port = htons(PORT);serverAddr.sin_addr.s_addr = inet_addr("127.0.0.1");if (connect(clientSocket, (struct sockaddr*)&serverAddr, sizeof(serverAddr)) == SOCKET_ERROR) {printf("连接失败！\n");closesocket(clientSocket);fclose(fp);WSACleanup();return -1;}printf("已连接到服务器。\n");if (sendAll(clientSocket, (char*)&totalBlocks, sizeof(totalBlocks), 0) == SOCKET_ERROR) {printf("发送总块数失败\n");closesocket(clientSocket);fclose(fp);WSACleanup();return -1;}FileBlock block;for (int64_t i = 0; i < totalBlocks; i++) {block.id = i;block.size = (i == totalBlocks - 1) ? (fileSize % BLOCK_SIZE) : BLOCK_SIZE;if (block.size == 0) block.size = BLOCK_SIZE;block.data = (char*)malloc(block.size);fread(block.data, 1, block.size, fp);block.crc32 = calculateCRC32(block.data, block.size);if (!sendFileBlock(clientSocket, &block)) {printf("\n发送块 %lld 失败，传输中断\n", block.id);free(block.data);closesocket(clientSocket);fclose(fp);WSACleanup();return -1;}displayProgress(i + 1, totalBlocks);free(block.data);}printf("\n文件传输完成。\n");// 等待服务器确认char confirmation[BUFFER_SIZE];int received = recv(clientSocket, confirmation, BUFFER_SIZE, 0);if (received > 0) {confirmation[received] = '\0';printf("服务器响应: %s\n", confirmation);} else {printf("未收到服务器确认\n");}fclose(fp);closesocket(clientSocket);WSACleanup();printf("上传成功。按任意键退出...\n");getchar();return 0;
}

服务器端代码

#include "p2p_common.h" 
#include <stdio.h> 
#include <stdlib.h> 
#include <string.h> 
#include <windows.h> 
#include <winsock2.h> // Windows套接字库
#include <ws2tcpip.h> // TCP/IP协议相关库
#include <process.h> #pragma comment(lib, "ws2_32.lib") // 链接ws2_32库
#pragma execution_character_set("utf-8") // 设置执行字符集为UTF-8
#define MAX_BLOCKS 1000000 // 定义最大块数
#define BUFFER_SIZE 1024 // 定义缓冲区大小FileBlock* receivedBlocks = NULL; // 接收到的文件块数组
int blockCount = 0; // 已接收的块数
CRITICAL_SECTION blockMutex; // 用于线程同步的临界区
int serverRunning = 1; // 服务器运行状态标志
int totalBlocksExpected = 0; // 预期接收的总块数// 设置控制台代码页为UTF-8
void setConsoleCodePage() {SetConsoleOutputCP(65001); // 设置输出代码页为UTF-8SetConsoleCP(65001); // 设置输入代码页为UTF-8
}// CRC32校验和计算函数
uint32_t calculateCRC32(const char* data, int32_t size) {uint32_t crc = 0xFFFFFFFF;for (int i = 0; i < size; i++) {crc ^= data[i];for (int j = 0; j < 8; j++) {crc = (crc >> 1) ^ (0xEDB88320 & -(crc & 1));}}return ~crc;
}
// 文件重组函数
void reassembleFile(const char* filename) {FILE* file = fopen(filename, "wb"); // 以二进制写模式打开文件if (file == NULL) {perror("无法创建输出文件");return;}// 写入文件for (int i = 0; i < totalBlocksExpected; i++) {fwrite(receivedBlocks[i].data, 1, receivedBlocks[i].size, file);//fwrite(const void *ptr, size_t size, size_t count, FILE *stream);free(receivedBlocks[i].data); // 释放内存}fclose(file); // 关闭文件printf("文件已重组并保存为 %s\n", filename);
}// 处理客户端连接的线程函数
unsigned __stdcall handleClient(void* arg) {SOCKET clientSocket = *(SOCKET*)arg; // 客户端套接字FileBlock block;char buffer[BUFFER_SIZE];int bytesReceived;// 接收总块数针对服务器的预期if (totalBlocksExpected == 0) {//开始接收文件块之前，服务器需要知道总共有多少个文件块需要接收if (recv(clientSocket, (char*)&totalBlocksExpected, sizeof(totalBlocksExpected), 0) <= 0) {printf("接收总块数失败\n");closesocket(clientSocket);return 0;}printf("预期接收总块数：%d\n", totalBlocksExpected);receivedBlocks = (FileBlock*)malloc(sizeof(FileBlock) * totalBlocksExpected);if (receivedBlocks == NULL) {printf("内存分配失败\n");closesocket(clientSocket);return 0;}}while (1) {// 接收块IDif (recv(clientSocket, (char*)&block.id, sizeof(block.id), 0) <= 0) {break;}// 接收数据大小if (recv(clientSocket, (char*)&block.size, sizeof(block.size), 0) <= 0) {break;}// 分配内存并接收数据block.data = (char*)malloc(block.size);int totalReceived = 0;while (totalReceived < block.size) {bytesReceived = recv(clientSocket, buffer, (BUFFER_SIZE<block.size - totalReceived?BUFFER_SIZE:block.size - totalReceived), 0);if (bytesReceived <= 0) {free(block.data);goto cleanup;}memcpy(block.data + totalReceived, buffer, bytesReceived);totalReceived += bytesReceived;}// 接收CRC32校验和if (recv(clientSocket, (char*)&block.crc32, sizeof(block.crc32), 0) <= 0) {free(block.data);break;}// 验证CRC32校验和uint32_t calculatedCRC32 = calculateCRC32(block.data, block.size);if (calculatedCRC32 != block.crc32) {printf("块 %lld 的CRC32校验和不匹配\n", block.id);free(block.data);continue;}// 将块添加到接收列表EnterCriticalSection(&blockMutex);if (block.id < totalBlocksExpected) {receivedBlocks[block.id] = block;blockCount++;printf("接收到块 %lld，大小：%d 字节（%d/%d）\n", block.id, block.size, blockCount, totalBlocksExpected);if (blockCount == totalBlocksExpected) {printf("已接收所有块，准备重组文件...\n");reassembleFile("demo.mp4");serverRunning = 0;send(clientSocket, "File received successfully", 27, 0);}} else {printf("收到无效的块ID: %lld\n", block.id);free(block.data);}LeaveCriticalSection(&blockMutex);}cleanup:closesocket(clientSocket);return 0;
}// 服务器线程函数
unsigned __stdcall serverThread(void* arg) {SOCKET serverSocket = socket(AF_INET, SOCK_STREAM, 0); // 创建服务器套接字if (serverSocket == INVALID_SOCKET) {perror("无法创建套接字");return 1;}struct sockaddr_in serverAddr;serverAddr.sin_family = AF_INET;serverAddr.sin_port = htons(PORT);serverAddr.sin_addr.s_addr = INADDR_ANY;if (bind(serverSocket, (struct sockaddr*)&serverAddr, sizeof(serverAddr)) == SOCKET_ERROR) {perror("绑定套接字失败");closesocket(serverSocket);return 1;}if (listen(serverSocket, 5) == SOCKET_ERROR) {perror("监听失败");closesocket(serverSocket);return 1;}printf("服务器正在监听端口 %d\n", PORT);while (serverRunning) {struct sockaddr_in clientAddr;int clientAddrLen = sizeof(clientAddr);SOCKET clientSocket = accept(serverSocket, (struct sockaddr*)&clientAddr, &clientAddrLen);if (clientSocket == INVALID_SOCKET) {if (serverRunning) {perror("接受连接失败");}continue;}unsigned threadId;HANDLE threadHandle = (HANDLE)_beginthreadex(NULL, 0, handleClient, &clientSocket, 0, &threadId);if (threadHandle == NULL) {perror("创建线程失败");closesocket(clientSocket);} else {CloseHandle(threadHandle);}}closesocket(serverSocket);return 0;
}// 主函数
int main() {setConsoleCodePage(); // 设置控制台代码页WSADATA wsaData;if (WSAStartup(MAKEWORD(2, 2), &wsaData) != 0) {perror("WSAStartup 失败");return 1;}InitializeCriticalSection(&blockMutex); // 初始化临界区unsigned threadId;HANDLE serverThreadHandle = (HANDLE)_beginthreadex(NULL, 0, serverThread, NULL, 0, &threadId);if (serverThreadHandle == NULL) {perror("创建服务器线程失败");DeleteCriticalSection(&blockMutex);WSACleanup();return 1;}printf("服务器已启动。等待接收文件块...\n");WaitForSingleObject(serverThreadHandle, INFINITE); // 等待服务器线程结束CloseHandle(serverThreadHandle);DeleteCriticalSection(&blockMutex); // 删除临界区if (receivedBlocks) {free(receivedBlocks); // 释放内存}WSACleanup(); // 清理Winsock库printf("程序已完成。按回车键退出...\n");getchar();return 0;
}

效果展示

请添加图片描述

这篇关于C/C++网络编程--文件分块传输的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1127785。

相关文章

C++统计函数执行时间的最佳实践

C++统计函数执行时间的最佳实践

《C++统计函数执行时间的最佳实践》在软件开发过程中,性能分析是优化程序的重要环节,了解函数的执行时间分布对于识别性能瓶颈至关重要,本文将分享一个C++函数执行时间统计工具,希望对大家有所帮助... 目录前言工具特性核心设计1. 数据结构设计2. 单例模式管理器3. RAII自动计时使用方法基本用法高级用法
阅读更多...
Debian 13升级后网络转发等功能异常怎么办? 并非错误而是管理机制变更

Debian 13升级后网络转发等功能异常怎么办? 并非错误而是管理机制变更

《Debian13升级后网络转发等功能异常怎么办?并非错误而是管理机制变更》很多朋友反馈，更新到Debian13后网络转发等功能异常，这并非BUG而是Debian13Trixie调整... 日前 Debian 13 Trixie 发布后已经有众多网友升级到新版本，只不过升级后发现某些功能存在异常，例如网络转
阅读更多...
深入解析C++ 中std::map内存管理

深入解析C++ 中std::map内存管理

《深入解析C++中std::map内存管理》文章详解C++std::map内存管理,指出clear()仅删除元素可能不释放底层内存,建议用swap()与空map交换以彻底释放,针对指针类型需手动de... 目录1️、基本清空std::map2️、使用 swap 彻底释放内存3️、map 中存储指针类型的对象
阅读更多...
Python异步编程之await与asyncio基本用法详解

Python异步编程之await与asyncio基本用法详解

《Python异步编程之await与asyncio基本用法详解》在Python中,await和asyncio是异步编程的核心工具,用于高效处理I/O密集型任务（如网络请求、文件读写、数据库操作等）,接... 目录一、核心概念二、使用场景三、基本用法1. 定义协程2. 运行协程3. 并发执行多个任务四、关键
阅读更多...
AOP编程的基本概念与idea编辑器的配合体验过程

AOP编程的基本概念与idea编辑器的配合体验过程

《AOP编程的基本概念与idea编辑器的配合体验过程》文章简要介绍了AOP基础概念,包括Before/Around通知、PointCut切入点、Advice通知体、JoinPoint连接点等,说明它们... 目录BeforeAroundAdvise — 通知PointCut — 切入点Acpect — 切面
阅读更多...
C++ STL-string类底层实现过程

C++ STL-string类底层实现过程

《C++STL-string类底层实现过程》本文实现了一个简易的string类,涵盖动态数组存储、深拷贝机制、迭代器支持、容量调整、字符串修改、运算符重载等功能,模拟标准string核心特性,重点强... 目录实现框架一、默认成员函数1.默认构造函数2.构造函数3.拷贝构造函数(重点)4.赋值运算符重载函数
阅读更多...
C++ vector越界问题的完整解决方案

C++ vector越界问题的完整解决方案

《C++vector越界问题的完整解决方案》在C++开发中,std::vector作为最常用的动态数组容器,其便捷性与性能优势使其成为处理可变长度数据的首选,然而,数组越界访问始终是威胁程序稳定性的... 目录引言一、vector越界的底层原理与危害1.1 越界访问的本质原因1.2 越界访问的实际危害二、基
阅读更多...
Python开发简易网络服务器的示例详解(新手入门)

Python开发简易网络服务器的示例详解(新手入门)

《Python开发简易网络服务器的示例详解(新手入门)》网络服务器是互联网基础设施的核心组件,它本质上是一个持续运行的程序,负责监听特定端口,本文将使用Python开发一个简单的网络服务器,感兴趣的小... 目录网络服务器基础概念python内置服务器模块1. HTTP服务器模块2. Socket服务器模块
阅读更多...
C#异步编程ConfigureAwait的使用小结

C#异步编程ConfigureAwait的使用小结

《C#异步编程ConfigureAwait的使用小结》本文介绍了异步编程在GUI和服务器端应用的优势,详细的介绍了async和await的关键作用,通过实例解析了在UI线程正确使用await.Conf... 异步编程是并发的一种形式，它有两大好处：对于面向终端用户的GUI程序，提高了响应能力对于服务器端应
阅读更多...
c++日志库log4cplus快速入门小结

c++日志库log4cplus快速入门小结

《c++日志库log4cplus快速入门小结》文章浏览阅读1.1w次，点赞9次，收藏44次。本文介绍Log4cplus，一种适用于C++的线程安全日志记录API，提供灵活的日志管理和配置控制。文章涵盖... 目录简介日志等级配置文件使用关于初始化使用示例总结参考资料简介log4j 用于Java，log4c
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2