本文主要是介绍C/C++大文件/数据网络传输方法总结，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
在C/C++网络编程中不免会遇到需要传输大数据、大文件的情况，而由于socket本身缓冲区的限制，大概一次只能发送4K左右的数据，所以在传输大数据时客户端就需要进行分包，在目的地重新组包。而实际上已有一些消息/通讯中间件对此进行了封装，提供了直接发送大数据/文件的接口；除此之外，利用共享目录，ftp，ssh等系统命令来实现大文件/数据也不失为一种好的方法。
1.基础的基于socket进行传输
基础的基于socket进行传输关键在于控制，需要自己行分包和组包。
原理很简单那，我们就直接看一下代码吧。
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 | // file_server.c -- socket文件传输服务器端示例代码 // / #include<netinet in.h= "" > #include<sys types.h= "" > #include<sys socket.h= "" > #include<stdio.h> #include<stdlib.h> #include<string.h> #define HELLO_WORLD_SERVER_PORT 6666 #define LENGTH_OF_LISTEN_QUEUE 20 #define BUFFER_SIZE 1024 #define FILE_NAME_MAX_SIZE 512 int main( int argc, char **argv) { // set socket's address information // 设置一个socket地址结构server_addr,代表服务器internet的地址和端口 struct sockaddr_in server_addr; bzero(&server_addr, sizeof(server_addr)); server_addr.sin_family = AF_INET; server_addr.sin_addr.s_addr = htons(INADDR_ANY); server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT); // create a stream socket // 创建用于internet的流协议(TCP)socket，用server_socket代表服务器向客户端提供服务的接口 int server_socket = socket(PF_INET, SOCK_STREAM, 0 ); if (server_socket < 0 ) { printf(Create Socket Failed! ); exit( 1 ); } // 把socket和socket地址结构绑定 if (bind(server_socket, (struct sockaddr*)&server_addr, sizeof(server_addr))) { printf(Server Bind Port: %d Failed! , HELLO_WORLD_SERVER_PORT); exit( 1 ); } // server_socket用于监听 if (listen(server_socket, LENGTH_OF_LISTEN_QUEUE)) { printf(Server Listen Failed! ); exit( 1 ); } // 服务器端一直运行用以持续为客户端提供服务 while ( 1 ) { // 定义客户端的socket地址结构client_addr，当收到来自客户端的请求后，调用accept // 接受此请求，同时将client端的地址和端口等信息写入client_addr中 struct sockaddr_in client_addr; socklen_t length = sizeof(client_addr); // 接受一个从client端到达server端的连接请求,将客户端的信息保存在client_addr中 // 如果没有连接请求，则一直等待直到有连接请求为止，这是accept函数的特性，可以 // 用select()来实现超时检测 // accpet返回一个新的socket,这个socket用来与此次连接到server的client进行通信 // 这里的new_server_socket代表了这个通信通道 int new_server_socket = accept(server_socket, (struct sockaddr*)&client_addr, &length); if (new_server_socket < 0 ) { printf(Server Accept Failed! ); break ; } char buffer[BUFFER_SIZE]; bzero(buffer, sizeof(buffer)); length = recv(new_server_socket, buffer, BUFFER_SIZE, 0 ); if (length < 0 ) { printf(Server Recieve Data Failed! ); break ; } char file_name[FILE_NAME_MAX_SIZE + 1 ]; bzero(file_name, sizeof(file_name)); strncpy(file_name, buffer, strlen(buffer) > FILE_NAME_MAX_SIZE ? FILE_NAME_MAX_SIZE : strlen(buffer)); FILE *fp = fopen(file_name, r); if (fp == NULL) { printf(File: %s Not Found! , file_name); } else { bzero(buffer, BUFFER_SIZE); int file_block_length = 0 ; while ( (file_block_length = fread(buffer, sizeof( char ), BUFFER_SIZE, fp)) > 0 ) { printf(file_block_length = %d , file_block_length); // 发送buffer中的字符串到new_server_socket,实际上就是发送给客户端 if (send(new_server_socket, buffer, file_block_length, 0 ) < 0 ) { printf(Send File: %s Failed! , file_name); break ; } bzero(buffer, sizeof(buffer)); } fclose(fp); printf(File: %s Transfer Finished! , file_name); } close(new_server_socket); } close(server_socket); return 0 ; } </string.h></stdlib.h></stdio.h></sys></sys></netinet> |
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 | // // file_client.c socket传输文件的client端示例程序 // /// #include<netinet in.h= "" > // for sockaddr_in #include<sys types.h= "" > // for socket #include<sys socket.h= "" > // for socket #include<stdio.h> // for printf #include<stdlib.h> // for exit #include<string.h> // for bzero #define HELLO_WORLD_SERVER_PORT 6666 #define BUFFER_SIZE 1024 #define FILE_NAME_MAX_SIZE 512 int main( int argc, char **argv) { if (argc != 2 ) { printf(Usage: ./%s ServerIPAddress , argv[ 0 ]); exit( 1 ); } // 设置一个socket地址结构client_addr, 代表客户机的internet地址和端口 struct sockaddr_in client_addr; bzero(&client_addr, sizeof(client_addr)); client_addr.sin_family = AF_INET; // internet协议族 client_addr.sin_addr.s_addr = htons(INADDR_ANY); // INADDR_ANY表示自动获取本机地址 client_addr.sin_port = htons( 0 ); // auto allocated, 让系统自动分配一个空闲端口 // 创建用于internet的流协议(TCP)类型socket，用client_socket代表客户端socket int client_socket = socket(AF_INET, SOCK_STREAM, 0 ); if (client_socket < 0 ) { printf(Create Socket Failed! ); exit( 1 ); } // 把客户端的socket和客户端的socket地址结构绑定 if (bind(client_socket, (struct sockaddr*)&client_addr, sizeof(client_addr))) { printf(Client Bind Port Failed! ); exit( 1 ); } // 设置一个socket地址结构server_addr,代表服务器的internet地址和端口 struct sockaddr_in server_addr; bzero(&server_addr, sizeof(server_addr)); server_addr.sin_family = AF_INET; // 服务器的IP地址来自程序的参数 if (inet_aton(argv[ 1 ], &server_addr.sin_addr) == 0 ) { printf(Server IP Address Error! ); exit( 1 ); } server_addr.sin_port = htons(HELLO_WORLD_SERVER_PORT); socklen_t server_addr_length = sizeof(server_addr); // 向服务器发起连接请求，连接成功后client_socket代表客户端和服务器端的一个socket连接 if (connect(client_socket, (struct sockaddr*)&server_addr, server_addr_length) < 0 ) { printf(Can Not Connect To %s! , argv[ 1 ]); exit( 1 ); } char file_name[FILE_NAME_MAX_SIZE + 1 ]; bzero(file_name, sizeof(file_name)); printf(Please Input File Name On Server. ); scanf(%s, file_name); char buffer[BUFFER_SIZE]; bzero(buffer, sizeof(buffer)); strncpy(buffer, file_name, strlen(file_name) > BUFFER_SIZE ? BUFFER_SIZE : strlen(file_name)); // 向服务器发送buffer中的数据，此时buffer中存放的是客户端需要接收的文件的名字 send(client_socket, buffer, BUFFER_SIZE, 0 ); FILE *fp = fopen(file_name, w); if (fp == NULL) { printf(File: %s Can Not Open To Write! , file_name); exit( 1 ); } // 从服务器端接收数据到buffer中 bzero(buffer, sizeof(buffer)); int length = 0 ; while (length = recv(client_socket, buffer, BUFFER_SIZE, 0 )) { if (length < 0 ) { printf(Recieve Data From Server %s Failed! , argv[ 1 ]); break ; } int write_length = fwrite(buffer, sizeof( char ), length, fp); if (write_length < length) { printf(File: %s Write Failed! , file_name); break ; } bzero(buffer, BUFFER_SIZE); } printf(Recieve File: %s From Server[%s] Finished! , file_name, argv[ 1 ]); // 传输完毕，关闭socket fclose(fp); close(client_socket); return 0 ; } </string.h></stdlib.h></stdio.h></sys></sys></netinet> |
2.使用现有的通讯中间件
2.1 ActiveMQ 传送文件接口
为了解决传输大文件的问题，ActiveMQ在jms规范之外引入了jms streams的概念。PTP模式下，连到同一个destination的两端，可以通过broker中转来传输大文件。
发送端使用connection.createOutputStream打开一个输出流，往流里写文件。
OutputStream out =connection.createOutputStream(destination);
接收端则简单的使用connection.createInputStream拿到一个输入流，从中读取文件数据即可。
| 1 | InputStream in = connection.createInputStream(destination) |
详见：http://activemq.apache.org/jms-streams.html
2.2 ZeroMQ 接口
ZeroMQ没有直接提供传送文件的接口。但ZeroMQ中send（void * data, size_t len）接口已经做好了封装，可以send任意大小的数据。代码如下：
| 1 2 3 4 5 6 7 8 9 10 11 12 | zmq::context_t ctx( 1 ); zmq::socket_t sock(ctx, ZMQ_REQ); sock.connect(tcp: //192.168.20.111:20310); sock.send(pData,len); //数据大小没有限制，可以直接发送任意大小的数据 char reply[ 100 ]; sock.recv (reply, 100 ); sock.disconnect(addr); |
接收端代码如下：
| 1 2 3 4 5 6 7 8 9 10 | m_context = new zmq::context_t( 1 ); m_socket = new zmq::socket_t (*m_context, ZMQ_REP); m_socket->bind (tcp: //*:20310); zmq::message_t request; // Wait for next request from client m_socket->recv (&request) // request可以接受发送来的任意大小的数据 m_socket->send(ok, 2 ); |
是不是很简单呢？
3.基于共享文件、ftp、scp等
这就不细说了。要么就是写共享目录，要么就是调用系统命令。
4.总结
1)直接基于socket编程难度较高，所以不推荐。
2）使用现有的库方便，但需要学习。一般推荐。
3）共享文件、ftp、scp等难度低，简单易用，在符合使用场景时是首选。（但一些自命不凡的程序员或许会对你嗤之以鼻，考虑之...）
这篇关于C/C++大文件/数据网络传输方法总结的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
