Java SocketChannel控制接收数据字节长度及复用ByteBuffer

2024-01-09 20:48
文章标签 java 控制 字节 复用 长度 接收数据 socketchannel bytebuffer

本文主要是介绍Java SocketChannel控制接收数据字节长度及复用ByteBuffer，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Java SocketChannel控制接收数据字节长度及复用ByteBuffer

  • 引言
  • 混乱的数据结构
  • 尝试读取固定大小数据
  • 如何复用ByteBuffer
  • 文件传输Buffer复用及减少使用用户层缓冲区

引言

SocketChannel在read时，要求传入一个ByteBuffer,如果发送方发送的数据结构每次不是一个整体，且>每次接收缓冲区大小，那么此时我们从byteBuffer中读取数据就变的异常麻烦，我们得控制index和offset，好让我们每次读取的数据按照发送方的结构接收。

混乱的数据结构

Java中我们不能像C/C++一样，通过recv指定接收的字节数。

举个栗子：
发送方又发了一个int类型的数据，假定为文件名长度
发送方继续又发了一个字符串，为文件名
发送方发了一个int类型的数据，假定为文件Size
发送方继续发送文件内容

此时如果我们ByteBuffer大小为2048字节，我们使用SocketChannel#read(ByteBuffer)，数据就会流入ByteBuffer中，而我们本意是文件内容通过sendfile或MapViewOfFile写到磁盘，但我们现在变成了从ByteBuffer先取一个int，再取字符串，再取一个int，如果后面还有，那么说明是文件内容，此时无论如何我们得先把ByteBuffer尾部的一部分文件内容取出来写到磁盘，再用TransferFrom接收剩余的，变的异常麻烦。

尝试读取固定大小数据

SocketChannel#read(ByteBuffer)读取时，ByteBuffer分配的是多少字节，那么读取不会超过这个buffer的大小，我们变成了这样

ByteBuffer intBuffer = ByteBuffer.allocate(4);
channel.read(intBuffer);
final int len = intBuffer.getInt();ByteBuffer szBuffer = ByteBuffer.allocate(len);
channel.read(byteBuffer);
final byte[] strByte = new byte[len];
byteBuffer.get(strByte,0,len);
final String filename = new String(strByte);intBuffer.clear();
channel.read(intBuffer);
final int fileSize = intBuffer.getInt();try(final FileOutputStream file = new FileOutputStream(pathName, false)){file.getChannel().transferFrom(channel, 0, fileSize);}

由于对方发送的数据，文件名在中间，导致我们为了接收固定数据，不得不重复申请文件名长度的szBuffer，这种方式无法复用szBuffer，我们必须不停的对szBuffer申请空间，然后丢弃它，因为字符串长度是无法确定的。

如何复用ByteBuffer

如何复用ByteBuffer呢，其实很简单，无论对方传的结构有多么混乱和诡异，记得之前说过的吗？

SocketChannel#read(ByteBuffer)读取时,ByteBuffer分配的是多少字节，那么读取不会超过这个buffer的大小

原因在于检查了ByteBuffer的position和limit。只要我们每次接收前clear后，通过limit限制其可用大小，那么无论对方发送的结构多复杂，我们都能只使用一个ByteBuffer接收。

文件传输Buffer复用及减少使用用户层缓冲区

源码发现FileChannel#transferFrom的src为SocketChannel时是通过ByteBuffer(8K)接收，接收完成后ByteBuffer丢弃, src为FileChannel时是内存映射(每次最大8M)。

只有FileChannel#transferTo发送时才会使用sendfile(Linux)零拷贝，Windows为MappedByteBuffer(windows是MapViewOfFile)
Windows下CreateFile应该没有使用FILE_FLAG_NO_BUFFERING|FILE_FLAG_WRITE_THROUGH，因为NATIVE映射时并没有映射为扇区倍数，所以Windows只是少了一层用户态的缓冲区调用。

我们可以先封装出几个方法：
下面的方法是针对接收C/C++发送方的，所以关于小端转换和GBK编码可以忽略。

	private final int MAP_THRESHOLD = 4 * 1024 * 1024;private ThreadLocal<ByteBuffer> byteBufferThreadLocal = new ThreadLocal(){@Overrideprotected ByteBuffer initialValue() {return ByteBuffer.allocateDirect(MAP_THRESHOLD);}};/*** Little-Endian 字节数组转int* @param byteVal 待转换的数组* @return 小端转换后的int*/private int bytes2Int(byte[] byteVal) {if (byteVal==null || byteVal.length != 4) return 0;/** 由于java没有unsigned,导致单byte>127时出现负数，左移会是符号扩展方式，所以需要&0xff进行零扩展转int后进行移位* */return byteVal[0] & 0xff | ((byteVal[1] & 0xff) << 8) | ((byteVal[2] & 0xff) << 16) | ((byteVal[3] & 0xff) << 24);}private byte[] getIpV4Bytes(String ipOrMask){try{String[] addr = ipOrMask.split("\\.");int length = addr.length;byte[] addrBytes = new byte[length];for (int index = 0; index < length; index++){addrBytes[index] = (byte) Integer.parseInt(addr[index]);}return addrBytes;}catch (Exception ignored){}return new byte[4];}/*** IPV4 str转int，大端转换* @param ipOrMask IP字符串* @return int 没有unsigned也无所谓，符号位参与与运算*/private int getIpV4ToInt(String ipOrMask){byte[] addr = getIpV4Bytes(ipOrMask);return addr[3] & 0xff | ((addr[2] & 0xff) << 8) | ((addr[1] & 0xff) << 16) | ((addr[0] & 0xff) << 24);}/*** 从channel中接收指定长度的数据* @param channel SocketChannel* @param byteBuffer ByteBuffer* @param len int* @throws IOException*/private void recvFromBuffer(SocketChannel channel, ByteBuffer byteBuffer, int len) throws IOException,InterruptedException {if (len<=0) throw new IOException();int allReadyRead;int rateLimit = 1;while ((allReadyRead = channel.read(byteBuffer)) != -1) {if (allReadyRead == 0) {// 如果没有数据，则稍微等待一下Thread.sleep((rateLimit <<= 1) & 0xff);if (byteBuffer.position() == len)break;}}if (allReadyRead==-1) throw new IOException();byteBuffer.flip();}/*** 接收4个byte，通过bytes2Int转换为int* @param byteBuffer ByteBuffer* @return bytes2Int转换后的int* @throws IOException* @see AbsFileTransServer#bytes2Int(byte[])*/int intTransferFromChannel(SocketChannel channel, ByteBuffer byteBuffer) throws IOException, InterruptedException {byteBuffer.clear();byteBuffer.limit(4);recvFromBuffer(channel,byteBuffer,4);byteBuffer.order(ByteOrder.LITTLE_ENDIAN);return byteBuffer.getInt();}/*** 通过channel接收len长度的字节数组，之后将字符数组转为String* @param byteBuffer ByteBuffer* @param len 字符数组长度* @return 转转后的字符串* @throws IOException*/String strTransferFromChannel(SocketChannel channel, ByteBuffer byteBuffer, int len) throws IOException, InterruptedException {byteBuffer.clear();byteBuffer.limit(len);recvFromBuffer(channel,byteBuffer,len);final byte[] strByte = new byte[len];byteBuffer.get(strByte,0,len);return new String(strByte,"gbk");}/*** 通过channel使用byteBuffer接收后传输文件。* @param channel SocketChannel* @param byteBuffer ByteBuffer* @param pathName 路径名* @param fileName 文件名* @param len 文件字节长度* @throws IOException*/boolean fileTransferFromChannel(SocketChannel channel, ByteBuffer byteBuffer, String pathName, String fileName, int len) throws IOException, InterruptedException {byteBuffer.clear();byteBuffer.limit(len);recvFromBuffer(channel,byteBuffer,len);try(final RandomAccessFile file = new RandomAccessFile(pathName + fileName,  "rws")){return file.getChannel().write(byteBuffer) > 0;}}/*** 通过SocketChannel接收* @param channel SocketChannel* @param pathName 路径名* @param fileName 文件名* @param len 文件字节长度* @throws IOException*/boolean fileTransferFromChannel(SocketChannel channel, String pathName, String fileName, int len) throws IOException, InterruptedException {if (len < MAP_THRESHOLD){ByteBuffer byteBuffer = byteBufferThreadLocal.get();byteBuffer.clear();byteBuffer.limit(len);return fileTransferFromChannel(channel, byteBuffer, pathName,fileName,len);}return fileMapTransferFromChannel(channel, pathName, fileName, len);}/*** 对大文件 使用内存映射* @param channel SocketChannel* @param pathName 路径名* @param fileName 文件名* @param len 文件字节长度* @throws IOException*/final boolean fileMapTransferFromChannel(SocketChannel channel, String pathName, String fileName, int len) throws IOException {final File file = new File(pathName + fileName);try(final RandomAccessFile randomFile = new RandomAccessFile(file,  "rws")){final FileChannel fc = randomFile.getChannel();// 如果处于同一子网mmap直接映射到足够大final String remoteAddress = channel.getRemoteAddress().toString();final String localAddress = channel.getLocalAddress().toString();final Pattern pattern = Pattern.compile("\\d+\\.\\d+\\.\\d+\\.\\d+");Matcher removeMatcher = pattern.matcher(remoteAddress);Matcher localMatcher = pattern.matcher(localAddress);if (removeMatcher.find() && localMatcher.find()){int remotePoint = getIpV4ToInt(remoteAddress.substring(removeMatcher.start(), removeMatcher.end()));int localPoint = getIpV4ToInt(localAddress.substring(localMatcher.start(), localMatcher.end()));int mask = getIpV4ToInt("255.255.255.0");if ((mask & remotePoint) == (mask & localPoint)){MappedByteBuffer map = fc.map(FileChannel.MapMode.READ_WRITE, 0, len);int position = 0;while( position < len){position += channel.read(map);}//unmap 如果不unmap会导致文件内核对象无法关闭，文件一直被占用Cleaner cleaner = ((DirectBuffer)map).cleaner();if (cleaner != null) {cleaner.clean();}return file.setLastModified(System.currentTimeMillis());}}// 否则每次映射 Math.min(len-position, MAP_THRESHOLD);int position = 0;while(position<len){int size = Math.min(len-position, MAP_THRESHOLD);MappedByteBuffer map = fc.map(FileChannel.MapMode.READ_WRITE, position, size);position += channel.read(map);//unmap 如果不unmap会导致文件内核对象无法关闭，文件一直被占用Cleaner cleaner = ((DirectBuffer)map).cleaner();if (cleaner != null) {cleaner.clean();}}return file.setLastModified(System.currentTimeMillis());}}

使用上面的方法也很容易：

/*
申请一个tempBuffer，它对于当前线程将会一直存在，我们并没有将它放在方法栈中，并且IO多路复用的情况下我们只需要针对线程使用一个tempBuffer
由于这个buffer只是用来接收很小的数据结构，文件内容我们通过零拷贝传输
所以此时Direct方式并不适用，使用allocate分配256个字节就足够了
原因在文件名最大包含路径也无法超过260字节。
*/final ByteBuffer tempBuffer = ByteBuffer.allocate(256);

 //方法中调用上面封装好的几个方法final int len = intTransferFromChannel(clientChannel,tempBuffer);final String szFileName = strTransferFromChannel(clientChannel,tempBuffer,len);final int fileSize = intTransferFromChannel(clientChannel,tempBuffer);fileTransferFromChannel(clientChannel,filePath,szFileName,fileSize);

这篇关于Java SocketChannel控制接收数据字节长度及复用ByteBuffer的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/588384。

相关文章

Java方法重载与重写之同名方法的双面魔法(最新整理)

Java方法重载与重写之同名方法的双面魔法(最新整理)

《Java方法重载与重写之同名方法的双面魔法(最新整理)》文章介绍了Java中的方法重载Overloading和方法重写Overriding的区别联系,方法重载是指在同一个类中,允许存在多个方法名相同... 目录Java方法重载与重写：同名方法的双面魔法方法重载（Overloading）：同门师兄弟的不同绝
阅读更多...
Spring配置扩展之JavaConfig的使用小结

Spring配置扩展之JavaConfig的使用小结

《Spring配置扩展之JavaConfig的使用小结》JavaConfig是Spring框架中基于纯Java代码的配置方式,用于替代传统的XML配置,通过注解（如@Bean）定义Spring容器的组... 目录JavaConfig 的概念什么是JavaConfig？为什么使用 JavaConfig？Jav
阅读更多...
Java数组动态扩容的实现示例

Java数组动态扩容的实现示例

《Java数组动态扩容的实现示例》本文主要介绍了Java数组动态扩容的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1 问题2 方法3 结语1 问题实现动态的给数组添加元素效果，实现对数组扩容，原始数组使用静态分配
阅读更多...
Java中ArrayList与顺序表示例详解

Java中ArrayList与顺序表示例详解

《Java中ArrayList与顺序表示例详解》顺序表是在计算机内存中以数组的形式保存的线性表,是指用一组地址连续的存储单元依次存储数据元素的线性结构,：本文主要介绍Java中ArrayList与... 目录前言一、Java集合框架核心接口与分类ArrayList二、顺序表数据结构中的顺序表三、常用代码手动
阅读更多...
JAVA项目swing转javafx语法规则以及示例代码

JAVA项目swing转javafx语法规则以及示例代码

《JAVA项目swing转javafx语法规则以及示例代码》：本文主要介绍JAVA项目swing转javafx语法规则以及示例代码的相关资料,文中详细讲解了主类继承、窗口创建、布局管理、控件替换、... 目录最常用的“一行换一行”速查表（直接全局替换）实际转换示例（JFramejs → JavaFX）迁移建
阅读更多...
Spring Boot Interceptor的原理、配置、顺序控制及与Filter的关键区别对比分析

Spring Boot Interceptor的原理、配置、顺序控制及与Filter的关键区别对比分析

《SpringBootInterceptor的原理、配置、顺序控制及与Filter的关键区别对比分析》本文主要介绍了SpringBoot中的拦截器（Interceptor）及其与过滤器（Filt... 目录前言一、核心功能二、拦截器的实现2.1 定义自定义拦截器2.2 注册拦截器三、多拦截器的执行顺序四、过
阅读更多...
JAVA线程的周期及调度机制详解

JAVA线程的周期及调度机制详解

《JAVA线程的周期及调度机制详解》Java线程的生命周期包括NEW、RUNNABLE、BLOCKED、WAITING、TIMED_WAITING和TERMINATED,线程调度依赖操作系统,采用抢占... 目录Java线程的生命周期线程状态转换示例代码JAVA线程调度机制优先级设置示例注意事项JAVA线程
阅读更多...
JavaWeb项目创建、部署、连接数据库保姆级教程(tomcat)

JavaWeb项目创建、部署、连接数据库保姆级教程(tomcat)

《JavaWeb项目创建、部署、连接数据库保姆级教程(tomcat)》：本文主要介绍如何在IntelliJIDEA2020.1中创建和部署一个JavaWeb项目,包括创建项目、配置Tomcat服务... 目录简介：一、创建项目二、tomcat部署1、将tomcat解压在一个自己找得到路径2、在idea中添加
阅读更多...
Java使用Spire.Doc for Java实现Word自动化插入图片

Java使用Spire.Doc for Java实现Word自动化插入图片

《Java使用Spire.DocforJava实现Word自动化插入图片》在日常工作中,Word文档是不可或缺的工具,而图片作为信息传达的重要载体,其在文档中的插入与布局显得尤为关键,下面我们就来... 目录1. Spire.Doc for Java库介绍与安装2. 使用特定的环绕方式插入图片3. 在指定位
阅读更多...
springboot的controller中如何获取applicatim.yml的配置值

springboot的controller中如何获取applicatim.yml的配置值

《springboot的controller中如何获取applicatim.yml的配置值》本文介绍了在SpringBoot的Controller中获取application.yml配置值的四种方式,... 目录1. 使用@Value注解（最常用）application.yml 配置Controller 中
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2