Java SocketChannel控制接收数据字节长度及复用ByteBuffer

2024-01-09 20:48
文章标签 java 控制 字节 复用 长度 接收数据 socketchannel bytebuffer

本文主要是介绍Java SocketChannel控制接收数据字节长度及复用ByteBuffer，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Java SocketChannel控制接收数据字节长度及复用ByteBuffer

  • 引言
  • 混乱的数据结构
  • 尝试读取固定大小数据
  • 如何复用ByteBuffer
  • 文件传输Buffer复用及减少使用用户层缓冲区

引言

SocketChannel在read时，要求传入一个ByteBuffer,如果发送方发送的数据结构每次不是一个整体，且>每次接收缓冲区大小，那么此时我们从byteBuffer中读取数据就变的异常麻烦，我们得控制index和offset，好让我们每次读取的数据按照发送方的结构接收。

混乱的数据结构

Java中我们不能像C/C++一样，通过recv指定接收的字节数。

举个栗子：
发送方又发了一个int类型的数据，假定为文件名长度
发送方继续又发了一个字符串，为文件名
发送方发了一个int类型的数据，假定为文件Size
发送方继续发送文件内容

此时如果我们ByteBuffer大小为2048字节，我们使用SocketChannel#read(ByteBuffer)，数据就会流入ByteBuffer中，而我们本意是文件内容通过sendfile或MapViewOfFile写到磁盘，但我们现在变成了从ByteBuffer先取一个int，再取字符串，再取一个int，如果后面还有，那么说明是文件内容，此时无论如何我们得先把ByteBuffer尾部的一部分文件内容取出来写到磁盘，再用TransferFrom接收剩余的，变的异常麻烦。

尝试读取固定大小数据

SocketChannel#read(ByteBuffer)读取时，ByteBuffer分配的是多少字节，那么读取不会超过这个buffer的大小，我们变成了这样

ByteBuffer intBuffer = ByteBuffer.allocate(4);
channel.read(intBuffer);
final int len = intBuffer.getInt();ByteBuffer szBuffer = ByteBuffer.allocate(len);
channel.read(byteBuffer);
final byte[] strByte = new byte[len];
byteBuffer.get(strByte,0,len);
final String filename = new String(strByte);intBuffer.clear();
channel.read(intBuffer);
final int fileSize = intBuffer.getInt();try(final FileOutputStream file = new FileOutputStream(pathName, false)){file.getChannel().transferFrom(channel, 0, fileSize);}

由于对方发送的数据，文件名在中间，导致我们为了接收固定数据，不得不重复申请文件名长度的szBuffer，这种方式无法复用szBuffer，我们必须不停的对szBuffer申请空间，然后丢弃它，因为字符串长度是无法确定的。

如何复用ByteBuffer

如何复用ByteBuffer呢，其实很简单，无论对方传的结构有多么混乱和诡异，记得之前说过的吗？

SocketChannel#read(ByteBuffer)读取时,ByteBuffer分配的是多少字节，那么读取不会超过这个buffer的大小

原因在于检查了ByteBuffer的position和limit。只要我们每次接收前clear后，通过limit限制其可用大小，那么无论对方发送的结构多复杂，我们都能只使用一个ByteBuffer接收。

文件传输Buffer复用及减少使用用户层缓冲区

源码发现FileChannel#transferFrom的src为SocketChannel时是通过ByteBuffer(8K)接收，接收完成后ByteBuffer丢弃, src为FileChannel时是内存映射(每次最大8M)。

只有FileChannel#transferTo发送时才会使用sendfile(Linux)零拷贝，Windows为MappedByteBuffer(windows是MapViewOfFile)
Windows下CreateFile应该没有使用FILE_FLAG_NO_BUFFERING|FILE_FLAG_WRITE_THROUGH，因为NATIVE映射时并没有映射为扇区倍数，所以Windows只是少了一层用户态的缓冲区调用。

我们可以先封装出几个方法：
下面的方法是针对接收C/C++发送方的，所以关于小端转换和GBK编码可以忽略。

	private final int MAP_THRESHOLD = 4 * 1024 * 1024;private ThreadLocal<ByteBuffer> byteBufferThreadLocal = new ThreadLocal(){@Overrideprotected ByteBuffer initialValue() {return ByteBuffer.allocateDirect(MAP_THRESHOLD);}};/*** Little-Endian 字节数组转int* @param byteVal 待转换的数组* @return 小端转换后的int*/private int bytes2Int(byte[] byteVal) {if (byteVal==null || byteVal.length != 4) return 0;/** 由于java没有unsigned,导致单byte>127时出现负数，左移会是符号扩展方式，所以需要&0xff进行零扩展转int后进行移位* */return byteVal[0] & 0xff | ((byteVal[1] & 0xff) << 8) | ((byteVal[2] & 0xff) << 16) | ((byteVal[3] & 0xff) << 24);}private byte[] getIpV4Bytes(String ipOrMask){try{String[] addr = ipOrMask.split("\\.");int length = addr.length;byte[] addrBytes = new byte[length];for (int index = 0; index < length; index++){addrBytes[index] = (byte) Integer.parseInt(addr[index]);}return addrBytes;}catch (Exception ignored){}return new byte[4];}/*** IPV4 str转int，大端转换* @param ipOrMask IP字符串* @return int 没有unsigned也无所谓，符号位参与与运算*/private int getIpV4ToInt(String ipOrMask){byte[] addr = getIpV4Bytes(ipOrMask);return addr[3] & 0xff | ((addr[2] & 0xff) << 8) | ((addr[1] & 0xff) << 16) | ((addr[0] & 0xff) << 24);}/*** 从channel中接收指定长度的数据* @param channel SocketChannel* @param byteBuffer ByteBuffer* @param len int* @throws IOException*/private void recvFromBuffer(SocketChannel channel, ByteBuffer byteBuffer, int len) throws IOException,InterruptedException {if (len<=0) throw new IOException();int allReadyRead;int rateLimit = 1;while ((allReadyRead = channel.read(byteBuffer)) != -1) {if (allReadyRead == 0) {// 如果没有数据，则稍微等待一下Thread.sleep((rateLimit <<= 1) & 0xff);if (byteBuffer.position() == len)break;}}if (allReadyRead==-1) throw new IOException();byteBuffer.flip();}/*** 接收4个byte，通过bytes2Int转换为int* @param byteBuffer ByteBuffer* @return bytes2Int转换后的int* @throws IOException* @see AbsFileTransServer#bytes2Int(byte[])*/int intTransferFromChannel(SocketChannel channel, ByteBuffer byteBuffer) throws IOException, InterruptedException {byteBuffer.clear();byteBuffer.limit(4);recvFromBuffer(channel,byteBuffer,4);byteBuffer.order(ByteOrder.LITTLE_ENDIAN);return byteBuffer.getInt();}/*** 通过channel接收len长度的字节数组，之后将字符数组转为String* @param byteBuffer ByteBuffer* @param len 字符数组长度* @return 转转后的字符串* @throws IOException*/String strTransferFromChannel(SocketChannel channel, ByteBuffer byteBuffer, int len) throws IOException, InterruptedException {byteBuffer.clear();byteBuffer.limit(len);recvFromBuffer(channel,byteBuffer,len);final byte[] strByte = new byte[len];byteBuffer.get(strByte,0,len);return new String(strByte,"gbk");}/*** 通过channel使用byteBuffer接收后传输文件。* @param channel SocketChannel* @param byteBuffer ByteBuffer* @param pathName 路径名* @param fileName 文件名* @param len 文件字节长度* @throws IOException*/boolean fileTransferFromChannel(SocketChannel channel, ByteBuffer byteBuffer, String pathName, String fileName, int len) throws IOException, InterruptedException {byteBuffer.clear();byteBuffer.limit(len);recvFromBuffer(channel,byteBuffer,len);try(final RandomAccessFile file = new RandomAccessFile(pathName + fileName,  "rws")){return file.getChannel().write(byteBuffer) > 0;}}/*** 通过SocketChannel接收* @param channel SocketChannel* @param pathName 路径名* @param fileName 文件名* @param len 文件字节长度* @throws IOException*/boolean fileTransferFromChannel(SocketChannel channel, String pathName, String fileName, int len) throws IOException, InterruptedException {if (len < MAP_THRESHOLD){ByteBuffer byteBuffer = byteBufferThreadLocal.get();byteBuffer.clear();byteBuffer.limit(len);return fileTransferFromChannel(channel, byteBuffer, pathName,fileName,len);}return fileMapTransferFromChannel(channel, pathName, fileName, len);}/*** 对大文件 使用内存映射* @param channel SocketChannel* @param pathName 路径名* @param fileName 文件名* @param len 文件字节长度* @throws IOException*/final boolean fileMapTransferFromChannel(SocketChannel channel, String pathName, String fileName, int len) throws IOException {final File file = new File(pathName + fileName);try(final RandomAccessFile randomFile = new RandomAccessFile(file,  "rws")){final FileChannel fc = randomFile.getChannel();// 如果处于同一子网mmap直接映射到足够大final String remoteAddress = channel.getRemoteAddress().toString();final String localAddress = channel.getLocalAddress().toString();final Pattern pattern = Pattern.compile("\\d+\\.\\d+\\.\\d+\\.\\d+");Matcher removeMatcher = pattern.matcher(remoteAddress);Matcher localMatcher = pattern.matcher(localAddress);if (removeMatcher.find() && localMatcher.find()){int remotePoint = getIpV4ToInt(remoteAddress.substring(removeMatcher.start(), removeMatcher.end()));int localPoint = getIpV4ToInt(localAddress.substring(localMatcher.start(), localMatcher.end()));int mask = getIpV4ToInt("255.255.255.0");if ((mask & remotePoint) == (mask & localPoint)){MappedByteBuffer map = fc.map(FileChannel.MapMode.READ_WRITE, 0, len);int position = 0;while( position < len){position += channel.read(map);}//unmap 如果不unmap会导致文件内核对象无法关闭，文件一直被占用Cleaner cleaner = ((DirectBuffer)map).cleaner();if (cleaner != null) {cleaner.clean();}return file.setLastModified(System.currentTimeMillis());}}// 否则每次映射 Math.min(len-position, MAP_THRESHOLD);int position = 0;while(position<len){int size = Math.min(len-position, MAP_THRESHOLD);MappedByteBuffer map = fc.map(FileChannel.MapMode.READ_WRITE, position, size);position += channel.read(map);//unmap 如果不unmap会导致文件内核对象无法关闭，文件一直被占用Cleaner cleaner = ((DirectBuffer)map).cleaner();if (cleaner != null) {cleaner.clean();}}return file.setLastModified(System.currentTimeMillis());}}

使用上面的方法也很容易：

/*
申请一个tempBuffer，它对于当前线程将会一直存在，我们并没有将它放在方法栈中，并且IO多路复用的情况下我们只需要针对线程使用一个tempBuffer
由于这个buffer只是用来接收很小的数据结构，文件内容我们通过零拷贝传输
所以此时Direct方式并不适用，使用allocate分配256个字节就足够了
原因在文件名最大包含路径也无法超过260字节。
*/final ByteBuffer tempBuffer = ByteBuffer.allocate(256);

 //方法中调用上面封装好的几个方法final int len = intTransferFromChannel(clientChannel,tempBuffer);final String szFileName = strTransferFromChannel(clientChannel,tempBuffer,len);final int fileSize = intTransferFromChannel(clientChannel,tempBuffer);fileTransferFromChannel(clientChannel,filePath,szFileName,fileSize);

这篇关于Java SocketChannel控制接收数据字节长度及复用ByteBuffer的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/588384。

相关文章

JVM 的类初始化机制

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时，有没有考虑过 JVM 是如何把静态的字节码（byte code）转化为运行时对象的呢，这个问题看似简单，但清楚的同学相信也不会太多，这篇文章首先介绍 JVM 类初始化的机制，然后给出几个易出错的实例来分析，帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段，分别是：loading 、Linking、initialization
阅读更多...
Spring Security 基于表达式的权限控制

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权，允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true （Spring security默认会带有ROLE_前缀）,去
阅读更多...
浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
Spring Security--Architecture Overview

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类，它们之间的依赖，构建起了整个框架。想要理解整个架构，最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文（security context）的信息。当前操作的用户是谁，该用户是否已经被认证，他拥有哪些角色权限…这些都被保
阅读更多...
Spring Security基于数据库验证流程详解

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明（认真看哦） AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证，则会调用 #attemptAuthentica
阅读更多...
Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
Java架构师知识体认识

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物
阅读更多...
Java进阶13讲__第12讲_1/2

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory
阅读更多...
字节面试 | 如何测试RocketMQ、RocketMQ？

字节面试 | 如何测试RocketMQ、RocketMQ？

字节面试：RocketMQ是怎么测试的呢？ 答： 首先保证消息的消费正确、设计逆向用例，在验证消息内容为空等情况时的消费正确性； 推送大批量MQ，通过Admin控制台查看MQ消费的情况，是否出现消费假死、TPS是否正常等等问题。（上述都是临场发挥，但是RocketMQ真正的测试点，还真的需要探讨） 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说，就是一个分
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2