[看法]一些远距离大数据传输的想法

2024-04-13 12:38

本文主要是介绍[看法]一些远距离大数据传输的想法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一些远距离大数据传输的想法

在计算机网络中,传输文件一直是一个典型的案例用来讨论。但是不同场景下网络传输的方式方法都需要改变,远距离大数据传说就是其中一个场景,如何传输?这里说一下我的想法。

寄送硬盘

在《计算机网络》中,特别指出其实用货车运送一货车的数据带宽还挺大的。按照我们平时的下载数据的常用衡量指标GB/s, 如果使用快递3天(3 * 24 * 60 * 60 s)可以到达,那么运送254GB的数据就要比下载速度为1MB/s的网络要快。如果你想运送TB级别甚至PB级别的数据,用快递还是不错的~

数据分片

如果使用网络传输大数据,在传输之前,把数据分片是一种通行的做法。分片通俗的讲就是把一个完整的数据包分成不同小包,小包再传输出去。这样的做法有两个好处

  1. 数据量小,容易传输。即使在传输过程中出现了传输断开等情况,重传这个小分片的代价不是很大。
  2. 当网络传输的速度不是受制于带宽而是发包主机,那么分片传输就可以利用主机的并行传输能力,提高传输带宽。

当然分片传输的缺点也是比较明显,就是双端都需要知道分片算法,而且大数据情况下需要一定时间进行分片,这部分时间有时候也需要算到传输时间里。

数据压缩

数据压缩也是其中的一个重点。如果在传输前,对数据进行压缩,压缩率的大小直接决定了传输时间的多少,虽然这不能明显的提高传输带宽,但是可以显著降低传输的时间,同时,减少对带宽的占用。

断点续传

断点续传在我们平时不少下载软件中都有实现。长距离数据传输中,传输断连是经常发生的事情,那么断点续传可以降低出现断连带来的影响。当数据断连时,只需要很小的代价重新连接传输就行,而不需要再传已经传输过的数据。

数据完整性校验

数据完整性校验也需要我们来关注。使用MD5等方式,保证传输方数据和接收方数据一致,从而避免数据中间的篡改或者丢失。

数据双端加密

双端加密很重要。信息安全是我们网络中尤其要关心的一件事。数据传输时,如果不使用加密算法,中间数据传输的节点就都可以看到你数据传输的内容。一种可行的非对称加密方案是,接收端首先生成一对公钥和秘钥,将公钥传输到发送端,发送端使用公钥把数据加密,发送给接收端,接收端再用私钥解密。

不造轮子

不造轮子普适于所有的计算机技术。尽量使用现有的大数据传输方案,甚至我们尽量不要过多的修改底层传输的方式,从而降低传输的技术成本。

这篇关于[看法]一些远距离大数据传输的想法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/900167

相关文章

ubuntu 和windows用samba服务器实现数据传输

1,linux安装samba服务器 sudo apt-get install samba samba-common 2,linux 配置权限,修改目录权限,linux下共享的文件权限设置。 sudo chmod 777 /home/lark -R 3. 添加samba用户  sudo smbpasswd -a  lark 4,配置共享目录 打开/smb.conf 在

关于并发的一些想法

1.多个用户同时访问一个网站系统是并发,也会造成并发问题(但这个问题不是线程间的并发问题,不是对临界变量的并发问题。这个很容易混淆的)。这里造成的并发的问题是由于用户过多发出的http的请求过多,程序排队处理这些请求,同时,对于同一个数据库和同一tomcat来承受这些请求(可能千万个请求),同时服务器的cpu和内存等都会有问题,必然导致用户响应界面效果不好,产生卡顿现象。因此,才有了分布式、集群、

sobel_dir 方向图和sobel的一些想法

怎么使用呢! 1,通过方向图可以提取 直线 或水平线region区域,提出来的dirregion区域 2,通过sobel的幅度度,分割出变化剧烈的区域 fuduregion 3,两个region相交,可以准确定位幅度范围内+方向的边界 4,sobel算子是可以只做x,y方向的单项幅度图的,sobel_amp在一定场合有特别的用处,值得关注 5,关于大掩码超过3的size,要注意的

BLE 数据传输的一些名词

 1、 Profile Profile 可以理解为一种规范,一个标准的通信协议,Profile 存在于从机中。蓝牙组织规定了一些列的标准 Profile, 例如 HID OVER GATT、 防丢器、 心率计等。 每个 Profile 中会包含多个 Service,每个 Service 代表从机的一种能力。 2、 Service Service 可以理解为一个服务,在 ble 从机中,通

两个 BLE实现数据传输

 通过TI BLE 1.3.2 协议栈安装后的主从通信实验,实现两个 BLE节点的通信,主机向 BLE 从机发送一个字节,然后再把写入的字节读回来,以测试主从之间的通信。 SimpleBLECentral 主机编程: 在 Bluetooth-LE 低功耗蓝牙中有四种设备类型:Central 主机、Peripheral 从机、Observer 观察者、Broadcaster 广播者。通

关于全能型AI和专业型AI的未来发展趋势的看法

AI模型:追求全能还是专精? 近日,OpenAI预计在秋季推出代号为“草莓”的新AI。从专注于数学问题到处理主观营销策略,"草莓"模型展现出惊人的多样性。而这种全能型 AI 是否代表了未来趋势?相比专攻于某一领域的专业型AI产品,全能型AI产品是否一定具有更广阔的经济市场、吸引更多用户喜爱呢?对此,你怎么看?不妨分享你的观点,探讨这两类AI产品的优劣和未来潜力吧! 对于这个问题,我的回答是

数据传输安全——混合加解密(国密)

国密SM2与SM4混合加密解密工具类详解及其与其他加密算法的对比分析 在当今互联网时代,信息安全变得尤为重要。随着国家密码局发布的商用密码算法(即国密算法)逐渐普及,SM2和SM4等算法因其高效性和安全性成为了国内应用中的重要组成部分。本文不仅将详细介绍一个基于Java的国密SM2与SM4混合加密解密工具类,还将探讨这些算法与国际通用的RSA和AES算法之间的对比分析。 一、国密算法简介 S

有关微信公众平台和html5的想法

在师哥的引导下,我接触了微信公众平台,通过这段时间的感性认识,产生了一个想法就是在微信公众平台上退出一款自己的宠物,可惜技术达不到,现在只能想想而已。不过,在初步了解html5之后,我发现,这并不是不可能实现的事情。 我说下这么想的原因吧,很简单,在微信公众平台上阅读消息,实际上就是通过微信内置的浏览器来实现的。并且自己做的div网页效果,在这个内置的浏览器上能很好的表现出来。另一个原因就是ht

远距离跨网络实现windows远程桌面连接

1.保证已经打开被连接电脑---远程访问---权限。 我的电脑--右键--属性--远程设置 2.选择允许连接 (选择用户和高级没有特殊设置可以不动,被连接电脑当前登陆的账号就可以满足权限) 3.打开--控制面板 4.依次选择至当前位置,打开允许应用或功能通过防火墙 5.勾选远程桌面专用网络,公共网络

超高频rfid手持终端远距离多标签读取rfid手持机

超高频rfid手持终端以其远距离读写、快速识别、多标签群读等特点,广泛应用于服装盘点、车辆管理、仓储管理、固定资产管理、畜牧管理等场景。 超高频RFID手持终端:HT550 HT550是联强优创自主研发一款手柄式超高频远距离读取RFID手持终端。拥有强劲的UHF超高频读写功能,数据采集精准快速,读取范围更广,读取距离更远。Android 10操作系统,搭载高性能8核心2.0 GHz主频处理器,5