大数据的小时代,没有“IOE”也能玩转智慧城市

2023-10-08 01:40

本文主要是介绍大数据的小时代,没有“IOE”也能玩转智慧城市,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

image

如今一谈到大数据,人们就会联想到数百TB以上且规模不断增长的Hadoop集群系统,人们为过去两年我们制造了超过人类历史总和的数据量而感到颤抖,但实际上大数据可以很小,甚至在智能手机和笔记本上就能进行分析处理,而聪明的机器学习算法能将大型强子对撞机数据分析工作量减少上万倍;后大数据时代,人们将更加关心如何让大数据“大事化小”。

但在粒度更小,数据规模却更大的智能传感器时代,在一场官方色彩越来越浓的“去IOE运动”中,如何利用本土低成本技术资源,在Hadoop之外寻找一条新的开源大数据处理技术方案?如何在大力开展“智慧城市”等物联网大数据项目的同时防止对个人隐私的侵犯?

在计算机科学中, 一个简单的真理可以预言一部分未来: "正在CERN(欧洲粒子物理研究所)上演的将很快发生在世界上每个地方。" 我们还可以再加上第二个预言: "一切正在聚集的将最终以分散结尾。" 这与大数据应用有何关系?

大数据通常都很小

许多所谓的 "大数据" 问题其实并不是那么大。一个中央银行五年的交易数据量大概有100GB 大小。所以,中央银行一年的交易数据是完全能够被存储在一部智能手机中的。 一所保险公司关于一个国家的所有交易数据量不会超过4TB。 一个硬盘就可以储存这些保险数据。

那些由企业巨额投资的被标记为时尚 "大数据"用来解决数据分析问题的基础结构,实际上完全可以通过一台笔记本 —— 甚至是一部智能手机 —— 和开源软件来替代。研究者们和全球金融机构都用像 Scikit-Learn[1], Pandas[2]或NLTK[3] 这样的开源软件来处理交易数据和客户关系数据。如MariaDB[4]这样传统的数据库现如今能够处理差不多每秒1百万的录入。MariaDB 10.0[5] 甚至还有来自淘宝的开发人员开发的一些可以被延伸的复制技术。

我建议在进行昂贵的投资前:先购买一个小型的含至少32 GB记忆卡的GNU/Linux 服务器, 一个大容量的SSD 盘(例如 1 TB)并学习 Scikit-Learn 机器学习工具包10230。在大多数情况下,这些已经足够解决您的问题。 如果还不够,您还可以设计一个稍后能够延伸成一个大型基础架构的模型。Scikit-Learn 被许多谷歌工程师用作 "大数据" 问题建模解决方案的工具包。

最小的微粒生产出最大的数据

极端的挑战由核物理及小微粒研究提出来,不断引导了新信息技术的创造。 HTML 是由在欧洲核子研究组织 – 也被称为CERN 的Tim Berners Lee于1991 为解决大规模文档管理的问题而创造。CERN的大型强子对撞机 (the Large Hadron Collider,简称LHC)被设计用作处理每秒1 PB 的数据。它在2013年提供了第一个证明 希格斯玻色子 [6]存在的证据, 这是一个在过去的50年里都没有被解决的问题。

让我们来理解一下每秒1 PB 的数据意味着什么。 1 PB和1,000 TB, 1,000,000 GB 或者是13.3年的HD视频容量一样大。 能够每秒处理1 PB的数据相当于能够处理419,428,800个(13.336524*3600)HD摄像设备生成的数据。这比中国的闭录电视摄像机[7]多15倍, 比英国的多100倍[8].

总的说来,在CERN里为小粒子创造的技术可以被应用到实时收集和处理地球上每个人制造的以声音,视频,健康监测,智能材料日志等形式存在的数据。

智能传感器介绍

大数据结构成功的关键概念是它可以迅速丢弃收集的大部分数据并最终只 储存其中的一小部分[9]。 这是通过将大多数数据处理转移到所谓的 "人工智能"的智能传感器上来实现,在现实的高级统计学中也被叫做机器学习。

大型强子对撞机的传感器之一 ,叫做 紧凑μ子线圈 (CMS)[10] – 每秒中能够收集3太字节代表小型粒子碰撞的图像数据。然后它会自动丢弃被认为是无关的图像并"只" 发送每秒100 Mb到LHC存储结构中,这比它收集的原始数据要少30,000倍。传感器本身使用了FPGA, 一种能够比一般处理器更快处理数据的可编程硬件, 来实施叫做 "clustering"[11]的机器学习运算法则。

如果我们希望将大型强子对撞机的想法应用到闭录电视监控, 我们可以在每个摄像机中存储几个小时的视频并使用一个FPGA 或者一个GPU直接在摄影机中实时处理视频数据。我们可以使用可改编程序的人工智能来侦查人群的数量,性别,尺寸, 行为(和平的, 暴力的, 偷偷摸摸的,迷路的,工作的等等),一个物品的存在(例如:一个手提箱)或一个物品的缺少(例如: 一个路灯)。 只有这些元数据才可以通过网络被发送到一个中央处理设备。 如果有需要的话,这个设备可以决定下载相关的图片或着视频片段。 以防出现一个地区的闭录电视被犯罪人员破坏而无法进行连接的情况,然后发送一个 consumer drone 遥控飞行器[12] 去检查问题的源头。

总的来说, LHC告诉我们如何通过少量的投资或者是广泛的覆盖面来快速建立一个有效的摄像监控系统。 这个系统能够被 – 在世界上的任何地方- 部署到现存的窄频带通信网络 – 包括GSM。它同样也比集中存储和处理所有信息的系统更加有弹性。并且它在电力中断的时候也可以离线工作。

智能隐私,智慧市场

"With the tapping program code-named PRISM, the U.S. government has infringed on the privacy rights of people both at home and abroad" 由新华网在2014年2月28日发表,它解释了美国人权的现状[13]. 类似的项目在许多国家都实施了严格的隐私法律[27]. 65%的市场份额都贡献给了监控和背后强大的经济力量。如果不加以规范管理, 大数据是最容易侵犯隐私权的技术之一。

image

大数据的候选市场[14]

智能传感器提供了一个可能的解决方案, 只要编码能够由独立的负责隐私的权利机关审核。通过在传感器中丢弃,加密并匿名化大多数的数据, 并在产出地加强执行隐私律法,滥用监控系统的风险可以通过缺少原始数据的传输和缺少集中的存储来降低。传感器访问记录可以作为开源数据发布出来以确保审核 的完成。

升级闭录电视到智能摄像机仅在中国就代表了每年2千亿元人民币的市场。 一个国有的升级项目可以作为在智能摄像机内建立"智慧城市" 核心功能的契机:公共网络的访问, 网页加速,微云,移动存储卸载, 地理定位, 多重访问mesh网络,无障碍收费系统等等。 这些只是许多可以进行开发应用的一小部分,并且日后还可以在全球范围内推广,因为 中国是最大的闭录电视系统的生产方并且已经和许多外国国防工业有紧密的合作关系[15]。

物联网代表了更大的数据

到2020年,监控系统将不再是大数据的首要市场了。 根据Gartner分析,260亿个对象将会被连接到互联网[16], 超出全球范围的闭录电视摄像机数量的100倍。连接的对象包含工厂,车,电子消费品,工业传感器,风力发电机,交通灯等使用的工业用传感器。

通过故障预测进行预防性维护 —— 一个机器学习和大数据的直接应用,以及其它的智慧功能都将会被内嵌入对象中。低价系统芯片(SOC)里的GPU 将被用于实施低成本高速度的机器学习[17]。

中国工业已经具有了一个连接物联网及大数据的优势。 最近ARM, 展讯(Spreadtrum), 全志科技(Allwinner), 瑞芯微电子(Rockchip),华为以及其他公司的结盟[18]强 调了中国设计的以ARM为基础解决方案逐渐增长的重要性。我们可以想象, 在几年的时间内,一个有GPU, 网络及Linux操作系统的系统芯片价值将不超过1美元。用这个价钱,它将可以成为用来为智能设备实施机器学习运算法则的标准组件。更高端一点来说, 一个大数据集群可以被设计成一个多核ARM 系统的系统芯片(SOC)以及固态硬盘(SSD)。首次,所有的组件都可以来自中国并且用比因特尔更低的成本提供相同质量的性能。

image

中国移动计算联盟(MCA) 于2014年4月在深圳正式成立(Credit. Bob Peng, ARM) [18]

现在所缺乏的是通过使用高效的分布式运算法则来处理数据的软件。考虑到最近在中国讨论的"No ICE Policy [21]" 以及HADOOP对Java强烈的依赖性(一个现在被Oracle控制的产品)。这正是考虑为大数据使用另一种软件解决方案的最佳时机。近期,许多社区都开始在 Python的Numpy 开源技术上整合他们的数据处理能力[20, 21] 另外一些则是在创建新的语言例如Julia [22]。需要解决的大挑战之一是 "out-of-core" 数据处理,即超越可用存储器的极限来处理数据。像Wendelin [23] 和Blaze [24] 这样的项目已经都在进行中用来提供开源的解决方案。

总的来说,我们的猜测是"No ICE"的解决方法将会在中国的这些大数据项目中里被创造出来 – 例如 贵州[25]或着新疆 [26] – 由数以亿计的人民币预算作为强大的后盾,向纯粹的科技创新敞开大门, 使其能够处理由智能传感器产生的艾字节或是zetabytes数据。

鸣谢

我要感谢来自Kolibree [28]的Thomas Serval , 来自Items [29]的Maurice Ronai , 来自Cityzen Data [32]的Hervé Rannou 和 Mathias Herberts, 以及来自Scikit-Learn [1]的Alexandre Gramfort分享他们关于大数据的想法。

这篇关于大数据的小时代,没有“IOE”也能玩转智慧城市的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/161847

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

豆包 MarsCode 不允许你还没有女朋友

在这个喧嚣的世界里,爱意需要被温柔地唤醒。为心爱的她制作每日一句小工具,就像是一场永不落幕的浪漫仪式,每天都在她的心田播撒爱的种子,让她的每一天都充满甜蜜与期待。 背景 在这个瞬息万变的时代,我们都在寻找那些能让我们慢下来,感受生活美好的瞬间。为了让这份浪漫持久而深刻,我们决定为女朋友定制一个每日一句小工具。这个工具会在她意想不到的时刻,为她呈现一句充满爱意的话语,让她的每一天都充满惊喜和感动

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

《纳瓦尔宝典》是纳瓦尔·拉维坎特(Naval Ravikant)的智慧箴言

《纳瓦尔宝典》是一本由埃里克·乔根森(Erik Jorgensen)编著的书籍,该书于2022年5月10日由中信出版社出版。这本书的核心内容围绕硅谷知名天使投资人纳瓦尔·拉维坎特(Naval Ravikant)的智慧箴言,特别是关于财富积累和幸福人生的原则与方法。 晓北斗推荐 《纳瓦尔宝典》 基本信息 书名:《纳瓦尔宝典》作者:[美] 埃里克·乔根森译者:赵灿出版时间:2022

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X