《时代周刊》:用形象化的老办法对付大数据

2024-02-02 15:18

本文主要是介绍《时代周刊》:用形象化的老办法对付大数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!



《时代周刊》:用形象化的老办法对付大数据

2015年08月03日 14:46 新浪财经 微博
0 分享 添加喜爱 打印 增大字体 减小字体
图为最新期《时代周刊》杂志封面 图为最新期《时代周刊》杂志封面

  导读:《时代周刊》最新一期封面文章称,我们每天被数据海洋淹没,只有让冷冰冰的数据形象化,变成看得见摸得着的东西,我们才能从中挖掘出意义。

  威廉-普莱费尔(William Playfair)生于1759年,在家里排行老四,父亲是上进的苏格兰大臣。他年纪轻轻便当上瓦特的个人助理,随后从事制图、会计、工程、经济、银匠、土地投机、记者等多种职业,取得大小不等的成功。最终他在贫困中去世。

  不过在此过程中,他差不多是不声不响地一手创立了统计图表学,发明了柱状图、线形图和扇形图。1786年他出版《商业和政治地图集》,该书以一副英国历史进出口图开场,放在今天的话与本刊的排版看上去并不太脱节。用他自己的话说,“普莱费尔是将几何原理用于财政事务之第一人”。

  他生不逢时。如果他活在当今时代,普莱费尔很可能身居硅谷一家受热捧创业公司的首席数据官高位。我们周围的世界发生着看不见但影响巨大的转变,即从信息稀缺到信息过剩的无声颠覆。人类进化首先面临的是食物短缺,如今我们却遭受着普遍肥胖之苦。

  与之大同小异的是,过去我们获得信息很困难,现在到处都是海量的信息。谷歌[微博]前CEO斯密特曾经估计,人类每两天所创造的数据量就相当于有史以来到2003年的数据量总和。他说这话是在五年前。我们从认识上还未进化到这一步。

  估计人类创造的总数据量是技术人员的一大爱好。确切数字虽然各不相同,但谁都承认大得惊人。只需想想你的智能手机就够了:没错,它是一个通讯设备,但它也是把你周围的世界转化为数据的工具。你看到某个东西,把它拍下来或者录下来,然后上传到云端,以字节的方式永远存在。每一天人们发布五亿条推文,在Instagram分享7000万张照片,在Facebook观看40亿条视频。每一分钟我们向YouTube上传300小时的新内容。

  创造数据的不仅是人。还有被称为物联网的新现象。汽车、自动售货机、眼镜、计步器等装上传感器和传输器,与云端或彼此之间通讯。这些物体也像人类一样在数字世界留下痕迹。市场研究机构IDC在2014年的报告中估计,数字世界的规模将从2013年的10万亿吉字节增长到2020年的44万亿或44泽字节。

  我们拥有丰富的数据,但从中获得的回报却迅速减少,因为拥有的数据越多,就越难从中挖掘出意义。颇具讽刺意味的是,信息过多差不多也像信息不足一样难以分析和理解。于是,新技术让我们的世界充斥着越来越多的复杂信息,我们最终就越需要有着悠久历史的人类努力,即始终致力于使复杂的东西可以理解、从混乱中求得意义的艺术,尤其是视觉艺术。

  正如普莱费尔所发现的那样,超过某一界限挖掘数据意义的最佳办法就是使数据形象化。试想Instagram的海量照片。去年纽约市立大学教授曼努维奇(Lev Manovich)对来自纽约、圣保罗、柏林、曼谷、莫斯科5座城市的12万张照片进行了视觉分析。他和他的研究团队从中选取自拍照片,估计照片上的人的年龄和性别。然后他们对照片运用面部分析算法,对所有数据进行统计分析,最后放到selfiecity.net制成互动图表。

  结果这些毫无意义的原始数据现在具有了意义。你可以按照城市、性别、心情、是否歪脑袋、是否戴眼镜、睁开还是闭上眼睛浏览照片。你可以提出问题并得到答案:谁自拍用的多,男人还是女人?(答案是女人)。哪里的人笑得最多?(曼谷)哪里的老年人爱自拍?(纽约)……

  如果你把数据形象化看作我们抵抗信息海洋的防洪堤,那么随着数据日益增多,防洪堤的压力总是不断上升,而压力上升又改变了数据形象化的方式和作用,这一点甚至普莱费尔也不曾料到。

  形象化从对统计数据集的分析呈现发展为实时数据的不断变化图景。在Bostonography你可以像上帝一样鸟瞰波士顿所有按照当前时速进行颜色编码的公交车位置。Crimemapping.com实时显示按照报案地点分类的案发地情况,用不同表情符号代表不同性质的案件。fbomb.co网站提供上推特的人何时何地如何说国骂的全球实时图景。

  从“纽约出租:生命中的一天”(NYC Taxis: A Day in the Life)可以得见美观、免费的数据丰富性。一位名叫Chris Whong的黑客根据《信息自由法》从出租车与电召车委员会(TLC)下载50G纽约市出租车数据,利用这些数据制作了2013年某一天任意出租车的路线和收入图。你可以选择一辆车快进(或以正常速度——如果你有时间)观看它在曼哈顿大街上行驶,像勤劳的小精灵吃豆子那样在身后留下一条蓝线。

  数据形象化并非总是为了闹着玩。今年4月30日在Kickstarter发布的一个众筹项目将从OpenSecrets.org抓去竞选资金数据并以多种方式自动图像化,清楚、简洁地显示政治家获得的资金数量和来源。这是超越透明性的下一个必要步骤:不仅公布信息,而且要公布该信息的意义。今年数据图像化最引人注目、最具革命性的实验之一是纪录片制作人、数据专家霍洛兰(Neil)的“二战死难者”(The Fallen of World War II)互动视频。该实验利用图表图像讲述历史:表示成千上万死难者的几乎独家的抽象数据形象化地带领我们回顾二战和“大屠杀”。

  视频六分钟左右镜头急剧仰拍现出摩天大楼似的柱状图,表示前苏联军队870万人的伤亡。初一看似乎极不可能,但随着镜头回摇,在二战的巨大灾难中又合情合理。在这种不动声色的叙述中,人类的死亡更显触目惊心。

  之后的视频同样摄影手法反复出现:冷冰冰的抽象数据变为视觉艺术,让我们感同身受,增加知识。现阶段人类遭遇普莱费尔也发现无法理解的海量数据。我们也觉得数据多得无法理解,而这些数据又可能使得我们的世界不可理解。不过我们并非毫无办法。信息不仅需要自由,它还需要看得见摸得着。(

这篇关于《时代周刊》:用形象化的老办法对付大数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/671126

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

pandas数据过滤

Pandas 数据过滤方法 Pandas 提供了多种方法来过滤数据,可以根据不同的条件进行筛选。以下是一些常见的 Pandas 数据过滤方法,结合实例进行讲解,希望能帮你快速理解。 1. 基于条件筛选行 可以使用布尔索引来根据条件过滤行。 import pandas as pd# 创建示例数据data = {'Name': ['Alice', 'Bob', 'Charlie', 'Dav

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者