日本大数据应用环境和发展状况(附PPT下载)

2023-11-10 06:50

本文主要是介绍日本大数据应用环境和发展状况(附PPT下载),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

640?wx_fmt=png


本篇选自野村综合研究所数字基础开发部部门经理、高级研究员
城田真琴先生近日在“大数据应用中日交流论坛”上所做的题为《日本的大数据应用环境和发展状况》的演讲。


公众号后台回复"181206"即可获取PPT原文


本篇主要分为四点与大家分享:


  • 日本大数据发展状况与发展趋势

  • 日本《个人信息保护法》的修订

  • 法律修订后的大数据业务

  • 日本大数据应用面临的课题


一、日本大数据的发展状况


640?wx_fmt=png


2012到2014期间,大数据是当时非常流行的词汇,之后被检索的频次开始呈现下降趋势。

640?wx_fmt=png


之后,人工智能被越来越受到关注,在2014年12月份,“人工智能”检索次数首次超越了“大数据”检索次数。

640?wx_fmt=png


上图是日本在1998年到2018年20年间部分相关法律的制定和大数据的实际运用案例。


640?wx_fmt=png


“小松”系统是民间企业第一个开始运用大数据的例子。该系统早在1998年开始实行。在这20年间,“小松”系统仍是日本国内受人称赞的例子。

640?wx_fmt=png


“移动空间统计”应用是手机公司NTT于2013年10月推出的服务。


该应用基于基站数据可以精确推测某地区大致的手机用户的数量,从而统计其相关数据,包括该地区人口分布统计和动态统计。


640?wx_fmt=png


在车辆搭乘该系统后,可以了解到车辆的行驶情况。也可以了解到驾驶员的驾驶方式和驾驶偏好。现在可以根据开车的行驶的距离去算具体的保险费的费率,也就是说,可以通过该系统计算出符合个人驾驶行为习惯的费率。

640?wx_fmt=png


把线上线下的问题(网络与现实)综合地结合起来,大数据可能会发挥出更大效用。这样,当本公司数据不够用时,可以和其他大型网络公司联手,运用其他不同行业的数据,就如日本的积分卡和一些公司的会员卡制度所积累的数据,可能会使这些数据得到更大程度的使用。


有些专门从事大数据处理的公司,跟他们联手,可以把这些数据的价值使用的更广。现在有很多这样的企业,着重于大数据的开发和利用。

但是,当把数据移交给第三方公司时,却有很多顾虑。当数据可能包含消费者信息,个人信息,这些必须通过想关持有人同意,否则无法移交其他公司进行开发利用。因此,在相关法律的限制下,有些日本企业中的人并不十分积极去使用第三方提供的数据。


640?wx_fmt=png


在日本,乘铁路是使用交通卡,而且交通卡都是实名制,其中包括个人的姓名,联系方式及出生日期等。铁路公司把乘客的乘车记录交给第三方公司时,尽管对个人隐私做了消除处理,但消费者对此仍然不满,并提起诉讼,日本国民对于个人隐私保护是特别在意。媒体对此也进行报道,铁路公司停止该行为。这也成为法律修订的契机。


640?wx_fmt=png


日本某大型信息教育公司,委托第三方企业管理本公司的客户信息。但第三方公司的员工以有偿的方式把该客户信息出售给其他企业。事件最终暴露,引起社会的广泛关注。


上述事件在社会上引起反响,日本政府仍决心推进大数据的使用。

640?wx_fmt=png


2013年6月份,日本宣布“创建世界最先进的IT国家宣言”。


640?wx_fmt=png


如何平衡隐私保护和大数据应用,这是一个长期的课题。但是在日本,更多的是放在隐私保护方面,更重视隐私保护。而且作为企业,也担心万一在隐私保护上出点问题,有可能影响客户的声誉,所以企业在大数据的使用方面也是非常谨慎的。


二、《个人信息保护法》的修订


640?wx_fmt=png

《个人信息保护法》修改要点


640?wx_fmt=png


首先关于个人信息在修订之前,更多指的是名字、地址和出生年月日,这样能够识别特定相关个人的信息。但是实际上从企业的角度来说,像指纹、DNA,或者是虹膜,乃至电脑号码,手机号码等信息亦属于个人信息的范畴。

640?wx_fmt=png


除了匿名加工之后的信息之外,企业获取的个人信息需获本人的同意才能提供给第三方。匿名加工信息的做法,现在没有统一的方式,要根据具体内容来定,比如有些把名字、地址、出生年月日或者把其他的删掉即可,必须根据不同的个案予以思考。其概念的引入,意义重大。


640?wx_fmt=png

《个人信息保护法》修订中名册企业治理对策


三、法律修订后的大数据业务


640?wx_fmt=png


把数据进行匿名化的处理,在不涉及法律的情况下,提供给第三方。拥有数据方和数据利用方之间形成了数据交换的平台。这种数据交换平台,它保证不会涉及到违法的问题,可以让数据的利用方放心的使用数据交换平台提供的数据。


640?wx_fmt=png


“信息银行”是一项新的业务。它的出现避免匿名加工信息所带来对信息资源利用的破坏。信息银行是通过尊重个人的意志方式来决定是不是提供个人信息,比如这家公司可以提供,那家公司就不提供。而且获取信息的一方,会向用户提供一定的报酬。

640?wx_fmt=png

日本信用评价业务的先驱:J.Score


它和中国的芝麻信用是比较相近的,也许是参考芝麻信用的做法来推出的业务。它在银行、电商获取一些个人信息,利用AI对数据进行分析计算从而进行评级。提供信息的用户可以从相关企业中获得“AI评分奖励”。


四、日本大数据应用面临的课题


640?wx_fmt=png


2013年,我们做了一个问卷调查,左边是日本,右边是美国。从中可以看出,日本的数据科学家,或者数据分析专家只有8%左右,而美国的企业却有50%左右,现在已经有很大的差距。如今日本出现大数据热潮和人工智能热潮,很多企业都在致力于培养数据科学家,但是跟美国企业相比,仍然有比较大的差距。


640?wx_fmt=png


日本企业高管,他们从传统上来说一直不善于用数据来进行决策,更多的是重视直觉,或者是经验。他们在犹豫不决时,就依靠自己的胆量进行决策。他们不擅长以数据为基础进行决策,或者在企业的经营之中灵活的使用数据。


总结


  • 日本的大数据应用,关键是平衡隐私保护和数据利用两者关系。其特点是更多的重视隐私的保护。

  • 《个人信息保护法》的修订是转折点。

  • 目前,“信息银行”和“信用评分”等新型商务已经兴起。

  • 数据科学家短缺和根据数据进行决策是重大课题。

公众号后台回复"181206"即可获取PPT原文


作者简介


640?wx_fmt=png


城田真琴,总务省“智慧云研究会”技术工作组(WG)委员、经济产业省“IT融合论坛”个人数据WG委员、经济产业省、厚生劳动省、文部科学省“IT人材供求调查”专家委员会成员等。


出版著作:


640?wx_fmt=jpeg


640?wx_fmt=jpeg

640?wx_fmt=jpeg

这篇关于日本大数据应用环境和发展状况(附PPT下载)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/381039

相关文章

Java中注解与元数据示例详解

《Java中注解与元数据示例详解》Java注解和元数据是编程中重要的概念,用于描述程序元素的属性和用途,:本文主要介绍Java中注解与元数据的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参... 目录一、引言二、元数据的概念2.1 定义2.2 作用三、Java 注解的基础3.1 注解的定义3.2 内

将sqlserver数据迁移到mysql的详细步骤记录

《将sqlserver数据迁移到mysql的详细步骤记录》:本文主要介绍将SQLServer数据迁移到MySQL的步骤,包括导出数据、转换数据格式和导入数据,通过示例和工具说明,帮助大家顺利完成... 目录前言一、导出SQL Server 数据二、转换数据格式为mysql兼容格式三、导入数据到MySQL数据

C++中使用vector存储并遍历数据的基本步骤

《C++中使用vector存储并遍历数据的基本步骤》C++标准模板库(STL)提供了多种容器类型,包括顺序容器、关联容器、无序关联容器和容器适配器,每种容器都有其特定的用途和特性,:本文主要介绍C... 目录(1)容器及简要描述‌php顺序容器‌‌关联容器‌‌无序关联容器‌(基于哈希表):‌容器适配器‌:(

C#提取PDF表单数据的实现流程

《C#提取PDF表单数据的实现流程》PDF表单是一种常见的数据收集工具,广泛应用于调查问卷、业务合同等场景,凭借出色的跨平台兼容性和标准化特点,PDF表单在各行各业中得到了广泛应用,本文将探讨如何使用... 目录引言使用工具C# 提取多个PDF表单域的数据C# 提取特定PDF表单域的数据引言PDF表单是一

一文详解Python中数据清洗与处理的常用方法

《一文详解Python中数据清洗与处理的常用方法》在数据处理与分析过程中,缺失值、重复值、异常值等问题是常见的挑战,本文总结了多种数据清洗与处理方法,文中的示例代码简洁易懂,有需要的小伙伴可以参考下... 目录缺失值处理重复值处理异常值处理数据类型转换文本清洗数据分组统计数据分箱数据标准化在数据处理与分析过

大数据小内存排序问题如何巧妙解决

《大数据小内存排序问题如何巧妙解决》文章介绍了大数据小内存排序的三种方法:数据库排序、分治法和位图法,数据库排序简单但速度慢,对设备要求高;分治法高效但实现复杂;位图法可读性差,但存储空间受限... 目录三种方法:方法概要数据库排序(http://www.chinasem.cn对数据库设备要求较高)分治法(常

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动