直击企业痛点，让数据在“湖”中徜徉

谈到大数据时，许多企业也许会着急上火，眼瞅着丰富的数据资源躺在数据库中，放在存储服务器里，却无能为力，亦或是根本就不清楚自身数据价值在哪里。随着企业数据爆发式的增长，数据应用的难度也在增长，特别是在数字化转型的当下，如何使用好数字资产是最为核心的内容。

大数据经历了从生成、收集存储、计算分析再到分享使用的过程。而这其中，通过分析将有价值的数据产生洞察，帮助企业业务运营和决策，并最终创造更多的价值是数据应用的终极目标。而有意思的是，企业的数字化转型是利用数据资产的起点，而企业上云又是完成数字化的第一步。

以数字化为目标的企业，在上云的过程中，更需要考虑云服务厂商的数据分析、处理能力。特别是现代大数据的特点可以用价值大、数据真、类别杂、速度快、数量多5个方面来涵盖，这也就意味着企业与云合作厂商在未来将需要面对更为复杂的大数据场景。AWS作为有着电商背景与基因的企业，对于数据的挖掘和专研源于自身的需求，值得称道。

那数据的“湖” 

数据的指数级增长，数据来源的多元化，都推高了传统数据应用的成本，并且极易形成各式各样的数据孤岛，面对这一情形，传统的数据仓库已经不能有效应对未来数据的持续增长，而“数据湖”概念与产品的成型恰恰适用于当前这一数据应用环境。

数据湖可以被理解为是一个中心数据存储容器，这一容器中可以存储结构化或者是非结构化数据，并且具有良好的存储弹性，随着数据量的增长可以随时扩展容量。此外，数据湖可以兼容传统数据仓库的数据分析方法，或者依靠AWS所提供的各类方法对数据进行查询，更为重要的是数据湖可以有效的与机器学习等新技术结合，做出更多预测性分析。

数据湖的优势显而易见，传统的数据存储方式，结构化与非结构化数据泾渭分明，数据分析过程中，数据调用将会占用极大时间量，分析成本高，而数据湖作为一个可以容纳多种数据形式的容器，依托工具可以快速有效的分析原始数据，并且对原始数据进行查询与处理。

值得一提的是，数据湖以云计算为基础，快速缩放存储海量数据成为可能，在对数据的查询过程中，通过建目录和数据的转移、抽取等等工作，将会对数据进一步归类，也提高了数据分析的效率。 

事实上，早在2011年亚马逊就已经提出了数据湖的概念。而2006年推出了一项基础云服务Amazon S3就是这一概念的最早实践版，Amazon S3可以存任何二进位为基础的任何信息，包含结构化和非结构化的数据。围绕着数据AWS打造了众多的服务与应用，来适应数据湖对于数据分析的要求。

强力组合工具助阵 

随着数据湖的产生，AWS也提供了完整的数据解决方案。这其中包含有非关系型数据库Amazon DynamoDB，冷存储Amazon Glacier，深度的冷存储Deep Archive等等。此外，Amazon RDS、Amazon Redshift、Amazon EMR、Amazon Kinesis、Amazon Athena、AWS Glue等服务更值得引起关注。

Amazon RDS是一个托管的关系型数据库，目前AWS主推的Aurora就是这一类型的数据库可以兼容MySQL和PostgreSQL纯原生的数据库。Amazon Redshift是一个云数据仓库，作为可以与数据湖集成的数据仓库，Redshift有着可以快速缩放的功能，成本仅仅是传统数据库的10%。Amazon EMR是Elastic MapReduce，可以应用于集群中，实现集群中大数据分析。Amazon Kinesis可以实时的收集、处理并分析视频和流数据。Amazon Athena是一种交互式数据查询工具，使得存储的海量的数据可以像传统的使用SQL语言一样的方法，直接对S3做数据的查询。AWS Glue可以对不同的数据库服务之间进行连接，其中拥有数据的抽取、转换、加载的功能，以及数据目录服务的功能。

AWS所提供的丰富的服务，实现了与数据湖的兼容，为数据湖中数据的存储、分析等提供了强力手段，这都将成为AWS数据武器中的重要组成部分。事实上，数据湖的创建也并不是一个简单的事情，具有一定的复杂性，为此，AWS提供了AWS Lake Formation的服务，这是一套数据湖自动创建工具，可以帮助企业快速实现数据湖应用，唯一可惜的是目前该服务还没有在国内落地。 

此外，由AWS Glue、AWS Lambda和AWS Step Functions三个服务组合，可以实现无服务器方法，当触发事件后，数据才会被调用或者是查询，应用才会被操作。Amazon SageMaker、数据库迁移服务(DMS)、AWS Snowball等等都成为AWS数据应用中的重要补充，而与之相类似的工具还有很多，形成了AWS独特的数据分析体系。

客户的选择

对于数据的分析应用，AWS正在成长为参天大树。无论是来源于Forrester，亦或是Gartner的报告，AWS数据库与数据应用服务都在引领者这一领域，获得了第三方机构与客户的高度认可。

有着丰富的数据存储、管理与分析工具，亚马逊也在从Orcale上将其高达75PB的数据库数据迁移到自身AWS云服务中。据了解，这一系列操作背后，亚马逊实现了数据库费用成本减少60%、管理成本减少70%，性能增加40%的整体提升。特别是亚马逊内部已经使用数据湖这一服务，存储了100PB的数据，每天进行中的分析任务多达60万件，而这已经成为亚马逊的核心竞争力之一。

另外，美国的金融监管机构FINRA、纳斯达克交易所都已经成为AWS数据湖的忠实用户，每天处理着数以亿计的事件。为什么企业会选择AWS数据湖，AWS首席云计算企业战略顾问张侠博士一句概括十分到位，数据湖既好用又高效又全面又安全，又能满足多种多样的需求，并且AWS的创新都在围绕着客户进行。

而安全性可靠性，我想对于许多企业而言将会是选择云服务的首要标准。张侠博士指出，数据湖的安全性、合规性，包括可审计性，都有非常好的保证。而这体现在S3、DynamoDB等介质的数据存储过程中，数据在存取时都将以加密的方式进行，并且客户自身掌握密钥。而S3的11个9的数据持久性，可以有效降低数据的丢失率。而与之相对应的，数据操作认证工具，可以及时定位数据操作的合规性。本着合规合法的理念，AWS将为客户提供安全可靠的数据存储、分析能力。