大数据之路、阿里巴巴大数据实践读书笔记 --- 第四章、离线数据开发

本文主要是介绍大数据之路、阿里巴巴大数据实践读书笔记 --- 第四章、离线数据开发，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

阿里巴巴的数据计算层包含两大体系：

• 数据存储以及计算平台

• • 离线计算平台MaxCompute

  • 实时计算平台StreamCompute

• 数据整合以及管理平台

• • OneData

 

 

研发岗位的大致包括为：

1. 了解需求

2. 模型设计

3. ETL开发

4. 测试

5. 发布上线

6. 日常运维

7. 任务下线

 

与传统的数据仓库开发（ETL）相比，阿里数据研发特点：

• 业务变更频繁

• 需求快速交付

• 频繁发布上线

• 运维任务多

• 系统环境复杂

 

MaxCompute是由阿里云自主研发的海量数据处理平台，主要服务于海量数据的存储和计算，提供完善的数据导入方案，以及多种经典的分布式计算模型，提供海量数据仓库的解决方案，能快速地解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

 

Max

这篇关于大数据之路、阿里巴巴大数据实践读书笔记 --- 第四章、离线数据开发的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---