【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下)

2023-10-23 08:50

本文主要是介绍【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【SDCC 2016现场】数据库核心技术与实战应用峰会实录(上)

摘要:数据库核心技术与实战应用峰会下午继续进行中,来自上海热璞CTO金官丁、阿里巴巴高级技术专家沈春辉、AdMaster技术副总裁兼总架构师卢亿雷、饿了么DBA经历虢国飞、七牛云技术总监陈超详细剖析了各自在数据库领域的实践经验。

【CSDN现场报道】2016年3月18日-19日,由CSDN重磅打造的互联网应用架构实战峰会、数据库核心技术与实战应用峰会在上海光大会展中心国际大酒店隆重召开。作为SDCC 2016(中国软件开发者大会)系列技术峰会的一部分,大会秉承干货实料的内容原则,这两场峰会将邀请业内顶尖的架构师和技术专家,共同探讨高可用/高并发系统架构设计、新技术应用、移动应用架构、微服务、智能硬件架构、云数据库实战、新一代数据库平台、产品选型、性能调优、大数据应用实战等领域的话题与技术。

下午13:30,数据库核心技术与实战应用峰会在AdMaster技术副总裁兼总架构师,大数据资深专家卢亿雷的主持下继续进行,来自上海热璞、阿里巴巴、AdMaster、饿了么、七牛的资深数据库专家分享了各自在数据库领域中的实战经验。

上海热璞网络科技有限公司CTO 金官丁:分布式数据库技术架构的演变与发展方向

金官丁老师这次主要分享关于分布式数据库技术架构分类、企业为何需要分布式数据库、分布式数据库的技术架构演变、及分布式数据库技术架构的未来方向。

图片描述

上海热璞网络科技有限公司CTO 金官丁

首先详细介绍了分布式数据库技术架构的分类。并针对企业为何需要分布式数据库进行了深度的剖析,他认为,企业支撑有限、成本过高和依赖严重,都是造成企业需要分布式数据库的原因。

图片描述

金官丁老师还列举了电信行业、快递物流行业等典型的企业业务场景,深入分析了这些典型企业的业务流程。他就分布式数据库的技术架构未来发展方向,提出了自己的观点,并对数据库行业十三五进行了深度的预测:中小企业数据库公有云化、实力派中型和大型企业数据库私有云化、分析型数据库、自主研发与开源数据库融合毒霸天下、分布式数据库技术像虚拟化一样普及、国产数据库进入死亡期这六大预测。

阿里巴巴高级技术专家 沈春辉:高可用HBase的技术实践

阿里巴巴高级技术专家沈春辉带来了《高可用HBase的技术实践》,在本次演讲中主要分享阿里在保障HBase服务高可用方面的一些工作,包括MTTR、MTBF、冗余切换等角度的实践与软件改进,让大家深度的了解HBase。

图片描述

阿里巴巴高级技术专家 沈春辉

对HBase在阿里的应用场景:
1.结构化数据在线存取;2.高吞吐数据写入;3.海量数据实时写入与查询;4.实时流计算的底层存储。

图片描述

从专业的角度深度分析了MTBF和MTTR,集群规模、系统压力、故障范围、故障缘由都是影响MTTR因素,而升级、变更、迁移、容量、用户不规则活动、软件不够健壮则是影响MTBF的因素。在演讲的尾声,又对冗余切换进行了深入的讲解。

AdMaster技术副总裁兼总架构师卢亿雷:ElasticSearch分析与实践

作为今天数据库峰会的主持人,AdMaster技术副总裁兼总架构师卢亿雷为我们带来了《ElasticSearch分析与实践》的主题分享,主要从ElasticSearch特点及生态圈、Lucence原理、ElasticSearch架构和插件、ElasticSearch管理和监控工具、ElasticSearch应用案例、ELK实践这六大方面进行分享。

图片描述

AdMaster技术副总裁兼总架构师 卢亿雷

针对ElasticSearch架构和插件:分词插件、同步插件、数据传输插件、脚本插件、Alert和Shield进行了详细的介绍。

图片描述

着重分析了ElasticSearch应用案例的测试条件:
1.记录条数分为100亿以内和1000亿条
2. 服务器数量为70台,配置为:CPU 12核,内存96G,硬盘48T
3. 测试语句:select count(*) from test where age > 25 and gender 0 and os > “500” and sc in
(“0001009”,”0002036”,”0016030”,”…”) or bs>585 and group
by age,gender,os,bs
4.总共14列(200列):动态列为3列(多值列),普通列为11列。

饿了么DBA经理虢国飞: 饿了么数据库架构变迁

饿了么DBA经理虢国飞针对了一些中小型公司没有高大上的工具,如何才能做好数据库架构提出了一些探讨。并分享了饿了么在数据库架构方面的调整变化,以及每个阶段所面临的问题和应对策略;包括跨机房的数据搬迁和升级、数据库面临的瓶颈、数据库拆分的方案、迁移过程的灰度和回滚方案、数据校验等机制。

图片描述

饿了么DBA经理 虢国飞

在饿了么的数据架构方面的调整,开始阶段数据库架构,存在较多的问题:磁盘的不足、主从延时、连接数不足、SlowSQL打垮集群、无从自动容机制等。

图片描述

在垂直拆分阶段为了满足300万单的容量规划而做的架构调整,主要做了以下改进:1.将核心业务集群从一套拆分到5套;2.根据收集的数据规划每个集群的Instance数量,一共分19个;3.最大难点就是如何有效的推动业务改造。在Sharding阶段改进如下:1.将数据按2个维度进行拆分,支持用户和商家两个方向的查询;2.将核心DB的表Sharding成120个分片,分配到12套装集群里面。

七牛云技术总监陈超:InfluxDB的架构演进

七牛云技术总监陈超,一直专注于分布式计算与机器学习等领域,有非常丰富的分布式系统设计与实现的经验,在分布式数据库方面也有深入研究。本次分享主要介绍的是InfluxDB的原理与架构,并且会指出InfluxDB存在的“坑”。

图片描述

七牛云技术总监 陈超

首先给我们带来了InfluxDB在DB—Engines Ranking of Time Series DBMS 相关排名,如下:

图片描述

主要从InfluxDB的基础概念、如何使用InfluxDB、集群设计和存储引擎几方面进行了详细分析与介绍。

大会直播地址:http://special.csdncms.csdn.net/SDCC2016/

这篇关于【SDCC 2016现场】数据库核心技术与实战应用峰会实录(下)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/266795

相关文章

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

Pandas使用SQLite3实战

《Pandas使用SQLite3实战》本文主要介绍了Pandas使用SQLite3实战,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录1 环境准备2 从 SQLite3VlfrWQzgt 读取数据到 DataFrame基础用法:读

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

mysql数据库重置表主键id的实现

《mysql数据库重置表主键id的实现》在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,本文主要介绍了mysql数据库重置表主键id的实现,具有一定的参考价值,感兴趣的可以了... 目录关键语法演示案例在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,当我们

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda

Spring Boot 整合 MyBatis 连接数据库及常见问题

《SpringBoot整合MyBatis连接数据库及常见问题》MyBatis是一个优秀的持久层框架,支持定制化SQL、存储过程以及高级映射,下面详细介绍如何在SpringBoot项目中整合My... 目录一、基本配置1. 添加依赖2. 配置数据库连接二、项目结构三、核心组件实现(示例)1. 实体类2. Ma