【SDCC讲师专访】百度运维部高级工程师胡东旭:BDRP的底层设计以及核心模块的研发...

本文主要是介绍【SDCC讲师专访】百度运维部高级工程师胡东旭:BDRP的底层设计以及核心模块的研发...,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

由CSDN举办的SDCC 2016 将于3月18-19日在上海隆重召开。届时,百度运维部高级工程师胡东旭将在数据库核心技术与实战应用峰会中带来《Redis在百度的运用实战》的主题分享,欢迎大家前来现场聆听【点击这里抢票】。


图片描述

百度运维部高级工程师 胡东旭

百度运维部高级工程师,主要负责地图/糯米的基础组件研发(Redis,Nginx等)。有丰富的Cache运维经验,曾主导百度BDRP(Baidu Distributed Redis Platform)的底层设计以及核心模块的研发–目前BDRP已在整个百度公司内得到广泛使用。

以下为CSDN对胡东旭先生的个人专访内容,下面就让他分享BDRP的底层设计以及核心模块的研发,和如何才能成为一名优秀技术人。以下为专访内容:

CSDN:首先请您简单介绍下自己、公司以及目前所负责的领域。

胡东旭:我是百度运维部高级工程师胡东旭,13年毕业于武汉理工大学,加入百度运维部后主要负责地图以及糯米的Cache存储(Redis、Mognodb等)运维以及研发、目前专注在产品线的前端接入方向(速度优化、防劫持等)。

CSDN:您担任百度运维部高级工程师期间,给您留下最深刻的人或事有哪些呢?

胡东旭:糯米是14年Q1割接到百度机房,稳定性由最开始接手时候的两个9都不到做到了现在4个9,当中离不开大家的努力。组织上成立了糯米运维保障执行团队,每次大型活动,相关运营/RD/QA/OP都会齐心协力为活动保驾护航。

CSDN:据我了解,您曾主导百度BDRP( Baidu Distributed Redis Platform)的底层设计以及核心模块的研发,在研发期间遇到了哪些技术难点和挑战?

胡东旭: 1. 技术难点其实也是由糯米活动所引发的,背景是:糯米活动组织越来越频繁,并且流水也逐渐升高,那么在活动期间的峰值流水很可能是平日期间的5-10倍,那么要在如此强度下仍然保障可靠的稳定性,就需要服务有高效的止损手段/预案。而BDRP之前是没有考虑到止损效率,而运维部要求这一层的止损能力要在1分钟内完成,这一环如果不能完成,那么糯米的止损能力就相当于缺了一条腿。

2.因而对于BDRP而言,如何做到1分钟止损,这本身就是一个不小的挑战。

CSDN:那么,您能具体和我们谈谈BDRP具体应用在哪些场景下?他们实现的原理又是什么?

胡东旭: 1. BDRP应用的场景十分之多,一般分为两种类型,一种是Cache类,例如地图的索引信息则存放在Redis内,另一类是当作存储类型使用,例如糯米的团单详情信息是存在Redis内的。

2.当作Cache使用的,一般多为QPS高,数据频繁更新的服务,而且多半都会利用Redis的key淘汰策略。

3.而当作存储类型使用的,一般是看中Redis较为轻量级,易上手,比别的NoSQL支持的数据结构类型更多,并且开发模式比使用MySQL更加简易。

CSDN:据我了解,您对Cache运维有着丰富的经验,那么您能和我们具体谈谈吗?

胡东旭: 1.Cache运维我主要还是说Redis。

2.Redis的运维其实主要需要关注这么几个方向:

(1)在RD调研Cache/存储选型的时候,就介入进来,或者说你给RD有好的准入标准,可供评估。(好的准入,是为了让RD弄明白他的项目中需要哪种合适的Cache/存储);
(2)其次,对Redis而言,所有的常用配置,基本原理,得做到心中有数;
(3)Cache运维并不是无脑式操作,你要做到心中有数,平日抽空多读源码;
(4)除了原理以外,运维上也有许多事情需要完成的,例如监控以及预案。一定要确保监控项覆盖全面,但是从另外一个角度来说,想100%覆盖所有监控,这个的确不容易,所以就需要有应对故障的策略/预案,并且定期频繁演练,确保你的预案足够健壮。

CSDN:您近期还会关注哪些技术热点?
胡东旭:从底层而言,主要还会关注Docker等容器化技术;从前端技术而言,还会关注用户访问速度优化等topic,例如google的AWP技术等等。当然,这些需求其实都源于产品线。我更加推崇的是离业务更近一点,带着产品线的需求而做技术/架构的变革,而不仅仅只是为了追求某项技术而研发。

CSDN:您认为作为一名优秀的技术人应该具备哪些素质?

胡东旭: 1.嗅觉敏锐:你必须得时刻关注产品线需求,开源社区的热门技术/国外优秀的技术前沿论文。

2.自驱力:时刻给自己充电,要不就落后于他人。

3.团队协助:很多项目是需要一个团队,甚至多个团队一些协助完成的,一个单兵能力再强也有很大的局限性。

4.共享信息与乐于助人:有好的idea/技术,不要私藏,要学会分享,发扬出来。

5.敢于挑战他人以及接受别人的挑战:在挑战中不断成长,才不会当井底之蛙。

6.不盲从:以数据说话。

CSDN:在本次SDCC数据库峰会上分享的话题是?

胡东旭:我本次在峰会上分享的题目是关于BDRP的架构原理以及实际运用场景。

CSDN:您最期待在本次SDCC数据库峰会上听到哪些内容?

胡东旭:我希望听到更多业内对数据库应用方面的实践,比如像阿里的RDS等等。


SDCC的精彩正在继续,2016年3月18日-19日,数据库核心技术与实战应用峰会、互联网应用架构实战峰会将在上海召开,我们静候您的到来。大会官网(含购票)

这篇关于【SDCC讲师专访】百度运维部高级工程师胡东旭:BDRP的底层设计以及核心模块的研发...的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/730709

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

跨国公司撤出在华研发中心的启示:中国IT产业的挑战与机遇

近日,IBM中国宣布撤出在华的两大研发中心,这一决定在IT行业引发了广泛的讨论和关注。跨国公司在华研发中心的撤出,不仅对众多IT从业者的职业发展带来了直接的冲击,也引发了人们对全球化背景下中国IT产业竞争力和未来发展方向的深思。面对这一突如其来的变化,我们应如何看待跨国公司的决策?中国IT人才又该如何应对?中国IT产业将何去何从?本文将围绕这些问题展开探讨。 跨国公司撤出的背景与

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

怎么让1台电脑共享给7人同时流畅设计

在当今的创意设计与数字内容生产领域,图形工作站以其强大的计算能力、专业的图形处理能力和稳定的系统性能,成为了众多设计师、动画师、视频编辑师等创意工作者的必备工具。 设计团队面临资源有限,比如只有一台高性能电脑时,如何高效地让七人同时流畅地进行设计工作,便成为了一个亟待解决的问题。 一、硬件升级与配置 1.高性能处理器(CPU):选择多核、高线程的处理器,例如Intel的至强系列或AMD的Ry

基于51单片机的自动转向修复系统的设计与实现

文章目录 前言资料获取设计介绍功能介绍设计清单具体实现截图参考文献设计获取 前言 💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业的大学生,希望您们都共创辉煌!✌💗 👇🏻 精彩专栏 推荐订阅👇🏻 单片机