Uber如何使用Go打造了Uber QPS最高的服务

2024-05-05 23:38

本文主要是介绍Uber如何使用Go打造了Uber QPS最高的服务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Uber如何使用Go打造了Uber QPS最高的服务


 2015年初,我们建立了一个微服务来负责这项任务:地理围栏查找(geofence lookups),结果完成很出色。如今已过一年,这项技术在Uber数以百计的生产应用中脱颖而出,成为了每秒查询量最高(QPS)的服务。本文讲述了我们建立这个服务的原因,还有近来Go语言对构建和扩展该服务速度的贡献。

  背景

  在Uber,地理围栏指的是地面上由人为定义的地理区域(或几何术语中的多边形),广泛用于地理位置的配置中。向用户展示在指定位置上有哪些产品可用,根据特定需求(比如机场)定义区域,在同时有多人请求搭车的周边区域执行动态定价,这些都非常重要。下图是位于科罗拉多州的一个地理围栏样例:

  

  第一步是检索地理位置的配置,根据用户的手机定位,查找经纬度之类的信息,以确定该位置处于哪个地理围栏中。这个功能曾经在多个服务/模块中都有实现,不过随着从单体架构迁移到面向(微)服务架构,我们选择将这个功能集成在新的单体微服务中。

  准备出发!

  根据我们的评估,那时最适合市场团队的语言是Node.js,因为我们在这种语言上有更多的内部知识和经验。但是,出于下面这些原因,Go更符合我们的需求:

  高吞吐量、低延迟的需求:从Uber移动应用发出的每个请求都需要查找地理围栏,而且必须在很短时间内(第99个百分位< 100毫秒)快速对大量(每秒成千上万个)查询作出响应;

  CPU密集型的工作负载:地理围栏查找需要使用大量占用CPU资源的算法来查找点是否在多边形内(point-in-polygon)。尽管Node.js在输入/输出密集型的服务中使用效果良好,但由于Node本质上属于解释型和动态类型的语言,在这种用例中并非最佳选择;

  无干扰后台加载:为了确保我们获取并执行查找的地理围栏数据是最新的,该服务必须后台读取多个来源的数据,持续刷新内存中的地理围栏数据。由于Node.js是单线程的,后台刷新会在相当长的时间内占用CPU(例如CPU密集型的JSON解析工作),从而延迟对查询的响应时间。对于Go来说这不是问题,用goroutines就可以通过多核CPU执行,后台任务与前台查询并行执行。

  Geo索引:用还是不用,这是个问题

  我们如何根据经纬度指定的位置,在成千上万个地理围栏中查找它属于其中的哪一个?使用简单匹配算法(brute-force)非常简单:只要一一查看所有地理围栏,并使用算法(比如光线投射算法)进行点是否在多边形内的比对。不过这个办法速度太慢。那么,如何有效地缩小搜索范围呢?

  我们没有使用R-tree或复杂的S2算法,而是选择了更简单的办法来找出地理围栏:Uber的商业模型是以城市为中心的,其商业规则还有定义商业规则的地理围栏一般都与城市密切相关。这样我们就可以将地理围栏分为两种层级,第一层是城市地理围栏(定义城市边界的地理围栏),第二层是城市间的地理围栏。

  每次查找,我们首先会通过线性扫描,查找所有的城市地理围栏,定位所在城市;然后再次通过线性扫描,找出其中包含的地理围栏。根据该解决方案的复杂程度,运行时长为O(n),n被大幅缩减到100s到10000s的数量级。

  架构

  我们希望这项服务是无状态的,以便适用于所有请求;同时在所有的服务实例中,每个请求的结果相同。这意味着每个服务实例都必须有全世界的信息,而不是某个分区的。我们使用确定性轮询调度,确保来自不同服务实例的地理围栏数据保持同步。这样一来,该服务的架构就非常简单了。后台任务定期对不同的数据库的地理围栏数据进行轮询,并将这些数据存储在主内存中,为查询提供服务;同时序列化到本地文件系统中,在服务重启时快速引导载入:

  

  上图是我们的地理围栏查找服务架构。

  处理Go内存模型

  我们的架构需要读取/写入并发访问内存中的geo索引,特别是:在前台查询引擎从索引读取时,后台轮询任务会对索引执行写入。对于习惯Node.js单线程的用户来说,Go的内存模型可能会构成挑战。在Go中,常用的方式是通过goroutines与channels同步并发读取/写入任务,出于对性能负面影响的担心,我们尝试使用sync/atomic数据包的StorePointer/LoadPointer基元自行管理内存屏障,却导致代码脆弱且难以维护。

  最后我们进行了妥协,使用读写锁来同步到geo索引的访问。为了将锁定等待的时间减到最短,在转到主索引之前,我们另外构建了新的索引区段为查询提供服务。使用锁定导致查询的延迟相对于StorePointer/LoadPointer的办法来说有稍许增加,不过在我们看来利大于弊:代码简单化和可维护性的好处值得用稍许性能来换。

  我们的经验

  回顾之前的工作,我们非常庆幸选择了Go这种新语言来编写服务。

  优势:

  开发人员工作效率很高:C++、Java或Node.js开发人员一般只需数日便可学会使用Go语言,而且这种语言的代码易于维护。(多亏了这种语言是静态类型的,免去了很多猜测和意外)。

  吞吐量和延迟表现都很好:仅在我们服务于非中国区的主数据中心上,在2015年新年前夜,该服务所处理查询数据的峰值负载就达到每秒查询量(QPS)17万,40台机器都占用了35%的CPU。第95个百分位响应时间小于5毫秒,第99个百分位响应时间小于50毫秒。

  超级可靠:从一开始该服务的正常运行时间就达到99.99%。唯一一次停机是由于初学者的编程错误,一个文件描述符将bug引入第三方数据库。重要的是:在Go运行时我们还没发现什么问题。

  下一步的未来

  尽管之前Uber的服务大多使用Node.js和Python,但Go语言逐渐成为许多Uber工程服务的新选择。

我自己的项目团队也遇到基于地理位置搜索问题。

参考:

http://mt.sohu.com/20160309/n439830051.shtml


这篇关于Uber如何使用Go打造了Uber QPS最高的服务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/962968

相关文章

Java中String字符串使用避坑指南

《Java中String字符串使用避坑指南》Java中的String字符串是我们日常编程中用得最多的类之一,看似简单的String使用,却隐藏着不少“坑”,如果不注意,可能会导致性能问题、意外的错误容... 目录8个避坑点如下:1. 字符串的不可变性:每次修改都创建新对象2. 使用 == 比较字符串,陷阱满

Python使用国内镜像加速pip安装的方法讲解

《Python使用国内镜像加速pip安装的方法讲解》在Python开发中,pip是一个非常重要的工具,用于安装和管理Python的第三方库,然而,在国内使用pip安装依赖时,往往会因为网络问题而导致速... 目录一、pip 工具简介1. 什么是 pip?2. 什么是 -i 参数?二、国内镜像源的选择三、如何

使用C++实现链表元素的反转

《使用C++实现链表元素的反转》反转链表是链表操作中一个经典的问题,也是面试中常见的考题,本文将从思路到实现一步步地讲解如何实现链表的反转,帮助初学者理解这一操作,我们将使用C++代码演示具体实现,同... 目录问题定义思路分析代码实现带头节点的链表代码讲解其他实现方式时间和空间复杂度分析总结问题定义给定

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个

JavaScript中的reduce方法执行过程、使用场景及进阶用法

《JavaScript中的reduce方法执行过程、使用场景及进阶用法》:本文主要介绍JavaScript中的reduce方法执行过程、使用场景及进阶用法的相关资料,reduce是JavaScri... 目录1. 什么是reduce2. reduce语法2.1 语法2.2 参数说明3. reduce执行过程

如何使用Java实现请求deepseek

《如何使用Java实现请求deepseek》这篇文章主要为大家详细介绍了如何使用Java实现请求deepseek功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1.deepseek的api创建2.Java实现请求deepseek2.1 pom文件2.2 json转化文件2.2

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本

Android 悬浮窗开发示例((动态权限请求 | 前台服务和通知 | 悬浮窗创建 )

《Android悬浮窗开发示例((动态权限请求|前台服务和通知|悬浮窗创建)》本文介绍了Android悬浮窗的实现效果,包括动态权限请求、前台服务和通知的使用,悬浮窗权限需要动态申请并引导... 目录一、悬浮窗 动态权限请求1、动态请求权限2、悬浮窗权限说明3、检查动态权限4、申请动态权限5、权限设置完毕后

C++ Primer 多维数组的使用

《C++Primer多维数组的使用》本文主要介绍了多维数组在C++语言中的定义、初始化、下标引用以及使用范围for语句处理多维数组的方法,具有一定的参考价值,感兴趣的可以了解一下... 目录多维数组多维数组的初始化多维数组的下标引用使用范围for语句处理多维数组指针和多维数组多维数组严格来说,C++语言没

在 Spring Boot 中使用 @Autowired和 @Bean注解的示例详解

《在SpringBoot中使用@Autowired和@Bean注解的示例详解》本文通过一个示例演示了如何在SpringBoot中使用@Autowired和@Bean注解进行依赖注入和Bean... 目录在 Spring Boot 中使用 @Autowired 和 @Bean 注解示例背景1. 定义 Stud