魅族推荐平台架构解析(三)

2024-03-23 00:58

本文主要是介绍魅族推荐平台架构解析(三),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近线模块

该层主要是利用流式处理的技术对用户实时产生的行为日志进行加工,利用一些高效、高性能的算法生产有价值的数据,如处理算法数据召回、实时数据统计等等。

 

如图,近线模块-流式日志数据传输分为以下几个部分:

  • 数据通过Uxip从移动端、Web端进行收集;
  • 收集后的数据通过Agent转发到Flume进行专线或公网等网络传输;
  • 在中心机房的Flume将日志数据等进行归并传输到MetaMq;
  • 基于MQ消息可以对数据进行流式处理如实时计算、数据落地等等。

 

资源调度管理

如下图,机器动态划分分组,可以按业务进行划分,也可以按照模型资源情况进行划分。


资源调度管理的作用在于:

  • 解决单机重组问题,降低业务之间的相互影响,按照业务对性能的要求及复杂对分配不同的硬件机器。同时能够整合资源,不同大小的配置都可以在集群中得到应用;
  • 解决内存模型存储限制问题,将模型分散到不同的集群中进行横向扩展;
  • 在请求过程中请求根据Master进行动态调度,大型资源加载过程中机器请求自动调度到其它机器,解决大型资源加载过程中对业务的影响

 

在线模块-存储

在存储上实现多样性,根据不同的场景与性能指标采用不同类型的存储组合,实现业务隔离,根据模型的存储情况划分结果,实时调动管理所有分配数据。

 

LocalCache一般用来处理一次请求中访问数据频次超高但数据容量不需要太大的数据,如LR模型数据。

MysqlHbaseRedis这三种存储的选择一般从性能和各自的特性出发点来选择最合适的,各自都是集群的方式,MySql可以按业务数据进行拆分成不同的集群进行访问。

 

离线-机器学习平台

我们的离线-机器学习平台可以呀提供特征工程、统计、训练、评估、预测和模型发布等功能,覆盖机器学习全流程,算法同学可以通过拖拽的方式就能完成模型训练和评估。

其优势在于:

  • 模型训练及评估界面化,与调度平台无缝集成,使得算法离线模型处理及模型发布上线等更加高效简单;
  • 系统集成多种算法可进行逻辑回归LR、聚类Kmeans、模型LDA、协同过滤CF等多种模型训练;
  • 分布式数据处理与计算。

监控告警

整个模型和训练的过程都是处于离线和分布式环境下,监控在整个系统中必不可少。我们的监控告警系统的特点是:

  • 细粒度性能监控,可以细粒度到具体的业务请求接口,从业务QPS、PV量、响应时长(P50.P70,P99,P999…)等;
  • 应用服务器及操作系统各指标监控;
  • 业务指标监控,如算法效果及其它业务指标监控;
  • 监控指标可根据具体的需求扩展。

 

四、魅族推荐平台挑战和愿景

  • 挑战10亿/每天以上在线实时计算请求PV数;
  • 支撑起百亿条/每天的日志进行实时计算,毫秒级别的进行用户模型更新;
  • 支撑更多的特征集计算,同时在线计算响应时长更加的短;
  • 支撑更多的魅族产品线业务;
  • 推荐平台对外开放,能为行业其它的企业提供专业的推荐服务;
  • 深度学习集成。

这篇关于魅族推荐平台架构解析(三)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/836635

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短