中国互联网技术联盟正式成立 京东、美团、 58到家现场分享推荐系统核心技术

本文主要是介绍中国互联网技术联盟正式成立 京东、美团、 58到家现场分享推荐系统核心技术,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

12月19日,中国技术开放日暨中国互联网技术联盟(ITA)启动仪式在北京国家会议中心举行。京东技术学院院长阿朱(原明源软件CTO)、美团技术学院院长刘江(原CSDN总编)及来自联盟企业的多位CTO共同见证了这一刻。

中国互联网技术联盟(ITA)正式启动 


京东技术学院院长阿朱(原明源软件CTO)

京东技术学院院长阿朱,作为中国互联网技术联盟的发起人之一,在启动仪式上讲述了该联盟成立的背后故事。他表示中国互联网技术联盟致力于打造中国更具实效价值的技术研讨、技术推广、技术创新,帮助联盟成员提升在业内的核心技术竞争力和影响力。其主要特色在于免费,且聚焦精英企业。同时他还发布了该联盟未来众多的行动计划。

 

作为联盟的另一位发起人,美团技术学院院长刘江在发言中,通过回顾美团在千团大战中胜利突围的故事,表达了技术对企业成功的重要性。该联盟将十分重视行业技术交流,带来更高层次的技术分享。

 

中国互联网技术联盟运营秘书长谢工介绍了联盟成员的加入及退出机制,及联盟成员的义务。

接下来来自58到家、京东、美团的多位技术专家给参会技术人员分享了各自企业以数据为驱动的个性化推荐的最佳实践。

首先,58到家数据部数据挖掘组负责人王洪权带来了《58到家的推荐系统与推荐技术》主题演讲,分享了推荐系统的选型经验。他表示个性化推荐并不等同于协调过滤,在实际应用中往往可将多种推荐方式结合使用。它被广泛采用因为其有着不依赖产品属性的优势,但同时面临着数据稀疏性、冷启动带来的问题、挑战。同时他还提出了企业在做推荐时可能会遇到诸多问题,如数据量大且动态变化、推荐的精确性和多样性往往难以兼得等。


58到家数据部数据挖掘组负责人 王洪权 

接着,京东推荐平台在线算法组负责人王志勇在演讲中介绍了京东个性化推荐整体框架。个性化推荐离不开在线数据的获取与存储,他详细介绍了京东存储架构所经历的1.0至3.0的演变过程,及每个阶段使用的主要技术。存储1.0,采用Hbase集群作为底层模型数据据存储;Redis集群作为Hot数据的高速缓存;部分关键业务数据pre-load至Redis集群。但因它存在一定的局限,京东自主研发了更好性能的存储系统,即存储2.0,它采用Jim(Jingdong In Memory DB)为内存中心,全管理服务化的数据库,推出故障检测和自动的Failover,支持re-sharding,同时利用RAM+SSD做混合的两级存储。现在京东的存储架构已发展至存储3.0,其Lucene Index使用开源的Stratio Cassandra-Licene-index,将索引服务和特征存储服务融合在相同集群中,同时减少PRC调用次数据,提升召回性能,使服务器资源利用率提高。数据获取后需进行排序,接着他重点介绍了在线Rank架构。

 

京东推荐平台在线算法组负责人 王志勇 

随后,美团高级技术专家曹浩在《O2O领域个性化精准推荐》主题演讲中展示了美团推荐系统的全景图,并从实时推荐,用户、场景建模,Learning to Rank,Interleaving小流量实验机制四个方面介绍了美图推荐核心技术。

 

美团高级技术专家 曹浩 

他表示美团做实时推荐面临着多方面的挑战,如10亿级别推荐系统调用,要求实时计算等,为了解决这些难题,美团采用了负载均衡、并行计算、实时流数据处理等技术手段。接着他介绍了什么是排序学习方法(Learn to Rank)及美团排序模型。他表示美团排序模型经历了人工规则排序、线性模型排序、非线性模型排序三个阶段,非线性模型排序具有自动特征处理、拟合能力更强、适合于多个分数融合的优点,同时它的缺点是训练和预测要慢于线性模型。现在美团采用的是组合模型,利用Tree Model进行未来学习,通过LR进行实时更新。

最后一个演讲来自京东资深技术专家杨骥,他的演讲主要包括京东个性化推荐算法框架、基于矩阵分解的召回、基于图像引擎的召回、排序学习实践四个方面的内容。他表示基于矩阵分解的召回可分六步走,即(1)收集用户行为,包括点击、加购、关注、下单等;(2)对行为进行过滤,比如join(白名单),统计截断,多次加/删购等处理;(3)制定行为评分规则,生成评分矩阵;(4)训练矩阵分解模型;(5)场景过滤;(6)导入缓存。

 

京东资深技术专家 杨骥 

针对基于图像引擎的召回模型,他表示它的数据来源为全站主图,可采用提取特征,图与图之间进行匹配的处理方式,其优点在于只考虑商品的“颜值”,降低了热销影响,同时增加了推荐结果的多样性。每讲一个技术方向,他都结合了具体案例进行现场分析。

这篇关于中国互联网技术联盟正式成立 京东、美团、 58到家现场分享推荐系统核心技术的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/690372

相关文章

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

Golang操作DuckDB实战案例分享

《Golang操作DuckDB实战案例分享》DuckDB是一个嵌入式SQL数据库引擎,它与众所周知的SQLite非常相似,但它是为olap风格的工作负载设计的,DuckDB支持各种数据类型和SQL特性... 目录DuckDB的主要优点环境准备初始化表和数据查询单行或多行错误处理和事务完整代码最后总结Duck

Golang的CSP模型简介(最新推荐)

《Golang的CSP模型简介(最新推荐)》Golang采用了CSP(CommunicatingSequentialProcesses,通信顺序进程)并发模型,通过goroutine和channe... 目录前言一、介绍1. 什么是 CSP 模型2. Goroutine3. Channel4. Channe

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜:从开发到生产的心理准备与检查清单环境搭建:打造稳固的应用运行平台自动化流水线:让部署像

C#读取本地网络配置信息全攻略分享

《C#读取本地网络配置信息全攻略分享》在当今数字化时代,网络已深度融入我们生活与工作的方方面面,对于软件开发而言,掌握本地计算机的网络配置信息显得尤为关键,而在C#编程的世界里,我们又该如何巧妙地读取... 目录一、引言二、C# 读取本地网络配置信息的基础准备2.1 引入关键命名空间2.2 理解核心类与方法

Golang使用etcd构建分布式锁的示例分享

《Golang使用etcd构建分布式锁的示例分享》在本教程中,我们将学习如何使用Go和etcd构建分布式锁系统,分布式锁系统对于管理对分布式系统中共享资源的并发访问至关重要,它有助于维护一致性,防止竞... 目录引言环境准备新建Go项目实现加锁和解锁功能测试分布式锁重构实现失败重试总结引言我们将使用Go作

Spring Boot 中整合 MyBatis-Plus详细步骤(最新推荐)

《SpringBoot中整合MyBatis-Plus详细步骤(最新推荐)》本文详细介绍了如何在SpringBoot项目中整合MyBatis-Plus,包括整合步骤、基本CRUD操作、分页查询、批... 目录一、整合步骤1. 创建 Spring Boot 项目2. 配置项目依赖3. 配置数据源4. 创建实体类

Python中列表的高级索引技巧分享

《Python中列表的高级索引技巧分享》列表是Python中最常用的数据结构之一,它允许你存储多个元素,并且可以通过索引来访问这些元素,本文将带你深入了解Python列表的高级索引技巧,希望对... 目录1.基本索引2.切片3.负数索引切片4.步长5.多维列表6.列表解析7.切片赋值8.删除元素9.反转列表

Java子线程无法获取Attributes的解决方法(最新推荐)

《Java子线程无法获取Attributes的解决方法(最新推荐)》在Java多线程编程中,子线程无法直接获取主线程设置的Attributes是一个常见问题,本文探讨了这一问题的原因,并提供了两种解决... 目录一、问题原因二、解决方案1. 直接传递数据2. 使用ThreadLocal(适用于线程独立数据)

Python中处理NaN值的技巧分享

《Python中处理NaN值的技巧分享》在数据科学和数据分析领域,NaN(NotaNumber)是一个常见的概念,它表示一个缺失或未定义的数值,在Python中,尤其是在使用pandas库处理数据时,... 目录NaN 值的来源和影响使用 pandas 的 isna()和 isnull()函数直接比较 Na