智能分析平台叠加AI,观远数据行业首发「AI预测引擎」

2023-10-24 15:59

本文主要是介绍智能分析平台叠加AI,观远数据行业首发「AI预测引擎」,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前两篇我们为大家梳理了AI的演进路程以及需求预测在AI+零售命题中的行业洞察,均取得了不错的反响。在广大粉丝热烈的呼声当中,该系列笔者观远产品天团-小刚同学马不停蹄,为我们带来了AI企划的第三篇文章。本篇,他将首次公开观远智能分析平台上「AI预测引擎」的神秘面纱!

作为观远数据今年重磅推出的新模块,「AI预测引擎」不仅仅引入了先进的AI预测算法,更将观远数据团队多年与诸多500强企业合作中沉淀的、符合本土日历特征的零售数据预测经验预置进了算法模型里面,同时结合观远智能分析平台,为本土零售企业提供从数据接入、整理、预测到展现的端到端整体解决方案。

智能分析平台叠加AI,观远数据行业首发「AI预测引擎」

话不多说,切入正题

观远数据已经帮助联合利华、百威英博等多家500强客户实施需求预测,有大量的零售领域数据预测经验。我们看到,500强企业之所以愿意花上百万,甚至大几百万来做AI预测项目,是基于其庞大的业务体量来评估ROI后作出的选择:

• 一方面,高质量的数据预测确实需要专业的数据科学家和分析人员深入了解业务场景,不断迭代优化预测模型,经过长时间的锤炼才能获得;

• 另一方面,当业务规模足够大时,细微的预测准确度的提升都能给企业带来巨额的利润回报。

但同时,我们也意识到,不是任何企业都有这个资金实力去做此类高质量的数据预测的,并且在业务需求上也可能仅仅是想做一些初步预测来为决策提供参考。因此,为了满足这类客户的预测需求,观远数据的「AI预测引擎」将为他们提供 入门级的零售预测操作门槛,同时又能为他们提供 比一般的统计预测方法更精准的预测结果!

什么是观远数据「AI预测引擎」?

了解过观远产品的朋友们都知道,观远数据在BI平台里面内置了Smart ETL智能数据处理模块。该模块基于Spark大数据计算引擎开发,提供拖拽式、图形化的数据流开发方式,使得一般业务人员也能做专业的数据分析处理。

一般的ETL过程整理主要做的是数据的清洗、转换、关联、加载等操作,那观远的Smart ETL何以称之为智能呢?这是因为Smart ETL中除了支持Spark本身自带的函数之外,还支持自定义的UDF、UDAF函数开发,具有非常强大的智能算子扩展能力。

举个例子,如果你想挖掘商品间的潜在联系,开拓更多销售机会,你就可以使用Smart ETL内置的“关联性挖掘”这个智能算子来快速实现商品销售关联分析。

而「AI预测引擎」则是另一个重要的智能算子。你可以用它来做各种级别的销售预测,大到门店,小到品类,甚至SKU的预测。有了这些可靠的销售预测的数据,你将实现:

降低库存金额:对于库存成本较高的零售企业,通过销售预测来指导进货与库存,在保证供给的前提下,进一步降低库存金额,降低成本。

降低报废风险:对于可售时长比较短的商品(比如水果、面包、鲜食),通过精准的销售预测,来指导备货,降低报废率(并不是追求零报废),节约成本。

把握销售机会:对于潜在的销售机会,比如节日、活动、天气变化等,通过销售预测来指导提前备货,充分把握销售机会,最大化销售额。

指导排产、配送:对于可以做到自产自销的零售企业来说,准确的销售预测,还能够将预测数据倒推到生产、配送环节,指导排产、物流。

指导人员配置,优化排班:通过分时段的销售预测,来指导门店进行更为合理的数据化排班,最大化地利用人力成本,同时保障客户消费体验。

评估销售目标的进度:通过对当前累计销售额与未来销售预期的预测分析,评估销售目标的完成进度与质量。有需要的还可以及时调整销售目标,做到敏捷运营。

增强客户体验:通过进销存各个环节的预测,增强客户体验,避免各类因缺货、延迟交货、延迟发货等情况导致的客户消费体验下降的情况发生。

智能分析平台叠加AI,观远数据行业首发「AI预测引擎」

「AI预测引擎」智能算子

在观远Smart ETL中,用户仅需要拖入一个「AI预测引擎」算子,接入事先预处理好的历史数据,然后简单配置日期字段、预测指标,以及指标聚合维度(日/周/月/季度/年)和预测周期数,便可开始预测。预测结果可以输出到数据集进行下一步的展示分析与决策支持。

智能分析平台叠加AI,观远数据行业首发「AI预测引擎」

「AI预测引擎」节点配置

观远数据的「AI预测引擎」主要适用于零售企业的销售预测或需求预测。上图所示只是一个极简模式的预测算子。但即便配置如此简单,却能输出相当精准的预测结果。

• 对 零售行业门店级别(以超市数据为例)的日商预测平均准确度达到 83%(MAPE≈17.65%),个别门店 接近 90%;

• 而细化到 单门店单品类(鲜肉类)的日商预测,准确度达到84%。

在这个基础上,我们还能提供更多配置项,添加诸如天气情况、促销活动、品类级别的日期特征等外部信息,进一步提升数据预测的准确度;同时也可以提供多门店、多品类的批量预测。

架构解密

为什么如此简单的操作,便能实现还不错的销售数据预测呢?

这是因为架构层面观远数据将预测算法封装成Spark UDF函数,有机地融合进Smart ETL,成为一个可点选配置的智能算子;算法层则采用了先进的算法,并将观远数据多年沉淀的零售行业预测经验转化为相应日期特征优化配置后预置进算法包里。

如此一来,看似简单的时序预测,其实已经包含影响零售行业销售数据的周期性特征、节假日特征以及节前节后特征,这样的预测自然是要比一般时序预测方法准确度提升不少了。

未来,我们还会根据不同品类的消费特征,分别给予不同的品类特征日历,进一步提升品类甚至SKU级别的预测准确度。同时,还可以增加天气作为额外特征,这样对于一些极端天气情况下的销售预测也会进一步提升准确度了。

算法解密

具体到算法层面,为什么观远的AI智能预测算法能够比市面上通用的预测算法在预测准确度上再提升一个层级呢?

首先我们来看一般时序预测工具中常用的ARIMA模型(Autoregressive Integrated Moving Average Model)。它是一种结合自回归与移动平均方法进行预测的模型,要求时序数据是稳定的,或者通过差分化后是稳定的,一般来说很难符合现实数据的情况。与之类似的还有GARCH模型等传统时序方法,大都只能进行单变量的建模,局限性较大。

近年来涌现出更多复杂时序模型,以便解决实际业务中的复杂情况。例如比较有代表性的TBATS的预测模型,结合了Box-Cox转换,趋势拟合,ARMA建模,周期性分析等复杂技术手段来进行建模预测。它实际上是一种状态空间模型(State Space Model)的算法实现,类似的还有隐马尔可夫模型,RNN等也都属于此类。这类模型主要限制是参数繁多,计算量大,在大规模时序预测时往往需要花费很大的计算成本实现。

那零售行业现实状况是怎样的呢?我们不妨先来看看零售数据本身具有的一些特征:

趋势特征:一般销售数据在一个比较长期的时间范围内,具有整体增长或下滑的趋势特征。
周期特征:销售数据具有明显的周期性和季节性。
非规律性的节假日特征:节假日及节假日前后对销售数据有显著影响。
各类外部因素影响:促销活动、天气、搜索指数、销售指标等因素也会显著影响销售数据。
数据稀疏性:一般零售行业的SKU,门店等维度的组合会非常巨大,但每个组合中的时序数据数量往往比较有限。

基于直观的理解,我们就可以发现简单的ARIMA模型与复杂的状态空间模型对于零售数据的预测都有一定的局限之处。而观远数据则是根据具体的业务数据情况,结合使用高效的广义累加模型和状态空间模型,统筹考虑零售时序数据的趋势性、周期性,并加入对节假日及促销、天气等可预测波动因素的分析,给出综合预测结果,可以说这是一个专门为零售预测而生的算法模型!

预测结果的可视化呈现

观远数据对预测数据呈现做了定向优化,对实际数据与预测数据进行了颜色和线型的区分,并添加了预测数据的置信区间,提供时间轴的缩略展示。

智能分析平台叠加AI,观远数据行业首发「AI预测引擎」

「AI预测引擎」数据展示

小结
本文给大家介绍了集成在观远BI平台内的「AI预测引擎」功能的架构设计与算法实现方案,感兴趣的同学欢迎点击文末阅读原文提交免费试用申请。

下一篇我们将给大家介绍更多观远数据在AI领域的实际落地案例与应用效果,欢迎持续关注!

转载于:https://blog.51cto.com/14211202/2376219

这篇关于智能分析平台叠加AI,观远数据行业首发「AI预测引擎」的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/276272

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统