微软亚洲研究院推出时空预测开源工具FOST,应对各行业共性预测需求

本文主要是介绍微软亚洲研究院推出时空预测开源工具FOST,应对各行业共性预测需求,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

(转载自微软研究院AI头条)

编者按:2020年新冠疫情肆虐全球,为了控制疫情蔓延,找到应对措施,美国疾病控制中心公布了大量疫情相关数据,向全世界顶级科研机构救助,希望科学家们可以利用技术能力,提供具有较高参考价值的预测数据,从而帮助制定有效的控制策略。微软亚洲研究院基于时空预测技术,训练了针对新冠疫情的预测模型,并于2020年下半年被美国疾控中心采纳使用。在过去的近一年中,该预测模型的表现整体优于全球其它四十几家科研机构提供的预测模型。日前,微软亚洲研究院基于此前的技术积累,正式推出了面向全行业的时空预测开源工具 FOST。

什么是时空概念?“时”是指时间序列,“空”即空间上的相互影响和联系。例如,物流行业每个站点的历史派件量是时序关系,而各中转/配送站点间又存在空间上的联系;再比如,在新冠疫情防控中,各级行政区域的每日感染病例数字,单独来看是时序关系,而彼此之间的关联则属于空间关系。

“时空”因素在各行业中的广泛存在,使时空预测成为众多行业进行科学决策、优化效率的关键。近日,微软亚洲研究院推出了面向全行业、具有高度通用性与易用性的时空预测开源工具 FOST(Forecasting Open Source Tool)。存在相关需求的企业和机构可以基于这一便捷易用的工具生成高效的时空预测解决方案。

  • GitHub 链接:​​​​​https://github.com/microsoft/FOST

共性抽象:时空预测开源工具FOST

近年来在与行业伙伴的紧密合作中,微软亚洲研究院的研究员们发现,时空预测需求普遍存在于物流、电信、医疗、交通等许多行业中。然而,当前大部分的时空预测还只是停留在研究阶段,真正应用时,大家只是相互借鉴思路,想要解决实际问题还需要各自从头开始一点点摸索,并没有一个简单、易上手的通用工具。

基于与多家企业在时空预测上的合作研究,微软亚洲研究院的研究员们抽象出了行业共性问题,将多年的技术和经验积累进行转化,推出了具有极高行业通用性的时空预测工具 FOST。


FOST 架构图

要使时空预测工具兼顾通用性和可用性,需解决三个常见问题:第一是数据的质量问题,这就需要降低数据噪音,减小信息缺失的影响;第二是时序上要能对趋势、周期、突发等各类维度具有良好的包容性;第三则是在空间维度上打破以往预测模型只能单点预测的局限性,能够在空间结构中准确预测并利用关联影响。

为此,微软亚洲研究院为时空预测工具 FOST 集成了三大功能模块,来应对多种复杂时空条件下的预测:

  • 数据处理:数据降噪,提升数据质量
    在 FOST 中,数据的收集由用户自主完成,这既保证了能够基于多样的场景数据训练出不同的业务场景模型,又保证了用户数据的隐私安全。之后,FOST 会针对存在噪音等问题的质量低下的数据进行清洗,提升数据质量,确保模型训练的准确度。
  • 时序解码:轻量级时序神经网络
    在时序预测上,微软亚洲研究院采用了轻量级深度时序神经网络。
    深度时序神经网络主要用来捕捉实际业务场景中的复杂历史规律。以物流行业为例,可能数据显示某几个站点在夏季派件量比平时多,那么是否就可以推测出下个夏天派件量同样会上涨呢?实际的关联关系通常并不是这么简单就可以推断出来的。深度时序网络的作用就是找出其中的复杂关联和细节规律。
    但深度时序神经网络往往面临训练速度慢,对于噪声敏感的问题。同时在数据量不充足的情况下,容易过拟合训练数据。因此,微软亚洲研究院在深度时序神经网络的基础上通过对时序数据降维,使结构轻量化,从而加速训练效率并稳定预测结果。
  • 空间解码:图神经网络构建层次图
    在空间层上,微软亚洲研究院采用了图神经网络,通过节点间的空间联系,来建模信号变化在空间上的相互影响和关联。例如在疫情数据预测中,一个地区的疫情结果会受到其他区域,尤其是相邻地区的影响,所以预测时也不能忽略空间上的关联。对此,微软亚洲研究院利用图神经网络,在预测疫情发展信息时,也将其他省市的信息参考进来,进一步提升预测的精度。引入图卷积网络后,无论是针对县区的细粒度预测,还是省市级别的粗粒度预测,结果的准确性都大大提升。

微软亚洲研究院副院长刘铁岩表示,“FOST 不是一个自上而下的研究产物,也并不是一开始就有明确计划要进行研发的,而是经过与产业界的深度接触后,我们发现了很多行业在时空预测方面存在的共性需求,包括问题挑战、解决方案等多个层面。因此,我们决定将共性问题抽象出来做成一个通用的开源工具,帮助更多企业借助先进的人工智能技术节省精力、成本,提升运营及创新效率。”

凭借高通用性,应对众多行业时空预测需求

在与时间、空间概念密切相关的行业中,时空预测工具 FOST 如何运作并发挥作用?

依然以较为典型的物流行业为例。如果物流企业希望通过 FOST 对某个大站点的次日派件量进行预测,首先,企业需要在底层的深度时序神经网络模块中输入近一段时期的时间序列数据,包括这个站点的每日总出库量和总收件量,及以该站点为终点或中转站的派件量,之后模型的时序模块会先学习历史数据中的特征,并表示为隐空间中的一组向量。

接下来则需要进一步叠加相邻站点的时序规律信息进行空间上的信息聚合。一个例子是站点与其相邻站点之间往往存在这样的关系——当相邻站点快递件数增加时,就会将一部分快件发送给该站点。在这种情况下,当在时序上预测出该站点次日派件量为200件,同时又看到空间层上相邻站点次日快递件数预计会急剧增加时,就可以预估出该站点次日的派件量可能将远超200件,这样就将站点空间上的关联关系也融入到了模型中。

上述仅是物流行业的例子。很多其他行业场景,如网络基站流量预测、交通流量预测、电力输送预测,与物流行业同样存在共通的时空概念,时空预测工具 FOST 在这些行业上的作用原理也基本类似。

不过要注意的是,对于关联性越大的节点,在预测时就越要优先考虑他们的关联关系,否则如果将所有关联信息都进行无差别计算,那计算量将会巨大到难以承受。比如原本就已经有数千个地点,如果还要将所有地点间的关系都考虑进来,这样的计算量对服务器的要求会非常高,是一般企业所无法承担的一笔开销。对此,微软亚洲研究院也做了很多优化,包括在图随机采样时会优先考虑强关联的信息,从而提高整个预测工具的运行效率。

此外,在某些行业中,空间概念未必仅停留在地理空间层面。例如,在医疗行业的糖尿病患者病情预测中,同一类糖尿病的不同患者,就可视作多个不同空间。一个病人的病情发展规律可以作为历史参考,帮助预测出其他患者的病情发展趋势。

微软亚洲研究院的时空预测开源工具给各行业用户提供了一个简单易用的深度学习“利器”。通过使用 FOST,用户不仅可以有效提升业务场景预测的准确率,还可以避免从头开发类似平台的重复工作。未来,微软亚洲研究院将在当前版本的基础上,持续优化时空预测工具上模型的准确性和训练效率,助力更多企业和机构通过构建时空预测能力创造更大的价值。

这篇关于微软亚洲研究院推出时空预测开源工具FOST,应对各行业共性预测需求的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/helendemeng/article/details/121951271
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/791556

相关文章

使用Python自建轻量级的HTTP调试工具

《使用Python自建轻量级的HTTP调试工具》这篇文章主要为大家详细介绍了如何使用Python自建一个轻量级的HTTP调试工具,文中的示例代码讲解详细,感兴趣的小伙伴可以参考一下... 目录一、为什么需要自建工具二、核心功能设计三、技术选型四、分步实现五、进阶优化技巧六、使用示例七、性能对比八、扩展方向建

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

jvm调优常用命令行工具详解

《jvm调优常用命令行工具详解》:本文主要介绍jvm调优常用命令行工具的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一 jinfo命令查看参数1.1 查看jvm参数二 jstack命令2.1 查看现场堆栈信息三 jstat 实时查看堆内存,gc情况3.1

MySQL使用binlog2sql工具实现在线恢复数据功能

《MySQL使用binlog2sql工具实现在线恢复数据功能》binlog2sql是大众点评开源的一款用于解析MySQLbinlog的工具,根据不同选项,可以得到原始SQL、回滚SQL等,下面我们就来... 目录背景目标步骤准备工作恢复数据结果验证结论背景生产数据库执行 SQL 脚本,一般会经过正规的审批

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并

Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)

《Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)》:本文主要介绍Java导入、导出excel的相关资料,讲解了使用Java和ApachePOI库将数据导出为Excel文件,包括... 目录前言一、引入Apache POI依赖二、用法&步骤2.1 创建Excel的元素2.3 样式和字体2.

基于Python开发PDF转PNG的可视化工具

《基于Python开发PDF转PNG的可视化工具》在数字文档处理领域,PDF到图像格式的转换是常见需求,本文介绍如何利用Python的PyMuPDF库和Tkinter框架开发一个带图形界面的PDF转P... 目录一、引言二、功能特性三、技术架构1. 技术栈组成2. 系统架构javascript设计3.效果图