科研上新 | 第6期:优化LLM数学推理;深度学习建模基因表达调控;基于深度学习的近实时海洋碳汇估算

本文主要是介绍科研上新 | 第6期:优化LLM数学推理;深度学习建模基因表达调控;基于深度学习的近实时海洋碳汇估算,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

编者按:欢迎阅读“科研上新”栏目!“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里,你可以快速浏览研究院的亮点资讯,保持对前沿领域的敏锐嗅觉,同时也能找到先进实用的开源工具。

本期内容速览

01. CoT-Influx:突破少样本学习极限,提升LLM数学推理能力
02. CREaTor:通过自注意力机制建模细胞特异的基因表达调控
03. CMO-NRT:近实时监测全球海洋碳汇

CoT-Influx:突破少样本学习极限,提升LLM数学推理能力

new-arrival-in-research-1

论文链接:https://arxiv.org/abs/2312.08901

项目链接(将于近日上线):https://github.com/microsoft/CoT-Influx

大语言模型(LLMs)在各种任务中都展现出了卓越的能力,然而,对于推理任务,尤其是数学推理,提升 LLMs 性能仍然是一个挑战。尽管微调和思维链(CoT)有效提升了 LLMs 的数学推理,但作为与其相辅相成的方法——少样本学习在提升推理能力的边界尚未充分验证。

受人类推理过程启发,如果 LLMs 在解答数学问题前见过更多的解题思路示例(如与问题属于同一类型的 CoT 样本),那么将有望激发其推理能力以生成正确解决方案。而新问题也随之而来:通过输入更多的样本,LLMs 在数学推理方面的性能提升上限是多少?

微软亚洲研究院的研究员们观察发现:1. 增加 CoT 样本可提升 LLMs 推理能力,但受 LLMs 上下文窗口限制存在上界。2. CoT 样本选择至关重要,随机添加更多样本无法提升推理能力。3. CoT 样本存在冗余,通过对 token 进行剪枝可有效节省上下文窗口空间。

基于上述发现,研究员们提出了 CoT-Influx,专注于剪枝冗余的 CoT 样本和 token,为更具信息性的上下文腾出 token 空间, 以拓展少样本学习的极限。作为即插即用的插件,CoT-Influx 旨在适用于各种基础和微调的 LLMs, 通过输入尽可能多的高质量、不含冗余 token 的思维链样本,可显著提高各类 LLMs 解决数学问题的能力。

具体来说, 研究员们设计了一个轻量级的两阶段剪枝模块:(1) 第一阶段 shot pruner 从大量输入样本中选择关键 CoT 样本,(2)第二阶段对于第一阶段中选择的 CoT 样本中的冗余 token 进行剪枝。为了有效训练剪枝模块,研究员们首先设计了一个专用于数学推理的奖励函数,同时考虑剪枝后的少样本 token 总数及其对于 LLMs 数学推理的有效性。其次,研究员们利用 GPT-4 构建了一个高质量的 CoT 样本数据集 MRD3,并利用强化学习来优化该奖励函数。

图1:(上)CoT-Influx 算法; (下)CoT-Influx 进行少样本和 token 剪枝示例

图1:(上)CoT-Influx 算法; (下)CoT-Influx 进行少样本和 token 剪枝示例

实验结果表明,CoT-Influx 在多个 LLMs 和不同数学数据集上均显著提升推理能力,明显优于各种基于 prompting 的方法。例如,在 GSM8K 数据集上,通过剪枝长度是 LLaMA2 上下文窗口两倍的大量样本,CoT-Influx 带来了4.55%的绝对准确率提升。LLaMA2-70B 在 CoT-Influx 的增强下,在 GSM8K 上表现优越,超越了更大的 LLMs (PaLM 540B、Minerva 540B 等),比 GPT-3.5 高出2.5%个绝对准确率。未来,研究团队将进一步探索 CoT-Influx 对于指令微调大模型(如 WizardMath)和 GPT-4 的性能提升。

CREaTor:通过自注意力机制建模细胞特异的基因表达调控

new-arrival-in-research-3

论文链接:https://genomebiology.biomedcentral.com/articles/10.1186/s13059-023-03103-8

项目链接:https://github.com/DLS5-Omics/CREaTor

通过基因表达调控机制,具有相同基因组的细胞可以产出不同数量的基因产物(RNA 或蛋白质),并呈现不同的转录组与蛋白组状态。因此,基因调控与随之产生的细胞特异基因表达是生物体应对环境变化、执行生理功能、进行生长发育等生命活动的关键。构建不同细胞类型的基因调控网络,能够帮助人们理解细胞行为,改变细胞状态,推动生物工程与治疗工程的发展。

然而,由于基因调控的层级性、动态性与细胞特异性,通过实验方法系统性观测基因表达规律面临许多挑战。机制复杂与数据缺失的矛盾加剧了通过计算方法建模基因调控程序的难度,使得计算方法的有效性与泛化性成为瓶颈。

为了更有效地建模细胞特异的基因调控网络,发现跨细胞类型的通用表达调控机制,微软研究院科学智能中心的研究员们提出了一套基于自注意力机制的深度学习模型 CREaTor(Cis-Regulatory Element auto Translator)。该模型将细胞特异的基因表达作为模型预测目标,使用多层自注意力机制建模基因调控规律,从而同时解决了数据缺失与调控机制表征复杂的问题。

图2:CREaTor 模型框架

图2:CREaTor 模型框架

CREaTor 的训练策略是利用目标基因近邻的功能基因组学特征与 DNA 功能元件预测目标基因的表达水平。由于相同目标基因会在不同细胞中表现出不同表达水平,这一策略能够迫使模型学习通用基因调控机制(网络参数),建立细胞当前调控状态(模型输入)与基因调控结果(模型输出)之间的联系。高通量测序技术的发展让功能基因组学与转录组学数据飞速积累,为模型训练提供了海量而多样的样本。

研究员们通过两组顺式基因调控(一类基于 DNA 序列相互作用的基因调控模式)预测任务验证了这套方法的可行性。实验表明,CREaTor 生成的自注意力矩阵可以有效捕捉顺式调控元件与靶基因间的相互作用关系,区分实验证实的正负样本。其预测准确度优于经典的基于元件-基因距离的预测方法与 ABC score 方法,以及两种最先进的深度学习方法 Enformer (DeepMind, 2021)和 GraphReg (2022)。同时,CREaTor 还具有优秀的泛化能力与零样本学习能力,即使在模型从未见过的细胞类型中也能展现出优越的性能。此外,研究员们发现,CREaTor的多层自注意力矩阵还能够捕获元件间相互作用,并表征更高层次的基因调控模式与基因组组织特性。

该研究展示了利用深度学习模型模拟细胞基因调控网络的可行性,并表明 CREaTor 可以作为基因调控规律研究的有力工具,用于系统性预测各类细胞(包括正常发育过程和与疾病相关的细胞)的基因调控模式。

CMO-NRT:近实时监测全球海洋碳汇

new-arrival-in-research-5

论文链接:https://arxiv.org/abs/2312.01637

海洋能够吸收大气中的二氧化碳,从而在调节气候变化中发挥至关重要的作用。及时且具有地理详细性的全球海洋-大气二氧化碳通量估计能帮助人类深入认识全球碳循环的时间变化和区域差异,对全球碳预算有重要影响。然而,以往的这类通量估计存在1-2年的延迟,无法及时监测全球海洋碳汇的最新变化。

为了解决这个问题,微软亚洲研究院的研究员们推出了一个近实时的、基于月度网格的全球海洋二氧化碳浓度和海洋-大气二氧化碳通量数据集(Carbon Monitor Ocean,简称 CMO-NRT),该数据集覆盖了2022年1月至2023年7月的数据(随着时间推移,数据的区间也在不断更新中)。研究员们通过使用卷积神经网络和半监督学习方法学习模型估计或产品与观测预测因子之间的非线性关系,将10个全球海洋生物地球化学模型和8个全球碳预算2022年数据产品的估计更新到近实时框架。

图3:CMO-NRT 方法和数据来源示意图

图3:CMO-NRT 方法和数据来源示意图

具体来说,研究员们提出了一种基于深度学习的技术,旨在近实时估算海洋碳汇数据。该方法将年份、月份、纬度、经度及9种环境因子数据如风速、海面温度,CO2 浓度等作为输入,预测目标则是基于全球海洋生物地球化学模型(GOBM)和海洋数据产品。所有数据均被处理成180x360的网格格式。为了在保证模型质量的同时提高计算效率,研究员们将所有环境因素切割成更小的18x18区块进行模型训练。

该研究采用了卷积神经网络(CNN)和线性模型的混合架构。经过领域知识和实验结果的分析,研究员们发现 CNN 模型能够有效地捕获预测目标与各种特征以及周边环境数据之间的关系,从而得出最优的预测结果。在模型训练过程中,研究员们使用带标签的数据计算监督损失,同时利用所有数据计算无监督损失。最终的损失函数是这两种损失的加权和,通过反向传播更新模型参数。为了进一步提高模型的稳定性和可靠性,研究员们采取了 k-fold 交叉验证的方法,对五个预测模型的结果进行平均处理,从而得出最终的预测结果。这一方法大大提高了模型的稳健性,使得预测结果更为可靠。

该数据集的目标是通过提高海洋二氧化碳浓度和海洋-大气二氧化碳通量估计的及时性,使全球海洋碳汇的评估更加准确和即时。通过捕捉模型估计或产品与观测预测因子之间的非线性关系,CMO-NRT 提供了对全球海洋-大气二氧化碳通量更即时、精确和全面的理解。这一进步提高了科学家和政策制定者监控及有效应对海洋二氧化碳吸收变化的能力,从而对气候变化管理做出贡献。

这篇关于科研上新 | 第6期:优化LLM数学推理;深度学习建模基因表达调控;基于深度学习的近实时海洋碳汇估算的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/573362

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份