CCKS2023-面向金融领域的主体事件检测-亚军方案分享

本文主要是介绍CCKS2023-面向金融领域的主体事件检测-亚军方案分享,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

赛题分析

大赛地址

https://tianchi.aliyun.com/competition/entrance/532098/introduction?spm=a2c22.12281925.0.0.52b97137bpVnmh

任务描述

主体事件检测是语言文本分析和金融领域智能应用的重要任务之一,如在金融风控领域往往会对公司主体进行风险事件的检测。基于句子粒度的上下文进行公司事件检测,事件包含事件类型和主体要素(即公司主体),句中可能存在多个事件,多个公司主体且每个公司都可能存在多个事件类型标签,并且各类型标注样本分布不均匀,部分类型样本量较少,我们希望检测出文本中包含的所有主体事件。本次评测任务的文本语料来自于互联上的公开新闻、报告。

数据描述

输入 :一段文本X

输出 :文本X中所有的事件类型及对应的公司主体

示例

输入:{"text_id": "123456", "text": "播州城投多次被列为被执行人,同时涉及一系列诉讼案件并多次被纳入失信被执行人名单;由于公司债务逾期规模大,区域债务负担重, 7月母公司遵义道桥建设(集团)有限公司("遵义道桥")开始进行债务重组并将银行类债权延期 10年"}

输出:{"text_id": "123456", "events": [{"type":"被列为失信被执行人" ,"entity":"播州城投"} , {"type": "债务违约","entity": "播州城投"}, {"type": "债务重组", "entity": "遵义道桥建设(集团)有限公司"}, {"type": "债务重组", "entity": "遵义道桥"}]}

方案陈述

整体方案的模型架构

结构图如下所示:

  • 传统模型:主要依赖传统的信息抽取方法来做,包括 bert+crf、 bert+span 和 bert+global pointer等方案;

  • LLMs:依赖已经预训练好的大模型,包括 mt5、mt0、Ziya-LLaMA、 chatglm 等,微调方式包括全量指令微调以及基于 Lora 的指令微调;

  • 后处理:针对预测的数据进行异常符、原文修正、大小写修正、繁体 简体修正等;

  • 融合:采用加权投票融合;

下面依次介绍每个方案的细节。

传统方案之bert-crf

crf这么基础的内容这里就不说了,用的就是原生的crf,没有进行魔改,需要说明一点的就是,这个任务中同一个公司主体如果有多个事件类型,crf这个方案是解决不了的,好在这个任务中这种一个公司主体对应多个事件类型的情况不多。

传统方案之bert-span

上文也说了,这个任务中存在一个公司主体对应多个事件类型的情况,为了兼容这种情况,我对原来的span编码解码框架稍稍进行了魔改,结构图如下:

原生的span结构以双指针的形式替代 CRF 模块,可以解决实体嵌套 问题,首尾指针可以截取一个实体,首位指针的类型指代这个截取的实体的标签类型,但是在本次任务中,为了解决一个公司主体对应多个事件类型的情况,我们改变了首尾指针的形式,融入多标签的思想,基于多标签的span指针可以轻松实现一个实体(公司主体)指向多个类型(事件类型)。

传统方案之bert-gp

gp用的就是苏剑林原生的方案,没有进行改动,所以呢,我也不想废话了,估计你们也不想听我废话,你们直接看苏神的讲解吧。苏剑林科学空间:https://spaces.ac.cn/archives/8265

大模型(LLM)方案

本次任务我们将大模型用在了事件检测任务上,主要尝试了mt5、chatglm、以及llma模型,训练方式是全参数微调和Lora微调。

指令构造

指令 1:

使用自然语言抽取二元组,请从句子中抽取出所有的事件类型及对应的公司主体, 句中可能存在多个事件、多个公司主体且每个公司都可能存在多个事件类型标签,最后以 (公司主体,事件类型)的形式回答。

例子:

"instruction":"使用自然语言抽取二元组,请从句子中抽取出所有的事件类型 及对应的公司主体,句中可能存在多个事件、多个公司主体且每个公司都可能存在多个事 件类型标签,最后以(公司主体,事件类型)的形式回答。","input":"而在此之前,从 2013 开始至 2018 年连续 5 年时间,苏州银行的核心一级资本充足率、一级资本充足率 均在下降,资本充足率在 2015 年出现回升后也再度连续三年下降","output":"(苏州 银行,资本充足不足)

指令 2:

这是一个金融实体抽取的任务,请从以下句子抽取公司主体以及相应的事件类 型,按(公司主体,事件类型)的形式回答。

例子:

这是一个金融实体抽取的任务,请从以下句子抽取公司主体以及相应的事件类 型,按(公司主体,事件类型)的形式回答。 例子:"instruction":"这是一个金融实体抽取的任务,请从以下句子抽取公司主体 以及相应的事件类型,按(公司主体,事件类型)的形式回答。","input":"而在此之 前,从 2013 开始至 2018 年连续 5 年时间,苏州银行的核心一级资本充足率、一级资 本充足率均在下降,资本充足率在 2015 年出现回升后也再度连续三年下降 ","output":"(苏州银行,资本充足不足)

微调

mt5、mt0 以及 umt5 经过多语种预训练,对于这个任务 也适配,在 large 模型,可以模型并行来训练, 在 xl 以及 xxl 模 型,需要基于 deepspeed 对模型参数进行切分来提高模型训练速度, xxl 模型,在 A100 卡上,全量微调。

Lora 指令微调:当前中文模型包括 chatglm、ziya-llama、ZhiXi (智 析)

本次基于大模型做事件检测任务部分参考如下范例:

总结

本次赛道任务,我们总结如下:

  • 在数据层面,我们做了一些数据增广,聚合相同事件类型下所有公司主体,随机替换同个类型的公司 实体进行数据生成;

  • 在传统方案上(crf、span、gp),我们通过一些手段(fgm、pgd、swa、ema、r-drop、multi-drop等)增强了模型的泛化性和鲁棒性;

  • 选择了多种的编码框架,crf是序列标记,span是指针抽取,gp是片段排列,LLM是基于指令的生成式,每一种框架都有自己的优势和短板,融合起来增益良多;

最后值得一提的是,通过本次任务,大模型(LLM)虽然参数大很多,训练时间长很多,但是单个大模型的效果并没有比传统方案的效果好,从性价比上甚至处于劣势,但是差异大,不同框架之间差异大,融合效果提升很多。

这篇关于CCKS2023-面向金融领域的主体事件检测-亚军方案分享的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/458417

相关文章

Java Response返回值的最佳处理方案

《JavaResponse返回值的最佳处理方案》在开发Web应用程序时,我们经常需要通过HTTP请求从服务器获取响应数据,这些数据可以是JSON、XML、甚至是文件,本篇文章将详细解析Java中处理... 目录摘要概述核心问题:关键技术点:源码解析示例 1:使用HttpURLConnection获取Resp

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Python通过模块化开发优化代码的技巧分享

《Python通过模块化开发优化代码的技巧分享》模块化开发就是把代码拆成一个个“零件”,该封装封装,该拆分拆分,下面小编就来和大家简单聊聊python如何用模块化开发进行代码优化吧... 目录什么是模块化开发如何拆分代码改进版:拆分成模块让模块更强大:使用 __init__.py你一定会遇到的问题模www.

Java图片压缩三种高效压缩方案详细解析

《Java图片压缩三种高效压缩方案详细解析》图片压缩通常涉及减少图片的尺寸缩放、调整图片的质量(针对JPEG、PNG等)、使用特定的算法来减少图片的数据量等,:本文主要介绍Java图片压缩三种高效... 目录一、基于OpenCV的智能尺寸压缩技术亮点:适用场景:二、JPEG质量参数压缩关键技术:压缩效果对比

SpringBoot首笔交易慢问题排查与优化方案

《SpringBoot首笔交易慢问题排查与优化方案》在我们的微服务项目中,遇到这样的问题:应用启动后,第一笔交易响应耗时高达4、5秒,而后续请求均能在毫秒级完成,这不仅触发监控告警,也极大影响了用户体... 目录问题背景排查步骤1. 日志分析2. 性能工具定位优化方案:提前预热各种资源1. Flowable

C#如何动态创建Label,及动态label事件

《C#如何动态创建Label,及动态label事件》:本文主要介绍C#如何动态创建Label,及动态label事件,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C#如何动态创建Label,及动态label事件第一点:switch中的生成我们的label事件接着,

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip

IDEA中Git版本回退的两种实现方案

《IDEA中Git版本回退的两种实现方案》作为开发者,代码版本回退是日常高频操作,IntelliJIDEA集成了强大的Git工具链,但面对reset和revert两种核心回退方案,许多开发者仍存在选择... 目录一、版本回退前置知识二、Reset方案:整体改写历史1、IDEA图形化操作(推荐)1.1、查看提

Python实现html转png的完美方案介绍

《Python实现html转png的完美方案介绍》这篇文章主要为大家详细介绍了如何使用Python实现html转png功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 1.增强稳定性与错误处理建议使用三层异常捕获结构:try: with sync_playwright(

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数,你可以定义好线程数规则,生成线程数去跑代码说明:1.虚拟线程池:使用 Executors.newVir