首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
tokenized专题
获取CNN/DM适用于评估Bart的格式的数据集(类似于test.source、test.source.tokenized)
项目场景: 复现文本摘要任务评估CNN/DM数据集 问题描述 abisee老哥的代码获取的是bin格式的数据集 时间久远,一些依赖的配置版本难以复现 笔者需要能评估Bart 格式的数据集 形式类似于test.source、test.source.tokenized 解决方案: 经过坚持不懈的爬楼找到了有用的生成代码,并且测试成功,故此记录一下 首先指路github地址
阅读更多...