一键部署Phi 3.5 mini+vision!多模态阅读基准数据集MRR-Benchmark上线,含550个问答对

本文主要是介绍一键部署Phi 3.5 mini+vision!多模态阅读基准数据集MRR-Benchmark上线,含550个问答对,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

小模型又又又卷起来了!微软开源三连发!一口气发布了 Phi 3.5 针对不同任务的 3 个模型,并在多个基准上超越了其他同类模型。

其中 Phi-3.5-mini-instruct 专为内存或算力受限的设备推出,小参数也能展现出强大的推理能力,代码生成、多语言理解等任务信手拈来。而 Phi-3.5-vision-instruct 则是多模态领域的翘楚,能同时处理文本和视觉信息,图像理解、视频摘要等任务不在话下。

HyperAI超神经现已上线 mini 版本和 vision 版本的模型部署教程,下拉文章获取链接~

9 月 2 日-9 月 6 日,hyper.ai 官网更新速览:

  • 优质教程精选:3 个

  • 优质公共数据集:10 个

  • 社区文章精选:3 篇

  • 热门百科词条:5 条

  • 9 月截稿顶会:5 个

访问官网:hyper.ai

给大家推荐一个线上学术分享活动,上海交通大学博士后周子宜将以「蛋白质语言模型的小样本学习方法」为题, 带来干货分享,点击即可预约观看 ⬇️

https://hdxu.cn/6Bjom

公共教程精选

1. 一键部署 Phi-3.5-mini-instruct

Phi-3.5-mini-instruct 支持 128K Token 的上下文长度,适合执行代码生成、数学问题求解和基于逻辑的推理等任务。该模型在多语言和多轮对话任务中表现出色,并在 RepoQA 基准测试中超越了同等级的其他模型。该教程为模型一键部署 Demo,只需克隆并启动该容器,直接复制生成的 API 地址,即可对模型进行推理体验。

直接使用:https://go.hyper.ai/F7smR

2. 一键部署 Phi-3.5-vision-instruct

Phi-3.5-vision-instruct 模型具备广泛的图像理解、光学字符识别 (OCR)、图表和表格解析、多图像或视频剪辑摘要等功能,非常适合多种 AI 驱动的应用。在图像和视频处理相关的基准测试中表现出显著的性能提升。模型与环境已经部署完毕,大家可根据教程指引直接使用大模型进行推理生成。

直接使用:https://go.hyper.ai/zN9Bx

3. 在线教程 | 1 分钟生成万字悬疑小说,LongWriter-glm4-9b 突破长文输出瓶颈

LongWriter 是清华大学开发的一个开源项目,使用长上下文大型语言模型 (LLM) 生成超长文本(超过 10,000 字)。该教程为模型一键部署 Demo,只需克隆并启动该容器,直接复制生成的 API 地址,即可对模型进行推理体验。

直接使用:https://go.hyper.ai/p6SiO

公共数据集精选

1. MRR-Benchmark 多模态阅读基准数据集

多模态阅读 (MMR) 基准包括 11 个不同任务中的 550 个带注释的问答对,涉及文本、字体、视觉元素、边界框、空间关系和基础,并具有精心设计的评估指标。

直接使用:https://go.hyper.ai/deAmf

2. EveDentify 瞳孔直径估计数据集

该数据集共包含 51 名参与者的 212,073 张图像,研究团队使用 Tobii 眼动仪收集准确的瞳孔直径测量数据,同时使用内置网络摄像头拍摄面部视频。数据集旨在解决在利用普通网络摄像头图像进行瞳孔直径估计时可用数据集的缺乏问题。

直接使用:https://go.hyper.ai/iHjxC

3. Traffic Road Obiect Detection 波兰交通道路物体检测数据集

该数据集包含波兰道路的 11k 个带注释图像,专门为物体检测任务而整理。数据是使用车载摄像头在波兰道路上收集的,主要在克拉科夫。图像捕捉了各种场景,包括不同的道路类型和各种照明条件(白天和夜晚)。

直接使用:https://go.hyper.ai/Sl0k5

4. C2A 灾难场景中的人类检测数据集

C2A (combined to application) 数据集包含 4 种灾难场景类型(火灾/烟雾、洪水、倒塌的建筑物/瓦砾和交通事故)和 5 种人体姿势类别(弯腰、跪下、躺下、坐下和直立)的共 10,215 张高分辨率图像,图像分辨率范围从 123×152 到 5184×3456 像素,以及超过 360,000 个带注释的人类实例。

直接使用:https://go.hyper.ai/15dMR

5. Skin Conditionsmage Dataset 6 种皮肤状态数据集

该数据集包含 6 种不同皮肤病的增强图像,分别为:痤疮、癌、湿疹、角化病、粟丘疹和酒渣鼻。每个类别包含 399 张图像,共 2,394 张图像。

直接使用:https://go.hyper.ai/tWO7x

6. Penn-Fudan 行人检测和分割数据集

这个数据集包含 170 张高分辨率的 RGB 图像,这些图片都是从视频序列中截取的,并且在每幅图像中有 0 到 6 个不等的行人目标。每个行人的位置都通过矩形框 (mask) 进行了精确标注,提供了边界框坐标信息,便于进行目标检测训练和测试。

直接使用:https://go.hyper.ai/1CqaN

7. Tecnalia 电机设备废物高光谱数据集

Tecnalia 高光谱数据集包含来自电机和电子设备废物的不同有色金属部分,如铜、黄铜、铝、不锈钢和白铜,图像在光谱范围 [415.05 纳米,1008.10 纳米] 内包含 76 个均匀分布的波长。

直接使用:https://go.hyper.ai/1TBGz

8. Car Crash Prediction 汽车碰撞或预测数据集

该数据集包含 10k 张行车记录仪的图像,所有图像均来自 100K Dashcam 视频。图像以 5 秒为间隔从视频中分离出来,作为单独的帧,数据集包含碰撞和无碰撞两个类,xlsx 文件中也提供了注释。

直接使用:https://go.hyper.ai/jV1hL

9. PKU-Market-PCB 印刷电路板瑕疵数据集

PKU-Market-PCB 是一个公共合成 PCB 数据集,包含 1,386 张图像,具有 6 种缺陷(漏孔、鼠咬、开路、短路、杂散、杂铜),可用于图像检测、分类和配准任务。

直接使用:https://go.hyper.ai/VnbpT

10. PKU-Market-Phone 手机屏幕表面缺陷分割数据集

该数据集包含 3 种类型的表面缺陷:油污、划痕和斑点。每类缺陷 400 张图片,总共 1.2k 张。缺陷是由研究团队模拟工业环境制造的。图像由工业相机采集,分辨率为 1920×1080。数据集划分为训练:验证:测试=6:2:2,数据集格式采用 PASCAL VOC 。

直接使用:https://go.hyper.ai/K6u2o

更多公共数据集,请访问:

https://hyper.ai/datasets

社区文章精选

1. 超全拆解AlphaFold 3,上海交大钟博子韬:极致利用数据,以原子精度预测所有生物分子结构,但并不完美

近日,在上海交通大学 AI for Bioengineering 暑期学校活动中,钟博子韬博士以「AlphaFold 3:原理,应用与展望」为题,系统性地梳理了他的学习心得,并广泛整理了来自科研界的众多相关研究成果,向大家分享了他对于 AlphaFold 3 的深刻洞察,本文是演讲的核心内容梳理。

查看完整报道:https://go.hyper.ai/Ln2Yv

2. 美国科学院院刊封面文章!中国团队发布可晶圆级生产的人工智能自适应微型光谱仪

复旦大学团队提出了一种新的微型化重构光谱仪设计,结合了传统光谱仪和计算重构光谱仪的优势,通过集成的自参考窄带滤波通道,使得人工智能算法可以在更高维度的参数空间进行光谱和算法参数的同时搜索。本文是对研究论文的详细解读与分享。

查看完整报道:https://go.hyper.ai/GEKE4

3. 覆盖 7 百万问答数据,上海 AI Lab 发布 ChemLLM,专业能力比肩 GPT-4

上海人工智能实验室发布了化学大语言模型 ChemLLM。ChemLLM 擅长通过流畅的对话交互执行化学学科的各种任务,在核心任务上的性能与 GPT-4 相当,并在一般场景中表现出了与类似规模的 LLM 相媲美的性能。本文是对研究论文的详细解读与分享。

查看完整报道:https://go.hyper.ai/3bdMW

热门百科词条精选

1. 倒数排序融合 RRF

2. 学习率 Learning Rate

3. 核范数 Nuclear Norm

4. 帕累托前沿 Pareto Front

5. 数据增强 Data Augmentation

这里汇编了数百条 AI 相关词条,让你在这里读懂「人工智能」:

https://go.hyper.ai/wiki

在这里插入图片描述

一站式追踪人工智能学术顶会:https://go.hyper.ai/event

以上就是本周编辑精选的全部内容,如果你有想要收录 hyper.ai 官方网站的资源,也欢迎留言或投稿告诉我们哦!

下周再见!

关于 HyperAI超神经 (hyper.ai)

HyperAI超神经 (hyper.ai) 是国内领先的人工智能及高性能计算社区, 致力于成为国内数据科学领域的基础设施,为国内开发者提供丰富、优质的公共资源,截至目前已经:

  • 为 1300+ 公开数据集提供国内加速下载节点

  • 收录 400+ 经典及流行在线教程

  • 解读 100+ AI4Science 论文案例

  • 支持 500+ 相关词条查询

  • 托管国内首个完整的 Apache TVM 中文文档

访问官网开启学习之旅:

https://hyper.ai/

这篇关于一键部署Phi 3.5 mini+vision!多模态阅读基准数据集MRR-Benchmark上线,含550个问答对的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143536

相关文章

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

redis群集简单部署过程

《redis群集简单部署过程》文章介绍了Redis,一个高性能的键值存储系统,其支持多种数据结构和命令,它还讨论了Redis的服务器端架构、数据存储和获取、协议和命令、高可用性方案、缓存机制以及监控和... 目录Redis介绍1. 基本概念2. 服务器端3. 存储和获取数据4. 协议和命令5. 高可用性6.

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

nginx部署https网站的实现步骤(亲测)

《nginx部署https网站的实现步骤(亲测)》本文详细介绍了使用Nginx在保持与http服务兼容的情况下部署HTTPS,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录步骤 1:安装 Nginx步骤 2:获取 SSL 证书步骤 3:手动配置 Nginx步骤 4:测

Redis的数据过期策略和数据淘汰策略

《Redis的数据过期策略和数据淘汰策略》本文主要介绍了Redis的数据过期策略和数据淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录一、数据过期策略1、惰性删除2、定期删除二、数据淘汰策略1、数据淘汰策略概念2、8种数据淘汰策略

轻松上手MYSQL之JSON函数实现高效数据查询与操作

《轻松上手MYSQL之JSON函数实现高效数据查询与操作》:本文主要介绍轻松上手MYSQL之JSON函数实现高效数据查询与操作的相关资料,MySQL提供了多个JSON函数,用于处理和查询JSON数... 目录一、jsON_EXTRACT 提取指定数据二、JSON_UNQUOTE 取消双引号三、JSON_KE

Python给Excel写入数据的四种方法小结

《Python给Excel写入数据的四种方法小结》本文主要介绍了Python给Excel写入数据的四种方法小结,包含openpyxl库、xlsxwriter库、pandas库和win32com库,具有... 目录1. 使用 openpyxl 库2. 使用 xlsxwriter 库3. 使用 pandas 库

Tomcat高效部署与性能优化方式

《Tomcat高效部署与性能优化方式》本文介绍了如何高效部署Tomcat并进行性能优化,以确保Web应用的稳定运行和高效响应,高效部署包括环境准备、安装Tomcat、配置Tomcat、部署应用和启动T... 目录Tomcat高效部署与性能优化一、引言二、Tomcat高效部署三、Tomcat性能优化总结Tom

SpringBoot定制JSON响应数据的实现

《SpringBoot定制JSON响应数据的实现》本文主要介绍了SpringBoot定制JSON响应数据的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录前言一、如何使用@jsonView这个注解?二、应用场景三、实战案例注解方式编程方式总结 前言

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus