本文主要是介绍Talk｜香港科技大学苟耘豪：MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
本期为TechBeat人工智能社区第571期线上Talk。
北京时间2月8日(周四)20:00，香港科技大学博士生—苟耘豪的Talk已准时在TechBeat人工智能社区开播！
他与大家分享的主题是: “MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突”，系统地介绍了他的团队基于指令聚类和通用专家的MoE多模态大模型微调方法等相关工作所做的研究。
Talk·信息
▼
主题：MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突
嘉宾：香港科技大学博士生 苟耘豪
时间：北京时间 2月8日(周四)20:00
地点：TechBeat人工智能社区
点击下方链接，即可观看视频！
TechBeatTechBeat是荟聚全球华人AI精英的成长社区，每周上新来自顶尖大厂、明星创业公司、国际顶级高校相关专业在读博士的最新研究工作。我们希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
https://www.techbeat.net/talk-info?id=849
Talk·介绍
▼
本次分享介绍基于指令聚类和通用专家的MoE多模态大模型微调方法。现有的方法让所有数据一起微调，造成任务冲突。我们对任务指令进行聚类，使用聚类结果选择合适的任务专家从而缓解冲突。同时，一个通用专家从所有数据学习共享的知识，增强模型对新任务的泛化性。
Talk大纲
1、背景 - 多模态大模型指令微调的方法介绍
2、观察 - 更多指令数据不一定能带来更好的模型
3、方法 - MoCLE：基于指令聚类和通用专家的MoE多模态大模型微调方法
4、实验 - 聚类专家缓解冲突，通用专家提升泛化
5、结论
Talk·预习资料
▼
论文链接：
https://arxiv.org/abs/2312.12379
论文链接：
https://arxiv.org/pdf/2305.06500.pdf
Talk·提问交流
▼
在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！
你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！
Talk·嘉宾介绍
▼
苟耘豪
香港科技大学·博士生
香港科技大学和南方科技大学二年级联培博士生，师从James T. Kwok教授和Yu Zhang教授。主要研究方向为多模态大语言模型，视觉-语言模型与零样本学习，相关工作发表于CVPR、ECCV、CIKM等计算机视觉和数据挖掘的顶级学术会议。
个人主页:
TechBeat
关于TechBeat人工智能社区
▼
TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！
更多详细介绍>>TechBeat，一个荟聚全球华人AI精英的学习成长社区
这篇关于Talk｜香港科技大学苟耘豪：MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
