Unstructured Data Meetup 南京场收官！干货指南：大模型、向量数据库和 RAG

近日，Unstructured Data Meetup 南京场圆满收官！本次 Meetup 由向量数据库领军者 Zilliz 创办，同时还邀请到来自阿里云、图灵人工智能研究院的技术专家分享行业对于 GenAI 如何连接非结构化数据的思考。

以下是本次 Unstructured Data Meetup 的重点内容：

• Milvus 开源社区负责人 李成龙 《向量数据库 Milvus 在大模型领域的案例分享》

• 阿里云人工智能平台 PAI 算法工程师 张晓雯《PAI-RAG：基于阿里云PAI+Milvus 构建面向生产的高效、可拓展的模块化 RAG 系统》

• 图灵人工智能研究院高级算法工程师 杜文凯《司法大模型的实践应用》

• 深度学习框架 MindSpore 资深开发者 王峰《Milvus 向量检索在 B、C 端全域实践》 

01.

向量数据库 Milvus 在大模型领域的案例分享

Milvus 开源社区负责人李成龙首先分享了漫画平台 RAG 应用，详细分享了快看 AI 智能问答和 IP 角色互动两个应用场景。其中，AI 智能问答应用的工作框架包含 5 个模块，分别是：知识挖掘、数据索引、检索模块、重排模块、评估模块。李成龙详细介绍了 5 个模块的技术方案和注意事项。随后，李成龙又分享了 IP 角色互动场景的技术框架，主要包含原创剧情知识库和用户个性化记忆知识库。

第二个案例是国际化 VOC SaaS 公司 Shulex 的评论分析应用。相较于单纯只用大模型的方式来对用户评论打标，通过 Zilliz Cloud（Milvus全托管云服务）+大模型的方案来对用户评论打标，成本可以降低 50%，报表生成速度提升 30%。

第三个案例是自动驾驶领域里的长尾样本挖掘。在自动驾驶领域，"corner case"指的是那些不常见、异常或极端的交通场景，例如突如其来的大雾、暴雨、暴风雪等极端天气，或是行人、动物、非常规交通工具的意外出现。这些场景对车辆的感知系统提出了严峻的挑战。通过视觉大模型 LVM（Large Vision Model）和多模态大模型 LMM (Large Multimodal Models）Embedding模型的特征提取能力，结合 Milvus 大规模向量搜索功能，可以完成数百 TB 视频数据的 Corner Case 检索。

最后，李成龙总结了 Milvus 在大模型领域的应用类型，主要分成 RAG 和内容检索两大类，分别利用了大模型的总结归纳能力和 Embedding 能力。

02.

PAI-RAG：基于阿里云 PAI+Milvus 构建面向生产的高效、可拓展的模块化 RAG 系统

阿里云人工智能平台 PAI 算法工程师张晓雯首先介绍了 RAG 的基本概念，为什么需要 RAG 以及 RAG 的应用场景和挑战。其中落地过程中的主要挑战包括：

• 客户的知识库领域、格式、内容的多样性，RAG 效果难以保证。

• 客户需求具有多样性，使用常规 RAG 链路难以实现定制化需求。

• 构建企业级 RAG 应用的挑战，可靠性、高性能、高质量难以取舍。

• 数据安全隐私问题，如何进行更安全更稳定的私有化应用部署。

PAI-RAG 具备文档智能、Agentic RAG、多模态检索、高性能可用这些特性。整个架构使用 PAI-EAS 模型服务 + PAI-Blade 推理加速引擎，帮助客户一站式解决 AI 部署和推理的全部环节。基于模块化的设计，使得各个组件都能独立伸缩。向量检索模块使用了向量检索服务 Milvus 版，具有全托管免运维，高性能低成本，安全可用等特点。

最后张晓雯通过一个视频，演示了在阿里云上如何通过 PAI-EAS + Milvus 快速部署一个 RAG 应用。

03.

司法大模型的实践应用

图灵人工智能研究院高级算法工程师 杜文凯从司法大模型的政策背景、需求分析、解决方案以及落地成果四个方面进行了分享。

关于政策背景，2021 年 3 月，国家颁发《中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要》明确提出，要“加强智慧法院建设”。2022 年 12 月，最高法还发布了《关于规范和加强人工智能司法应用的意见》，从顶层设计、司法数据中台和智慧法院大脑建设、应用系统建设、关键核心技术攻关等五个方面，全方位加强和推动人工智能在司法领域的应用。2022 年 12 月 09 日，最高人民法院 印发《关于规范和加强人工智能司法应用的意见》的通知。

需求分析方面，存在基层法院“案多人少”、地区法官队伍差异大且成长难度大、案件办理流程复杂等问题。司法大模型应运而生，具备低成本、全案由覆盖、易推广等特点。

具体解决方案上，杜文凯介绍了基于本地卷宗管理系统的生成式AI辅助应用系统和灵犀工场大模型平台的架构。并分享了五个具体的应用场景：

• 场景1：随案卷宗自动更新，材料智能分类。

• 场景2：全量卷宗一键阅卷，要素智能提取

• 场景3:  AI助手智能辅助，极简对话交互。

• 场景4：智能分析归纳，“诉辩-事实-证据”关联。

• 场景5：法律文书一键生成。
  

最后，杜文凯介绍司法大模型的落地成果，包括在最高人民法院通过三轮技术论证，并在「AI大脑」部署上线，并且在苏州市中级人民法院上线发布“未来法官助手”系统。

04.

Milvus 向量检索在 B、C 端全域实践

深度学习框架 MindSpore 资深开发者王峰首先介绍了 Milvus 的技术架构、应用能力（多租户/Attu/Sizing Tool）和高可用特性（Milvus Backup/CDC）。

在 B 端，王峰介绍了 RAG 应用的架构，包括基础版本以及向 Pipeline/Agent 化演进的版本。此外，还分享了 B 端多模态领域的应用，借助类似 CLIP 等多模态的模型，可以将不同的模态的内容转换成向量问题解，通过检索的方式来应用。

C 端方面，主要介绍了双塔模型的应用，双塔模型经典又简单，就是 NLP 领域的 query 和 document，推荐领域的 user 和 item，多模态检索领域的图像和文字等，都可以用双塔表示。

最后，王峰介绍了将向量检索打造为一个平台化服务方面的思考。主要是抽象各类业务场景共性部分的能力，给业务和工程提效方式，把这些能力服务化，提高复用率。

以上就是本次 Meetup 的全部内容了，微信后台回复关键词「8.17南京」可获取讲师 PPT。

推荐阅读