AI 实战训练营（Class 1）OpenMMLab 概述

OpenMMLab 概述

OpenMMLab诞生于2018年，是一个由中国开发者主导，有国际影响力的人工智能·
计算机视觉开源算法体系。

OpenMMLab累计开源超过30个算法库、2400个预训练模型，涵盖图像识别分类、目 标检测、图像分割、姿态估计、视频理解、OCR、3D目标检测、3D人体姿态估计、模 型轻量化、自监督、少样本、光流、预训练、多模态、AIGC、推理部署等等计算机 视觉任务，在Github上累计获得十万颗star，超过了Pytorch。

无论是巨头公司做商业产品，研究机构发顶会论文，各行各业做AI应用，大学生做毕 业设计，中小学生参加科创竞赛，都可以站在OpenMMLab巨人肩膀上，开箱即用， 开发自己的人工智能项目。 也许大家的下一个课程作业，下一场kaggle竞赛，下一 篇毕业论文，下一家入职的公司，就能用到OpenMMLab。

OpenMMLab所有算法库都在Github上免费开源，并且有专人维护，我们可以进入每 个算法库的Github主页，点star或者提issue、提PR，下载所有的源代码和模型文 件。

OpenMMLab 包含了多个项目，涵盖了图像分类、目标检测、语义分割、人脸识别、人体姿态估计、视频理解、文本生成等多个任务。每个项目都提供了灵活的配置系统、丰富的数据增强、模块化的设计和易于扩展的接口，以满足不同场景的需求。

其中包含的领域有：

• 学术：提供高质量代码框架和算法基准，促进学术界健康、快速发展。
• 产业：缩短算法落地链条，促进产学研打通；为行业降本增效。
• 生态：提高中国在 AI 生态上的话语权；促进上下游企业发展。
• 人才：行程持续成长的开源社区，促进 AI 行业人才成长；构建课程体系，助力人才培养。

OpenMMLab各开源算法库详细介绍

明星算法库:MMDetection

目标检测算法库MMDetection，它可以解决目标检测实例分割全景分割 和目标追踪任务 这是OpenMMLab在业界最有影响力的算法库，在github上有2万多star~

OpenMMLab是开源算法体系，它已经提供了各个计算机视觉方向的大量开箱即用的 预训练模型和算法。也就是说 OpenMMLab的算法研究员已经帮我们把这些cv任务的常见算法都现好了!
MMDetection被广泛用于学术界和工业界，很多顶会论文，很多比赛的冠军，很多 商业落地的产品都是基于MMDetection实现的!

MMYOLO

目标检测算法：MMYOLO，它是专门用来解决YOLO目标检测问题 的，它的特点就是特别快!!!

MMOCR

OpenMMLab还有一个文字检测识别的算法库，叫做MMOCR，那这也是计算机视觉很 古老的一个经典问题了，它主要解决三类问题，文本检测就是把图像上的文本区域抠 出来，或者说画出来，文本识别呢是把文字的内容识别出来，关键信息提取呢是对一 些结构化的票据，证件牌照来进行信息的提取。

MMDetection3D

MMDetection3D是专门做3D目标检测的算法库，这个在无人驾驶中用的特别多，要 通过激光雷达和毫米波雷达，感知无人驾驶车周围的3d点云数据，来进行3d目标检 测，很多无人驾驶的初创公司都使用MMDetection3D来实现自己的无人驾驶算法。

MMRotate

MMRotate是专门做旋转目标检测算法库，在传统的目标检测框是横平竖直的，但是 在旋转目标检测框有方向，比如说不同方向的车，不同方向的船，那这是一个比较小 众的研究领域，如果你的研究领域恰恰是旋转框目标检测，那MMRotate将是你最佳 的学习资料!

MMSegmentation

MMSegmentation是专门做图像分割，特别是语义分割的算法库，在街景，在无人 驾驶遥感图像医疗领域，语义分割都是非常重要的算法，任务本质上就是给每一个像 素进行分类。可以用它来识别医疗影像中的病灶区域，肿瘤的区域，遥感图像中河流 山地农田的面积，街景数据里边的马路牙，交通标志和其他车的位置以及车道线，所 以语义分割是一个非常常用的计算机视觉任务，MMSegmentation提供了600多个预 训练模型，复现了40多篇的经典和前沿的语义分割的论文，那如果你想入门语义分割 领域，MMSegmentation将是你最佳的学习资料!

MMpretrain

MMpretrain呢是做图像分类，预训练和多模态的算法库，那图像分类也是计算机视 觉解决的，基础任务之一，用MMpretrain可以实现图像分类，图像描述，视觉问 答，视觉定位和视觉检索。

MMpose

MMPose 是一款基于 PyTorch 的姿态分析的开源工具箱，所谓的姿态估计其实就 是关键点检测，比如说把这么一个人各个的关节骨架的点识别出来，然后串成一个火 柴人，那这就叫做姿态估计，通过姿态估计，我们就能定量的去衡量这个人的行为动 作，比如说健身的打分~

MMHuman3D

MMHuman3D 是一款基于 PyTorch 的人体参数化模型的开源工具箱。
所谓的三维人体姿态估计就是要用一个3d的模型去包络出人体，我们就可以用一个 3d的数字人去拟合一个真人，特别是在动作捕捉领域和虚拟现实领域，有了一个3d 的人，就能跟真实世界的人进行对应了，比如说在足球运动里，在交通事故的模拟 中，甚至在很多的竞技类运动中，都可以用到这个算法。

MMAction2

MMAction2 是一款基于 PyTorch 的视频理解开源工具箱，MMAction2 支持多 种视频理解任务，包括动作识别，时序动作检测，时空动作检测以及基于人体姿态的 动作识别。

MMagic

MMagic 是基于 PyTorch 的图像&视频编辑和生成开源工具箱，MMagic 支持了 流行的图像修复、图文生成、3D生成、图像修补、抠图、超分辨率和生成等任务的应 用。特别是 MMagic 支持了 Stable Diffusion 的微调和许多激动人心的 diffusion 应用，例如 ControlNet 动画生成。MMagic 也支持了 GANs 的插 值，投影，编辑和其他流行的应用。

MMDeploy

MMDeploy 提供了一系列工具，帮助我们更轻松的将 OpenMMLab 下的算法部署到 各种设备与平台上。

Playground

OpenMMLab还有一个趣味应用的游乐场，叫做playground，在playground里有 很多有趣的项目，其中一些项目也很前沿，比如说结合最新的这个SAM视觉大模型， 你可以用它来辅助你标注，用它来做视频实例分割。这样。就可以结合我们其他的算 法库，来开发出你自己的有趣又有用的好玩应用!

OpenMMLab开源生态

全球有超过1800个开发者参与了OpenMMLab开源算法库的代码贡献;OpenMMLab的 使用者涵盖了科研院所，高校和各行各业的商业公司;同时有一些大家耳熟能详的， 影响力非常大的开源项目，也是基于OpenMMLab开发的!