pai专题

阿里PAI-ChatLearn：大规模 Alignment高效训练框架正式开源

导读 ChatGPT是OpenAI开发的基于大型语言模型(LLM)的聊天机器人，以其令人惊叹的对话能力而迅速火爆并被广泛采用。ChatGPT 成功背后得益于大型语言模型生成领域的新训练范式：RLHF (Reinforcement Learning from Human Feedback)，即以强化学习方式依据人类反馈优化语言模型。不同于传统的深度学习训练，只涉及到单个模型的迭代和优化，以 RLH

【AI】阿里云AI开发平台PAI：构建智能未来

随着人工智能技术的快速发展，越来越多的企业开始寻求利用AI的力量来推动业务创新和转型。阿里云AI开发平台PAI（Platform for AI）正是为满足这一需求而设计的全面解决方案，它为企业提供了一站式的AI开发和服务平台，涵盖了机器学习、深度学习、自然语言处理等多个领域。本文将详细介绍PAI的功能特性、技术架构及应用场景，并探讨如何利用PAI进行高效的人工智能开发。一、PAI简介 P

阿里云PAI大模型评测最佳实践

作者：施晨、之用、南茵、求伯、一耘、临在背景信息内容简介在大模型时代，随着模型效果的显著提升，模型评测的重要性日益凸显。科学、高效的模型评测，不仅能帮助开发者有效地衡量和对比不同模型的性能，更能指导他们进行精准地模型选择和优化，加速AI创新和应用落地。因此，建立一套平台化的大模型评测最佳实践愈发重要。本文为PAI大模型评测最佳实践，旨在指引AI开发人员使用PAI平台进行大模型评测。借助

【CVPR2024】阿里云人工智能平台PAI图像编辑算法论文入选CVPR2024

近期，阿里云人工智能平台PAI发表的图像编辑算法论文在CVPR-2024上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。CVPR（计算机视觉与模式识别会议）是计算机视觉和模式识别领域的顶级国际会议，旨在展示最新的研究进展和技术成就，推动这一领域理论与应用的前沿进展，并通过精选提交的高水平学术论文和实践工作，对学术界和工业界产生深远的影响。此次入选标志着阿里云人工智能平台P

通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践

Qwen2（通义千问2）是阿里云最近推出的开源大型语言模型系列，相比2月推出的Qwen1.5，Qwen2实现了整体性能的代际飞跃，大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。其中，Qwen2系列包含5个尺寸的预训练和指令微调模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中，Qwen2-57B-A14B为混合专家模

利用阿里云PAI平台微调ChatGLM3-6B

1.介绍ChatGLM3-6B ChatGLM3-6B大模型是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。 1.1 模型规模模型规模通常用参数数量（parameters）来衡量。参数数量越多，模型理论上越强大，但也更耗费资源。以下是一些典型模型的参数数量对比： ChatTGLM3-6b：6 billion (60亿) 参数 GPT-3：175 billion (1750亿

阿里云机器学习pai的使用数据的使用以及模型的存储

1.数据的使用读取pickle import osimport sysimport argparseimport tensorflow as tfimport picklefrom tensorflow.python.lib.io import file_ioFLAGS = Nonedef main(_): dir = os.path.join(FLAGS.buckets

通过阿里云的PAI基于开源LLM搭建RAG检索增强对话系统

5月9日参加阿里云AI云峰会活动，学习了下如何借助阿里云的PAI服务进行搭建RAG检索增加对话系统。前提：为了方便省钱，建议先通过免费的优惠圈，这样就可以先不花钱学习一下啦。开始实验之前，请务必打开阿里云免费试用 - 阿里云，先后搜索“EAS”和“oss”，领取试用活动，如下图： 1. EAS简介 EAS（Elastic Algorithm Service）是PAI的模型在线服务

阿里巴巴的相关-----ODPS技术架构、Java Web架构、PAI机器学习平台

摘要：ODPS是分布式的海量数据处理平台，提供了丰富的数据处理功能和灵活的编程框架。本文从ODPS面临的挑战、技术架构、Hadoop迁移到ODPS、应用实践注意点等方面带领我们初步了解了ODPS的现状与前景。初识ODPS ODPS是分布式的海量数据处理平台，提供了丰富的数据处理功能和灵活的编程框架，主要的功能组件有如下几个。 Tunnel服务：数据进出ODPS的唯一通道，提供高并

阿里云PAI + pytorch大语言模型开发环境简介

文章目录阿里云PAI + pytorch大语言模型开发环境简介PAI-DSW 快速入门1. 安装和配置2. 模型训练2.1 数据集准备2.2 模型训练脚本准备2.3 提交训练作业 3. 部署模型为推理服务4. 调用推理服务阿里云PAI + pytorch大语言模型开发环境简介 PAI-DSW 快速入门阿里云机器学习PAI（Platform of Artificial I

通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践

作者：汪诚愚（熊兮）、高一鸿（子洪）、黄俊（临在） Qwen1.5（通义千问1.5）是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版，该模型推出了多个规模，从0.5B到72B，满足不同的计算需求。此外，该系列模型还包括了Base和Chat等多个版本的开源模型，为全球的开发者社区提供了空前的便捷性。阿里云的人工智能平台PAI，作为一站式的机器学习和深度学习平台，对Qwen

AI加速引擎PAI-TorchAcc：OLMo训练加速最佳实践

作者：黄奕桐、沈雯婷、艾宝乐、王昂、李永摘要阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。在保证模型效果和易用性的前提下，PAI-TorchAcc相对 PyTorch 性能在 OLMo 1B 上加速比达到 1.64X，在 OLMo 7B 上加速比达到 1.52X。本文分析了 PAI-TorchAcc 的性能收益来源。

【机器学习PAI实战】—— 玩转人工智能之商品价格预测...

模型训练与在线预测服务、推荐算法四部曲、机器学习PAI实战、更多精彩，尽在开发者分会场【机器学习PAI实战】—— 玩转人工智能之商品价格预测【机器学习PAI实战】—— 玩转人工智能之你最喜欢哪个男生？【机器学习PAI实战】—— 玩转人工智能之美食推荐【机器学习PAI实战】—— 玩转人工智能之利用GAN自动生成二次元头像

OOALV 有PAI事件时刷新

OOALV常用的刷新有三处:内表刷新、LAYOUT刷新和FIELDCAT刷新内表刷新：内表刷新只需要在对应的事件方法中调用ALV的REFRESH_TABLE_DISPLAY方法就可以了 DATA : LV_STABLE TYPE LVC_S_STBL. "刷新稳定性 LV_STABLE-ROW = '1'. LV_STABLE-COL = '1'. CAL

[论文笔记] PAI-Megatron 源码解读之Mistral的滑动窗口sliding window

这段代码是 _make_causal_mask 函数中处理滑动窗口局部注意力的部分。这里的目的是创建一个额外的掩码，以便在自注意力机制中只考虑每个位置附近的一定数量的位置，而不是所有之前的位置。这通常用于减少计算复杂性和提高长序列处理的效率。代码分析如下： diagonal = past_key_values_length - sliding_window

轻松上手：通过阿里云PAI QuickStart微调部署Qwen-72B-Chat模型

作者：熊兮、求伯、一耘引言通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型。Qwen-72B的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手。阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台，提供AI开发全链路

快速玩转 Mixtral 8x7B MOE大模型！阿里云机器学习 PAI 推出最佳实践

作者：熊兮、贺弘、临在 Mixtral 8x7B大模型是Mixtral AI推出的基于decoder-only架构的稀疏专家混合网络（Mixture-Of-Experts，MOE）开源大语言模型。这一模型具有46.7B的总参数量，对于每个token，路由器网络选择八组专家网络中的两组进行处理，并且将其输出累加组合，在增加模型参数总量的同时，优化了模型推理的成本。在大多数基准测试中，Mixtral

使用PAI-DSW搭建基于LangChain的检索知识库问答机器人

教程简述在本教程中，您将学习如何在阿里云交互式建模（PAI-DSW）中，基于LangChain的检索知识库实现知识问答。旨在建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。 LangChain是一个开源的框架，可以让AI开发人员将像GPT-4这样的大语言模型（LLM）和外部数据结合起来，从而在尽可能少消耗计算资源的情况下，获得更好的性能和效果。本教程启动LangChain

云服务器免费领用，体验PAI-EAS 5分钟部署Stable Diffusion webUI

最近发现大家都在体验AIGC的Stable Diffusion 文生图模型，很多博主也分享了详细的本地部署保姆级教程。为什么选择本地部署Stable Diffusion 因为没有生成数量的限制，不用花钱，不用被NSFW约束，生成时间快，不用排队，自由度高，插件丰富，功能众多，可以调试和个性化的地方也更多。但对于单纯想体验的“小白”来说，本地部署依旧难以上手，并且对电脑配置也有一定要求。

使用 PAI-Blade 加速 StableDiffusion Fine-Tuning

01 背景 Stable Diffusion 模型自从发布以来在互联网上发展迅猛，它可以根据用户输入的文本描述信息生成相关图片，用户也可以提供自己喜爱的风格的照片，来对模型进行微调。例如当我们输入 "A photo of sks dog in a bucket" ，StableDiffusion 模型会生成类似下面的图片： 02 PAI-Blade 加速 PyTorch

阿里云人工智能平台PAI多篇论文入选EMNLP 2023

近期，阿里云人工智能平台PAI主导的多篇论文在EMNLP2023上入选。EMNLP是人工智能自然语言处理领域的顶级国际会议，聚焦于自然语言处理技术在各个应用场景的学术研究，尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新，在学术和工业界都有巨大的影响力。此次入选意味着阿里云人工智能平台PAI自研的自然语言处理算法达到了全球业界先

【万字长文】基于阿里云PAI平台搭建知识库检索增强的大模型对话系统

作者：施晨、尹丰彬、张晓雯、李林杨、黄俊等写在前面本方案已在阿里云线上多个场景落地，将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%，答疑采纳率70+%，显著提升答疑效率。本方案最佳实践已上线阿里云官网，详细介绍了使用PAI和向量检索搭建大模型知识库对话的具体操作步骤，开始服务云上客户使用。详见：PAI+向量检索快速搭建大模型知识库对话

DAMENG PAI 数据库一体机亮相DTCC 2023 ，与您共赴一场夏日技术盛宴！

8月16日-18日第十四届中国数据库技术大会将在北京国际会议中心隆重召开达梦数据邀您共赴 DTCC 2023 共话数据库一体机软硬融合实践之道 DTCC 2023 先睹为快本次大会以“数智赋能共筑未来”为主题，设置 2 大主会场，20+ 技术专场，将邀请超百位行业专家，重点围绕 HTAP 与多模数据库应用、图数据技术、海量数据架构下的应用实践、云原生数据库、异构环境下的数据管理

【机器学习PAI实践十二】机器学习实现男女声音识别分类（含语音特征提取数据和代码）...

背景随着人工智能的算法发展，对于非结构化数据的处理能力越来越受到重视，这里面的关键一环就是语音数据的处理。目前，许多关于语音识别的应用案例已经影响着我们的生活，例如一些智能音箱中利用语音发送指令，一些搜索工具利用语音输出文本代替键盘录入。本文我们将针对语音识别中最简单的案例“男女声音”识别，结合本地的R工具以及机器学习PAI，为大家进行介绍。通过本案例，可以将任何用户的语音数据标记出性别，

YOLO系列：YOLO v1-v8、YOLOx、PP-YOLOE、DAMO-YOLO、YOLOX-PAI 设计思路

从YOLO v1-v8 YOLO v1YOLO 流程网格（grid）、锚点（anchors）、锚框（anchor boxes）交并比为什么把图像分割成 n*n 的格子呢？边界框的作用？为什么需要俩个边界框？那如果一个格子有俩个以上的对象呢？主干网络损失函数解析为什么不是一个损失函数？怎么判断是否有物体以及预测准确性？非极大值抑制去除重复预测结果YOLO v1 的优化思路 YOLO v2更轻量