大模型“诸神之战”,落地才是赛点

2024-06-19 19:36

本文主要是介绍大模型“诸神之战”,落地才是赛点,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ChatGPT 诞生已经快一年,你还在与它对话吗?

有的人用来写报告、改代码,让它成为得力帮手;有的人却只是“调戏”个两三回,让它创作诗歌或故事,便不再“宠幸”。

根据网站分析工具 SimilarWeb 的数据,后者情况似乎更多。目前 ChatGPT 的月活数据已经连续三个月下滑,浏览量从四月的 17.6 亿下滑至八月的 14.3 亿,似乎开始有些过气。

一边是 ChatGPT 这样的通用大模型在退烧,一边是行业大模型研发热度只增不减。

国产大模型正在掀起一场“诸神之战”,然而不少企业都被卡在关键一步,那就是落地。

技术仅是门槛,落地才是赛点

和当年互联网“百团大战”比起来,这一回正在上演的“百模大战”要更内卷,也更烧钱。赛迪顾问数据显示,截至 2023 年 7 月,中国已累计有 130 个大模型问世 [1]。

《中国人工智能模型大地图研究报告》也指出,全国正有 14 个省(市)开展大模型研发。研发主体里,既有国内大学、科研机构,也有包括互联网巨头在内的企业,大佬们纷纷披甲上阵,准备迎接狂热的未来 [2]。

比起专业性弱的通用大模型,国内偏爱的行业大模型,基于各行业数据训练,结合专有知识和经验,更适用于具体场景的工作,能真正服务好千行万业。

但如果将大模型的问世比喻成研发的阶段性毕业,如今的现实情况是,没几个行业大模型能成功“上岗”。大模型能重塑行业,听起来似乎还是“空中楼阁”。

这其中最大的拦路石便是“落地难”。因为像“吞金兽”一样的 AI 大模型,训练成本真不是一般的高。没有雄厚的资金做支撑,很难商业落地。

由斯坦福大学发布的 2023 AI Index 年度报告,基于已有大模型披露的硬件和训练时间,对其训练成本进行了估算。

图片

2019 年发布的 GPT-2,被认为是第一个大型语言模型,拥有 15 亿个参数,估计需要五万美元的训练费用 [3]。

仅仅三年时间,2022 年推出的旗舰大型语言模型之一的 PaLM 拥有 5400 亿个参数,估计成本在 800 万美元。它比 GPT-2 大了约 360 倍,成本也高出了 160 倍 [3]。大模型规模变得越来越庞大,但也愈发昂贵。

落地难的原因除了成本高昂,还有 AI 发展的基础“燃料”算力比较有限。

如果把大模型比较一辆车,那它能走多远,正是取决于算力这个引擎。训练大模型,需要将数据集进行重复多轮计算处理,算力大小就代表着数据处理能力的强弱。

面对大模型数量成倍的增长,这几年中国智能算力规模也正在经历井喷式高速增长。

根据 IDC 发布的《2022-2023 中国人工智能计算力发展评估报告》,2023 年中国智能算力规模已达到 427 每秒百亿亿次浮点运算。预计到 2026 年,智能算力规模将进入每秒十万亿亿次浮点运算级别 [4]。

图片

早在今年 4 月 5 日,OpenAI 就以需求量过大为由,暂时关闭了 ChatGPT Plus 的付费渠道,这意味着仅发布几个月,OpenAI 就开始面临算力缺口 [5]。

大模型这场豪华游戏,能留在牌桌的玩家,注定只是少数。

所以别看大模型喧嚣盛极一时,但当面对成本、算力等现实问题时,国内外市场也正在出现更多理智思考——无法落地商用的通用大模型只能是玩具,成为企业应用的行业大模型才有产业价值 [6]。

AI 深入行业,

知识计算是关键

在国内,从华为云盘古大模型、阿里通义千问,再到 360 智慧大脑、智谱 AI ChatGLM 等,AI 大模型层出不穷。

不少人开始好奇《流浪地球》里不断学习,变得无所不能的最高人工智能莫斯是不是要走进现实了?

也有人担心有朝一日自己的饭碗会不会被 AI 抢走?但从麦肯锡全球研究院调研数据看,下此定论为时尚早。在 2020 年的人工智能全球调研中,AI 在不同行业的平均渗透率为 12.8%,处于较低水平 [7]。

更关键的是,AI 大模型和打工人并非互相取代的关系。而是大模型带来的新机会,能够提升工作效率、释放员工做更多高价值的事情。

图片

为何现阶段的 AI 深入行业程度还不够?

原因是不同行业都有自己数十上百年的专业积累,却缺乏高效利用的方法。解决这个难题的关键,在知识计算。

所谓知识计算,华为云认为就是把各种形态的知识,通过 AI 技术进行抽取、表达后,协同大量数据进行计算,进而产生更为精准的 AI 模型,从而提高行业效率。

为了能提供满足行业场景的多项技能,华为云团队使用 40TB 的文本数据,包含大量通用知识与行业经验,训练盘古自然语言大模型,为行业大模型打下坚实基础。

下一个问题接踵而至——行业专家与 AI 专家合作时,双方如何互相听得懂?华为云的做法是派 200 个博士深入客户现场,“走田头、跑工地、下矿井、进车间”,抓住 AI 技术创新与业务需求的结合点,解决行业难题。

图片

图片

200 多个博士深入行业现场,抓住 Al 技术创新与业务需求的结合点

像汽车领域,为了找到盘古大模型和自动驾驶行业的切入点,华为云深入一线交流请教,梳理行业业务和技术痛点。

现有自动驾驶技术能应对 95% 的常见驾驶场景,剩余 5% 是各类不常见却不断出现的“长尾问题”,阻碍更高智能化的自动驾驶落地。

盘古汽车大模型基于超车线路构建不同的光照、天气、建筑,快速生成近百个样本,生成灵活编辑的虚拟空间,重塑自动驾驶的训练,让模型更好学习应对“长尾问题”。现在学习一个新的复杂场景,时间能从两周以上缩短到两天内。

图片

除了汽车行业,华为云已陆续推出矿山、药物分子、电力、气象、海浪、铁路、政务、金融、制造等大模型,贡献先进的算法和解决方案,在行业内大展身手。

今年夏天,台风“泰利”“杜苏芮”“苏拉”“海葵”先后接棒登陆沿海地区,路径复杂,影响范围广,致灾程度高。如果能精准预测台风路径、级别和经过的地方,就能提早做准备。

但气象预测一直是科研领域的重难点。而盘古气象大模型,不仅将预测时间从 4-5 小时缩短到十秒内,而且在精度上超过传统数值预报方法。

可以说,AI 预报的出现,给天气预报带来了全新可能。

大模型落地,

盘古还使哪些力

前面提到,训练大模型一天也离不开海量的算力。有人形容算力就像我们日常用的水和电一样,要“一点接入、即取即用”。

大模型热潮下,面对企业算力需求的爆发式增长,“算力饥渴”成为了亟待解决的问题。

华为云基于系统性的创新,升级现有数据中心架构,突破单台服务器部件的限制,拆解和重新组合原来以 CPU 为中心的主从架构,升级为各种资源对等的全互联架构——分布式 QingTian 架构。

分布式 QingTian 架构打破了算力、存储和网络的边界,不仅实现高性能 AI 算力,轻松应对万亿级大模型训练,还将助力各行各业直接上云,一步到位搭建业务,更快更稳更高效。

图片

图片

QingTian 架构是基于高速网络协议的分布式对等全互联架构

得益于这一 AI 算力基础设施 ,企业使用华为云昇腾 AI 云服务时,只需要通过一根光纤,便能直接在云上获取算力,随取随用,让大模型算力触手可及。

今年七月,华为云海宣布在乌兰察布和贵安上线昇腾 AI 云服务,提供更长稳的 AI 算力服务;还发布了乌兰察布汽车专区,为自动驾驶开发提供澎湃算力。

开放性是昇腾 AI 云服务的重要优势之一,除了支持盘古大模型,更适配业界主流的近一百个开源大模型。

例如,美图仅用一个月就将 70 个模型迁移到了华为云昇腾 AI 云服务,同时华为云和美图团队一起进行了算子的优化,AI 性能提升了 30%。

图片

如何将大模型应用到行业具体业务和场景中?除了自己做落地,华为还希望构建起一个繁荣的生态。

大模型的创新,从来都不仅仅是模型自身的创新以及各项 AI 根技术的创新,在算力、算法、平台、应用、服务等方面都需要全链条生态伙伴和客户的参与。

打个比方,盘古大模型就像是各个行业通用的“轮子”,加入生态的伙伴都可以在车上找到自己的位置,共同助力,让这辆车跑得更快,行得更远。

为此,华为云开放了全方位的生态合作路径,希望团结伙伴加入盘古大模型全域协同生态体系,真正让 AI 重塑千行万业。

图片

一直以来,华为云践行的就是做实事、做最难的事。

一方面深耕算力,打造强有力的算力底座,支撑人工智能事业发展;另一方面结合大模型,从通用大模型到行业大模型的研究创新,来让人工智能真正服务好千行万业。

9 月 20-22 日,华为全联接大会在上海举办,大会以“加速行业智能化”为主题,汇聚业界思想领袖、商业精英、技术大咖、先锋企业、运营商、生态伙伴以及开发者等产业伙伴,共同探讨智能化技术的发展方向和未来机遇,加速行业智能化。

华为云认为,人工智能的发展,关键要“走深向实”,赋能产业升级,服务好千行万业、服务好科学研究,唯有这样,才能共赢人工智能新时代。

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

这篇关于大模型“诸神之战”,落地才是赛点的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1075950

相关文章

乐鑫 Matter 技术体验日|快速落地 Matter 产品,引领智能家居生态新发展

随着 Matter 协议的推广和普及,智能家居行业正迎来新的发展机遇,众多厂商纷纷投身于 Matter 产品的研发与验证。然而,开发者普遍面临技术门槛高、认证流程繁琐、生产管理复杂等诸多挑战。  乐鑫信息科技 (688018.SH) 凭借深厚的研发实力与行业洞察力,推出了全面的 Matter 解决方案,包含基于乐鑫 SoC 的 Matter 硬件平台、基于开源 ESP-Matter SDK 的一

一份LLM资源清单围观技术大佬的日常;手把手教你在美国搭建「百万卡」AI数据中心;为啥大模型做不好简单的数学计算? | ShowMeAI日报

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦! 1. 为啥大模型做不好简单的数学计算?从大模型高考数学成绩不及格说起 司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o),组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试,然后由经验丰富的判卷老师评判得分。 结果如上图所

大语言模型(LLMs)能够进行推理和规划吗?

大语言模型(LLMs),基本上是经过强化训练的 n-gram 模型,它们在网络规模的语言语料库(实际上,可以说是我们文明的知识库)上进行了训练,展现出了一种超乎预期的语言行为,引发了我们的广泛关注。从训练和操作的角度来看,LLMs 可以被认为是一种巨大的、非真实的记忆库,相当于为我们所有人提供了一个外部的系统 1(见图 1)。然而,它们表面上的多功能性让许多研究者好奇,这些模型是否也能在通常需要系

人工和AI大语言模型成本对比 ai语音模型

这里既有AI,又有生活大道理,无数渺小的思考填满了一生。 上一专题搭建了一套GMM-HMM系统,来识别连续0123456789的英文语音。 但若不是仅针对数字,而是所有普通词汇,可能达到十几万个词,解码过程将非常复杂,识别结果组合太多,识别结果不会理想。因此只有声学模型是完全不够的,需要引入语言模型来约束识别结果。让“今天天气很好”的概率高于“今天天汽很好”的概率,得到声学模型概率高,又符合表达

智能客服到个人助理,国内AI大模型如何改变我们的生活?

引言 随着人工智能(AI)技术的高速发展,AI大模型越来越多地出现在我们的日常生活和工作中。国内的AI大模型在过去几年里取得了显著的进展,不少独创的技术点和实际应用令人瞩目。 那么,国内的AI大模型有哪些独创的技术点?它们在实际应用中又有哪些出色表现呢?此外,普通人又该如何利用这些大模型提升工作和生活的质量和效率呢?本文将为你一一解析。 一、国内AI大模型的独创技术点 多模态学习 多

OpenCompass:大模型测评工具

大模型相关目录 大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步,扬帆起航。 大模型应用向开发路径:AI代理工作流大模型应用开发实用开源项目汇总大模型问答项目问答性能评估方法大模型数据侧总结大模型token等基本概念及参数和内存的关系大模型应用开发-华为大模型生态规划从零开始的LLaMA-Factor

模型压缩综述

https://www.cnblogs.com/shixiangwan/p/9015010.html

AI赋能天气:微软研究院发布首个大规模大气基础模型Aurora

编者按:气候变化日益加剧,高温、洪水、干旱,频率和强度不断增加的全球极端天气给整个人类社会都带来了难以估计的影响。这给现有的天气预测模型提出了更高的要求——这些模型要更准确地预测极端天气变化,为政府、企业和公众提供更可靠的信息,以便做出及时的准备和响应。为了应对这一挑战,微软研究院开发了首个大规模大气基础模型 Aurora,其超高的预测准确率、效率及计算速度,实现了目前最先进天气预测系统性能的显著

PyTorch模型_trace实战:深入理解与应用

pytorch使用trace模型 1、使用trace生成torchscript模型2、使用trace的模型预测 1、使用trace生成torchscript模型 def save_trace(model, input, save_path):traced_script_model = torch.jit.trace(model, input)<

关于文章“python+百度语音识别+星火大模型+讯飞语音合成的语音助手”报错的修改

前言 关于我的文章:python+百度语音识别+星火大模型+讯飞语音合成的语音助手,运行不起来的问题 文章地址: https://blog.csdn.net/Phillip_xian/article/details/138195725?spm=1001.2014.3001.5501 1.报错问题 如果运行中报错,且报错位置在Xufi_Voice.py文件中的pcm_2_wav,如下图所示