李沐讲座：大语言模型的实践经验和未来预测 | 上海交大

2024-09-02 03:12
文章标签 李沐 上海交大 实践经验 讲座 模型 语言 预测 未来

本文主要是介绍李沐讲座：大语言模型的实践经验和未来预测 | 上海交大，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文简介

本博客记录了李沐关于语言模型与职业生涯分享的精彩讲座，涵盖了大语言模型的核心要素、工程实践中的挑战，以及演讲者个人职业生涯中的心得体会。

李沐简介

李沐（Mu Li）是一位在人工智能与深度学习领域具有广泛影响力的计算机科学家。他拥有丰富的学术背景和产业经验，曾在百度和Amazon等知名科技公司工作，并有两次成功的创业经历。李沐以其在深度学习、分布式系统以及大规模机器学习方面的杰出贡献而闻名。他不仅在学术界有着深厚的研究积累，还致力于将前沿技术应用于实际场景，推动了许多关键技术的发展。

作为一位活跃的教育工作者和技术布道者，李沐在多个顶尖大学教授人工智能课程，并通过在线教育平台广泛传播人工智能与深度学习的知识。他的讲座和课程内容深受学生和工程师的欢迎，启发了众多年轻学者和开发者。

李沐在职业生涯中一直秉持着创新与实践并重的理念，积极探索和应用最新的技术，以应对全球范围内的技术挑战和商业机会。他的工作不仅推动了人工智能领域的进步，也对未来技术的发展方向产生了深远的影响。

视频地址

  • 讲座视频 url
    • https://www.bilibili.com/video/BV1dHWkewEWz/?vd_source=ab3bc32ecf95e626ff9c8dab4c9ec276
    • https://www.youtube.com/watch?v=ziHUcDh0DwM

语言模型

  • 语言模型最重要的三个模块：算法，数据，算力
    在这里插入图片描述
  • 水冷用来散热很重要。一个机架里面能放 72 张卡。带宽很重要。内存（应该就是显卡显存）目前能做到 192GB，未来大概率也超过不了 200G，因为工艺问题
    在这里插入图片描述
  • 一个芯片 1kW，很耗电。说是建个发电厂的价格可能比付电费低…
    在这里插入图片描述
  • 模型会变得越来越大、便宜、快
    在这里插入图片描述
  • 语言模型的训练数据量大概就是目前的 10-50T 量级了。模型大小大概率也是 100-500B
    在这里插入图片描述
  • video 生成比较贵，数据很重要，数据处理的成本可能比模型训练还要高
    在这里插入图片描述
  • 自动驾驶为什么能做好，认为是封闭路况里面开车相对来说比较简单，然后每个车上有大量的 sensor，能够采集大量的数据用于训练
    在这里插入图片描述
  • 目前能做文科的简单任务。理科只能做部分简单任务。蓝领工作目前做不了
    在这里插入图片描述
  • 只要有足够数据，就能被自动化
    在这里插入图片描述
  • 预训练是工程问题，后训练是算法问题，也很重要
    在这里插入图片描述
  • 垂类模型通用能力也不能差
    在这里插入图片描述
  • 自建机房更便宜。GPU 价格成本没区别，主要是存储会便宜很多
    在这里插入图片描述
  • 大语言模型没什么特别的，只是比ML model 大了 100 倍，工程和算法在模型大了之后有需要优化的地方
    在这里插入图片描述

个人职业生涯分享

  • 学习过的学校很多，工作过的大公司有百度和 Amazon，两次创业经历。
    加粗样式

工作、读博、创业的差别

  • 基本目标、要做的事、驱动力要求这三者是有区别的
    在这里插入图片描述

  • 打工人的好处和劣势，压力整体是最小的。有相对稳定的收入和空余时间
    在这里插入图片描述

  • PHD，写作演讲的能力很重要，读博能锻炼。很多公司要 PHD，也不是一定要 PHD 才行，只是市场上 PHD 量大管饱，所以就招 PHD。和导师不适应会很麻烦
    在这里插入图片描述

  • 创业有当海盗的乐趣，看哪里有船就去抢一把，抢到就爽一把，没抢到就死掉了。
    在这里插入图片描述

  • 从动机触发进行选择
    在这里插入图片描述

  • 持续提升自我的方法。多总结。
    在这里插入图片描述

  • 总结。认为会有很多新技术不断被发明出来，即便没有新技术，就是本代的 transformer 技术就已经能在未来几年给世界带来大的变革了。但也是最坏的时代，因为电梯上很多人，要更努力才行。
    在这里插入图片描述

这篇关于李沐讲座：大语言模型的实践经验和未来预测 | 上海交大的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1128832。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟 开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚 第一站：海量资源，应有尽有 走进“智听
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

介绍 R语言的扩展物种堆积图是一种数据可视化工具，它不仅展示了物种的堆积结果，还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异，为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

上个月，FLUX 席卷了互联网，这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型，而这一点已被证明是有依据的。随着越来越多的流行图像生成工具（如 Stable Diffusion Web UI Forge 和 ComyUI）开始支持这些模型，FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2