karpathy专题

AI 大佬 Andrej Karpathy 推荐：LLM 性能提升的秘密 —— FineWeb 数据集

文章目录 1. FineWeb 是什么？2. 如何创建高质量网络数据集？2.1 如何获得用于训练 LLM 的网络数据？2.2 如何评估数据集的质量？2.3 如何进行 FineWeb 的数据处理？最近，AI 大牛 Andrej Karpathy 推荐了一项名为 FineWeb-Edu 的工作。对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构

karpathy Let‘s build GPT

1 introduction 按照karpathy的教程，一步步的完成transformer的构建，并在这个过程中，加深对transformer设计的理解。 karpathy推荐在进行网络设计的过程中，同时利用jupyter notebook进行快速测试和python进行主要的网络的构建。 2 网络实现 2.1 数据的构建读取text text = open("input.txt"

karpathy build make more --- 2

1 Introduction 用多层神经网络实现更复杂一点名字预测器。 2 方案采用两层全连接层，中间采用tanh作为激活函数，最后一层用softmax，loss用cross-entropy. 2.1 实施 step1: 生成输入的字符,输入三个字符，输出一个字符. 采用了队列的方式，好处是能完整覆盖收尾； import torchdef build_datasets(lines)

karpathy building make more --- 1

1 Introduction 作为一个机器学习的小白，希望和karpathy 大神的这个课程，掌握机器学习的基础概念和方法。 2 任务根据一个名字文件，做一个起名字的模型。 3 方案1 用统计的方法来实现，我们希望统计每个词的关联性，一个词后面接下个词的概率。 3.1 思路 step1: 从文本上把所有的text读出来，然后看看有哪些字符； lines = [line.strip

AI大模型日报#0409：Llama 3下周发布、特斯联20亿融资、Karpathy新项目

导读：欢迎阅读《AI大模型日报》，内容基于Python爬虫和LLM自动生成。目前采用“文心一言”生成了每条资讯的摘要。标题: 120亿Stable LM 2上线即开源！2万亿token训练，碾压Llama 2 70B 摘要: Stable LM 2 12B参数版本发布，性能更强，包含基础模型和指令微调模型，训练于七种多语言和2万亿Token数据集上。在基准测试中赶超Llama 2 70

[GPT]Andrej Karpathy微软Build大会GPT演讲(下)--该如何使用GPT助手

该如何使用GPT助手--将GPT助手模型应用于问题现在我要换个方向，让我们看看如何最好地将 GPT 助手模型应用于您的问题。现在我想在一个具体示例的场景里展示。让我们在这里使用一个具体示例。假设你正在写一篇文章或一篇博客文章，你打算在最后写这句话。加州的人口是阿拉斯加的 53 倍。因此出于某种原因，您想比较这两个州的人口。想想我们自己丰富的内心独白和工具的使用，以及

Nvidia 推出了本地版聊天 Chat with RTX；OpenAI联创Karpathy宣布离职专注个人项目

🦉 AI新闻 Nvidia 推出了本地版聊天 Chat with RTX 摘要：英伟达最近发布了名为“Chat with RTX”的Demo版个性化AI聊天机器人，适用于Windows平台，需要Nvidia的30系/40系显卡，显存至少为8GB，系统配置包括16GB以上的运行内存、Win 11系统、535.11或更高版本的显卡驱动。该聊天机器人支持多种文件格式和YouTube播放列表的转

突发！AI大牛Andrej Karpathy离开OpenAI

刚刚，AI大牛Andrej Karpathy官宣了一条重要消息：他昨天已经从OpenAI离职，不过这中间没有什么戏剧性冲突，他只是想去尝试一下自己的个人项目。 Karpathy在官宣离职的推文中写道，「是的，我昨天离开了OpenAI。首先，没发生什么特别的事情，这不是由于任何特定事件、问题或者争议导致的（但请继续提供阴谋论，因为它们确实很有趣 :））。实际上，在过去的大约一年时间里，在OpenA

突发！李飞飞高徒Karpathy离职，特斯拉自动驾驶要悬？

视学算法报道编辑：David Joey 好困【新智元导读】刚刚，特斯拉AI高级总监、自动驾驶负责人Andrej Karparthy宣布离职，马斯克推特亲切送别。失去了他，特斯拉自动驾驶要「凉凉」吗？刚刚，特斯拉又失一位技术大牛！特斯拉AI高级总监、自动驾驶视觉团队负责人Andrej Karpathy发布推文，宣布自己将离开特斯拉。此前，他供职特斯拉已有5年，直接向大老

[GPT]Andrej Karpathy微软Build大会GPT演讲(下)--该如何使用GPT助手

该如何使用GPT助手--将GPT助手模型应用于问题现在我要换个方向，让我们看看如何最好地将 GPT 助手模型应用于您的问题。现在我想在一个具体示例的场景里展示。让我们在这里使用一个具体示例。假设你正在写一篇文章或一篇博客文章，你打算在最后写这句话。加州的人口是阿拉斯加的 53 倍。因此出于某种原因，您想比较这两个州的人口。想想我们自己丰富的内心独白和工具的使用，以及

[GPT]Andrej Karpathy微软Build大会GPT演讲(上)--GPT如何训练

前言 OpenAI的创始人之一，大神Andrej Karpthy刚在微软Build 2023开发者大会上做了专题演讲：State of GPT（GPT的现状）。他详细介绍了如何从GPT基础模型一直训练出ChatGPT这样的助手模型（assistant model）。作者不曾在其他公开视频里看过类似的内容，这或许是OpenAI官方第一次详细阐述其大模型内部原理和RLHF训练细节。难能可贵的

[GPT]Andrej Karpathy微软Build大会GPT演讲(上)--GPT如何训练

前言 OpenAI的创始人之一，大神Andrej Karpthy刚在微软Build 2023开发者大会上做了专题演讲：State of GPT（GPT的现状）。他详细介绍了如何从GPT基础模型一直训练出ChatGPT这样的助手模型（assistant model）。作者不曾在其他公开视频里看过类似的内容，这或许是OpenAI官方第一次详细阐述其大模型内部原理和RLHF训练细节。难能可贵的