本文主要是介绍碎碎念：关于小模型或者端侧大模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
今年有个有趣的现象，大厂分别推出能够在端侧运行的小模型
Microsoft：Phi-3 Vision 4.2b，支持 文本、图像输入，可以运行在 surface 上
Google：Gemini Nano 1.8b/3.2b，支持文本，可以运行在手机上
Apple：Apple Intelligence 3b，支持文本图像，可以运行在手机上
意味着，大厂们都想通过大模型来强化自家系统的竞争力，端侧的大模型可以更快的响应用户，体验上更加丝滑，也可以结合云端大模型来提供更加准确和高质量的回答。
且，端侧大模型不仅仅可以用于 chat 场景，也可以用于端侧推理和决策，作为其他功能的基石，因为端侧没有隐私和 token 费用问题，可以更加放开手脚去做
例如 windows recall 功能，其通过定期的截图和系统级的一些 meta 信息，来理解、存储、分析用户行为，可以解决用户 “我上周看到的手机是在哪个网站” 这种跨时间和涉及隐私的问题。
我的观点一直是，一个有足够用户数据和算力的 算法/模型，一定是比用户更懂自己的。
一个简单的例子，单词记忆，在 qwerty learner 中用户是通过键盘输入来记忆单词的，那算法就可以拿到用户输入的速度、字母间的延迟等信息，来了解用户对每个单词的记忆程度，来更加合理的安排后续的复习甚至是学习计划，这一定比用户自己安排的复习计划质量更高
这个过程中，会有大量的模型调用和隐私信息，而端侧模型都没有这个问题，可以更加深入的去做。
另一个问题，既然说越大的模型成本越高，为什么是大模型风风火火一年多后，才有高质量的小模型？ 以及为什么创业公司不能从小模型做起？
这两个其实是一个问题。
目前绝大多数小模型都是在大模型的基础上，通过知识蒸馏等类似技术训练而来，小模型的能力依赖于大模型能力的发展。但该训练速度非常快，微软的 phi-3 Vision 仅训练了 1.5 天，即小模型可以很快的跟上大模型的发展。
当大模型成为用户的刚需和生态的基石，端侧硬件发展也会跟上，我们未来肯定会看到更快 更强 更大的模型在端侧运行
最后，让我们抛开一切限制想象一下，未来我们会有一个终端，它可以不间断采集我们的屏幕、生活、声音等信息，我们也可以主动去加载不同的知识库，并在端侧进行储存和索引。其也拥有调用系统和互联网服务进行行动的能力，也能通过多层调用进行逻辑长考的能力。
那么，“还有贾维斯什么事？”，那么，“还有人类什么事”，那么…
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
这篇关于碎碎念：关于小模型或者端侧大模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
