首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
驯服专题
透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路
引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验
阅读更多...
驯服大模型--大模型RAG调优总结
随着ChatGPT的兴起,大语言模型再次走进人们的视野,其在NLP领域表现出的语言识别、理解以及推理能力令人惊叹。越来越多的行业开始探索大语言模型的应用,比如航空、医疗等行业,针对特定领域设计的大模型往往对大模型的回答严谨程度有更高的要求,要求大模型“言之有据“是在解决细分问题是最基本的要求。 在这样的普遍需求之下,本文将介绍针对大模型回复质量的调优方法,主要将以RAG与超参数设置作为主要切
阅读更多...
“让云计算落地”系列之二:驯服OpenStack这匹野马
本文是原创,首发于微信公众号『 Moehoo猛虎 』,扫描可订阅。 【导读】OpenStack是没有驯服的野生千里马,日行千里,可得套上缰绳让马听话了才行,那这活儿又有谁能接得了呢? 在《“让云计算落地”系列之一:OpenStack,不驯的野生千里马》一文中,谈到:OpenStack就像是在水草丰美的草原牧场上养了无数匹野生的千里马,都是宝
阅读更多...
人类早期驯服野生自动驾驶汽车的珍贵史料
金磊 西风 发自 凹非寺量子位 | 公众号 QbitAI “从洛杉矶到拉斯维加斯,谁跑第一,谁就能获得100万美元奖金。” 21年前,美国国防部高级研究计划局(DARPA)局长托尼·特瑟,在一次活动中现场宣布了这么一个决定,并将此命名为“DARPA大挑战赛”(DARPA Grand Challenge)。 这场比赛着实有些特殊,甚至用前无古人来形容都不足为过—— 因为参赛的主角不是人,而是无人驾
阅读更多...
“驯服”振荡运算放大器(1)——补偿内部输入电容
上一章说明了为什么产生振荡,主要有两个原因:一是内部的输入电容,二是外部的容性负载。 如果受反馈网络电阻影响的运算放大器输入电容(加上一些杂散电容)形成的相移或者延迟过大,则简易非反相放大器便会不稳定,或者出现大量过冲和振铃。 主要的方法如下: 一是通过最小化这种连接的电路板线路面积,从而减少该节点的杂散电容。但此种方法在使用某个特定的运算放大器时,输入电容(差分电容+共模电容)为
阅读更多...
【论文泛读25】用于极端多标签文本分类的驯服预处理变压器
贴一下汇总贴:论文阅读记录 论文链接:《Taming Pretrained Transformers for Extreme Multi-label Text Classification》 一、摘要 我们考虑极端的多标签文本分类(XMC)问题:给定一个输入文本,从一个大的标签集合中返回最相关的标签。例如,输入文本可以是Amazon.com的产品描述,标签可以是产品类别。XMC是NLP社区中
阅读更多...