tuning专题

大模型Prompt-Tuning技术入门

Prompt-Tuning方法 1 NLP任务四种范式目前学术界一般将NLP任务的发展分为四个阶段，即NLP四范式：第一范式：基于「传统机器学习模型」的范式，如TF-IDF特征+朴素贝叶斯等机器算法；第二范式：基于「深度学习模型」的范式，如word2vec特征+LSTM等深度学习算法，相比于第一范式，模型准确有所提高，特征工程的工作也有所减少；第三范式：基于「预训练模型+fine

LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解优缺点对比[P-tuning、Lora、Prefix tuning等]

LLM微调方法(Efficient-Tuning)六大主流方法：思路讲解&优缺点对比[P-tuning、Lora、Prefix tuning等] 由于LLM参数量都是在亿级以上，少则数十亿，多则数千亿。当我们想在用特定领域的数据微调模型时，如果想要full-tuning所有模型参数，看着是不太实际，一来需要相当多的硬件设备（GPU），二来需要相当长的训练时间。因此，我们可以选择一条捷径，不需要微

oracle sql tuning之非常实用的4条sql语句

--[1]查看full sql text SELECTp.sql_fulltext FROM gv$locked_object l, gv$session s, gv$sqlarea p WHERE l.session_id = s.sid and s.sql_id = p.sql_id; --[2]查看表和锁的相关信息 SELECTdistinct s.u

【李宏毅-生成式 AI】Spring 2024, HW5：LLM Fine-tuning 实验记录

文章目录 1. Task Overview2. Overall Workflow3. Dataset 介绍4. 代码介绍4.1 环境介绍4.2 下载 dataset4.3 下载并加载模型4.2 Notebook 代码1）import 部分2）固定 seed3）加载 LLM4）加载 tokenizer5）设置解码参数6）⭐ LLM 和 tokenizer 使用示例7）generate_trai

RAG vs Fine-Tuning 微调哪种大模型（LLM）技术更好？

数据科学和机器学习的研究人员和从业者都在不断探索创新策略来增强语言模型的能力。在众多方法中，出现了两种突出的技术，即检索增强生成 (RAG)和微调。本文旨在探讨模型性能的重要性以及 RAG 和微调策略的比较分析。模型性能在 NLP 中的重要性增强用户体验改进的模型性能可确保 NLP 应用程序能够有效地与用户沟通。这对于聊天机器人、虚拟助手和客户支持系统等应用程序至关重要，因为准确理解用

论文研读 Automatic TCP Buffer Tuning

由于“动态右尺寸”（DRS）的方法关于其自动调优方法的介绍并不清楚，改读了论文"Automatic TCP Buffer Tuning"。其中调节接收缓存大小的想法就是，“动态调整接收套接字缓冲区的一个想法是在缓冲区大部分为空时增加缓冲区大小，因为缺少排队等待应用程序传输的数据表明数据速率低，这可能是接收窗口限制连接的结果。在恢复期间达到峰值使用量（由丢失的数据包指示），因此，如果缓冲区大小远大于

Fine-tuning和模型训练的关系

概述 Fine-tuning和模型训练不是完全相同的概念，但它们之间有密切的关系，都是机器学习和深度学习过程中的重要步骤。模型训练是一个更广泛的概念，指的是使用数据去调整模型的内部参数，以使得模型能够从输入数据中学习并做出预测或决策。这个过程通常包括前向传播（forward pass）、计算损失函数（loss function）、反向传播（backward pass）以及参数更新等步骤。模型

参数高效微调PEFT(二)快速入门P-Tuning、P-Tuning V2

参数高效微调PEFT(二)快速入门P-Tuning、P-Tuning V2 参数高效微调PEFT(一)快速入门BitFit、Prompt Tuning、Prefix Tuning 今天，我们继续了解下来自清华大学发布的两种参数高效微调方法P-Tuning和P-Tuning v2。可以简单的将P-Tuning是认为针对Prompt Tuning的改进，P-Tuning v2认为是针对Prefix

Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（十）使用 LoRA 微调常见问题答疑

LlaMA 3 系列博客基于 LlaMA 3 + LangGraph 在windows本地部署大模型（一）基于 LlaMA 3 + LangGraph 在windows本地部署大模型（二）基于 LlaMA 3 + LangGraph 在windows本地部署大模型（三）基于 LlaMA 3 + LangGraph 在windows本地部署大模型（四）基于 LlaMA 3

【LLM多模态】综述Visual Instruction Tuning towards General-Purpose Multimodal Model

note 文章目录 note论文1. 论文试图解决什么问题2. 这是否是一个新的问题3. 这篇文章要验证一个什么科学假设4. 有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？5. 论文中提到的解决方案之关键是什么？6. 论文中的实验是如何设计的？7. 用于定量评估的数据集是什么？代码有没有开源？8. 论文中的实验及结果有没有很好地支持需要验证的科学假设？9. 这篇论文到底有

ChatGLM2-6B 模型基于 [P-Tuning v2]的微调

ChatGLM2-6B-PT 一、介绍 1、本文实现对于 ChatGLM2-6B 模型基于 [P-Tuning v2](https://github.com/THUDM/P-tuning-v2) 的微调 2、运行至少需要 7GB 显存 3、以 [ADGEN](https://aclanthology.org/D19-1321.pdf) (广告生成) 数据集为例介绍代码的使用方法。

Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（一） LLaMA-Factory简介

LlaMA 3 系列博客基于 LlaMA 3 + LangGraph 在windows本地部署大模型（一）基于 LlaMA 3 + LangGraph 在windows本地部署大模型（二）基于 LlaMA 3 + LangGraph 在windows本地部署大模型（三）基于 LlaMA 3 + LangGraph 在windows本地部署大模型（四）基于 LlaMA 3

Web agent 学习 2：TextSquare: Scaling up Text-Centric VisualInstruction Tuning

学习论文：TextSquare: Scaling up Text-Centric Visual Instruction Tuning（主要是学习构建数据集）递归学习了：InternLM-XComposer2: Mastering Free-form Text-Image Composition and Comprehension in Vision-Language Large Models（

微调（fine-tuning）和泛化（generalization）

主要讨论两个主要方面：微调（fine-tuning）和泛化（generalization）。文章目录微调 Fine-tune泛化 Generalization 微调 Fine-tune 对于微调：选择合理的步骤（也就是迭代轮数或称为epochs），以获得良好的下游任务性能，但同时避免过拟合。微调是指在一个已经在大规模数据上预训练好的模型的基础上，针对特定任务领域的数据进行调

七、OpenAI之微调(Fine-tuning One)

将学习怎样为你的应用定制一模型 1 介绍微调让你获得更多的可用模型通过API提供：比提示工程返回更高质量的结果能够训练更多的样本，而不只是一个提示工程较短的提示工程从而节省了token更低的延时请求 OpenAI的文本生成模型已经在一个巨大的文本上经过预训练。为了高效的使用模型，我们引入了一些指令，有时是一些样本在提示词中。使用案例展示怎样执行一个任务，也就是学说的“少量样本学习”

Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally

Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally 摘要卷积神经网络（CNN）在生物医学图像分析中的广泛兴趣广泛传播，但其成功受到生物医学成像缺乏大量标注数据集的阻碍。标注生物医学图像不仅繁琐而且耗时，而且要求昂贵，专业化的知识和技能不容易获取。

30 分钟快快乐乐学 SQL Performance Tuning

有些程序员在撰写数据库应用程序时，常专注于 OOP 及各种 framework 的使用，却忽略了基本的 SQL 语句及其「性能 (performance) 优化」问题。版工曾听过台湾某半导体大厂的新进程序员，所组出来的一段 PL/SQL 跑了好几分钟还跑不完；想当然尔，即使他的 AJAX 及 ooxx 框架用得再漂亮，系统性能也会让使用者无法忍受。以下是版工整理出的一些数据库规划、SQL perf

SQL Tuning 顺序

---优化顺序--- 1 按照SP的要求,重新写SQL,达到如下效果: A 先做Where, 再作笛卡尔积: 可是使用子查询 Or TempTable Or TableVariable实现. 2 添加NC Index: 尽量少添加NC Index,因为它可能导致A查询快了,B查询又慢了.优先"子查询","TempTable","TableVariable"

论文解读：(CAVPT)Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model

v1文章名字：Dual Modality Prompt Tuning for Vision-Language Pre-Trained Model v2文章名字：Class-Aware Visual Prompt Tuning for Vision-Language Pre-Trained Model 文章汇总对该文的改进：论文解读：(VPT)Visual Prompt Tuning_vpt

大模型的实践应用21-P-tuning微调技术详细介绍，计算效率与模型性能比较

大家好，我是微学AI，今天介绍一下大模型的实践应用21-P-tuning微调技术详细介绍，计算效率与模型性能比较。 P-tuning是一种高效的微调方法，主要用于预训练的大型语言模型（LLMs）。这种方法的核心思想是将传统的、固定的提示（prompt）转换为可学习的嵌入（embedding）层，并通过一个简单的神经网络（如MLP或LSTM）对这些嵌入进行处理。这样，模型就可以根据特定的任务动态地调

[阅读笔记18][CITING]LARGE LANGUAGE MODELS CREATE CURRICULUM FOR INSTRUCTION TUNING

这篇论文是23年10月提交到arxiv上的，也是用大模型蒸馏小模型的思路。作者在这篇论文中提出了课程指令微调，大体流程如下图所示，教师模型给出一个问题，让学生模型回答一下，这时候学生回答大概率不够准确，这时候把学生的回答以及评价该问题的标准输入给教师模型，让教师模型给出一个修改后的回答，然后让学生根据修改过的回答进行微调，持续这个过程若干轮就能得到一个不错的学生模型。作者的灵感来

Qualcom camera tuning

[FrontCam][Capture][HDR] HDR影像会有异常的块状噪声 HDR拍一次，会出现二张照片，一张是亮的，一张是暗的，亮的那张主要是通过加gain提高亮度，噪点比暗的照片要大。噪点大就会感觉像块状。后摄其实也有此问题，只是由于后摄是高像素，比较细腻，不是很明显！【 Camera专项】前置摄像头在自然光源下取景拍照曝光存在问题（附图3 Indoor - Backlight）：

基于 YOLO V8 Cls Fine-Tuning 训练花卉图像分类模型

一、YOLO V8 Cls 在本专栏的前面文章中，我们基于 YOLO V8 Fine-Tuning 训练了自定义的目标检测模型，以及 15点人脸关键点检测模型，从结果中可以看出，在模型如此轻量的同时还拥有者如此好的效果。本文基于 yolov8n-cls 模型实验 Fine-Tuning 训练花卉图像分类模型。 YOLO V8 的细节可以参考下面官方的介绍： https://docs.ult

【提示学习论文】ProGrad：Prompt-aligned Gradient for Prompt Tuning论文原理

Prompt-aligned Gradient for Prompt Tuning（CORR2022 / ICCV2023） 1 Motivation 经过CoOp微调过的prompt会导致模型更关注背景而不是前景对象，对于分类任务不利 2 Contribution 提出了一种基于prompt对齐的梯度的引导方法（ProGrad），来应对prompt学习中添加的不正确偏置的问题。

Data-efficient Fine-tuning for LLM-based Recommendation

目录 Introduction 利用大型语言模型（LLM）进行推荐最近引起了相当大的关注，其中微调在 LLM 的适应中发挥着关键作用。然而，在快速扩展的推荐数据上微调LLMs的成本限制了其实际应用。为了应对这一挑战，小样本微调提供了一种很有前途的方法，可以使LLMs快速适应新的推荐数据。我们提出了基于 LLM 的高效推荐的数据修剪任务，旨在识别为 LLM 的小样本微调量身定制

Tuning (调试)

Tuning Spark 由于大多数Spark计算的内存特性，Spark程序可能会受到群集中任何资源的瓶颈：CPU，网络带宽或内存。大多数情况下，如果数据适合内存，瓶颈就是网络带宽，但有时候，您还需要进行一些调整，例如以序列化形式存储RDD，以减少内存使用。本指南将介绍两个主要主题：数据序列化，这对于良好的网络性能至关重要，还可以减少内存使用和内存调整。我们还草拟了几个较小的主题。 Da