[DL]深度学习_扩散模型

2024-08-22 12:28
文章标签 学习 深度 模型 扩散 dl

本文主要是介绍[DL]深度学习_扩散模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

扩散模型原理 

深入浅出扩散模型 

一、概念简介

1、Denoising Diffusion Probalistic Models,DDPM

1.1  扩散模型运行原理

  • 首先sample一个都是噪声的图片向量,这个向量的shape和要生成的图像大小相同。
  • 通过Denoise过程来一步一步有规律的滤去噪声。
  • Denoise的次数是事先规定的,给每一个步骤给定编号,最终步骤编号为1。
  • 从噪声到图像的过程称为Reverse Process

雕像已经在大理石里边了,我只是把不要的部分凿掉。--米开朗基罗 

1.2  Denoise Model 

        将相同的Denoise model反复进行图像去噪过程,但是每一个步骤阶段输入的噪声图像之间差别很大。则如果每个不同阶段都使用完全相同的Denoise model或许表现不会很好。 

        解决方案是,设计Denoise时候,去噪过程中,输入元素不仅是该阶段的噪声影像,还同时输入当前图像的噪声覆盖严重程度指标(即当前是第几步骤)。Denoise model根据输入的噪声程度采取不同的去噪操作。

1.3  Denoise model内部构造

  • Noise Predictor的作用是预测输入图像中的噪声分布。
  • Noise Predictor通过接收输入噪声图像和噪声覆盖程度参数,生成预测的该噪声图像中的噪声分布图。
  • 输出的预测噪声图与输入的噪声图相减,得出Denoise操作后的结果。

1.4  如何训练Noise Predictor 

        在训练预测噪声分布的时候是需要有Ground Truth来进行监督的,则需要首先制造Ground Truth标签来提供Noise Predictor训练。

  • 首先,拿出一张训练影像,随机从高斯分布Gaussian distribution中sample一个噪声加到训练影像中,产生有点噪声的影像,并记录这是第几步增加噪声。
  • 重复每一步骤增加噪声的过程,最后会得到一个完全被噪声覆盖的影像。
  • 将训练集中的影像都进行这样增加噪声的处理。
  • 做完增加噪声处理过后,就得到训练Denoise Predictor的每一噪声覆盖程度的Ground Truth数据了。
  • 这个增加噪声的过程称为Forward Process(Diffusion Process)

1.5  文字提示的生成影像Text-to-Image 

  • 需要训练一个由文字生成影像的模型,则需要文本和影像成对的训练数据,如LAION数据集具有58.5亿张成对影像。
  • 在训练过程中,通过在每一个Denoise步骤中加入文字描述条件来进行影响去噪。
  • 即在Noise Predictor模组中同时输入文字描述条件。 

  • 每一张训练影像都有对应的文字描述,先将图片进行Diffusion Process增加噪声之后
  • 在训练时不仅要给Noise Predictor输入该步骤的影像和步骤参数还包括文字描述。
  • Noise Predictor根据输入的三者数据产生适当的噪声预测。

2、Stable Diffusion

2.1  框架Framework

        经典Stable Diffusion框架由三个关键部件组成:Text Encoder文本编码器、Generation生成器、Decoder解码器。文本编码器将文本描述编码为向量嵌入;生成器则利用Diffusion model,输入一个噪声矩阵与文本编码输出一个“中间产物”,即高维度的编码影像;最后经过解码器来将编码影像解码输出生成的影像。通常三个模组是单独训练的,最后将其组合在一起。

2.1.1  Text Encoder

        文本编码器的大小会影响到模型生成图像的质量好坏。图中的FID值越小越好,CLIP Score值越大越好。由图中的实验结果可以看出,当文本编码器的参数量越大时,模型生成后的图像质量越高。

edges:

  • FID(Fréchet Inception Distance)一种用于评估生成模型的图像质量的指标。
  • 先有一个预训练好的CNN分类模型,将影像输入CNN模型中,得到CNN模型的潜在representation,之后将真实影像的representation和生成影像的representation画出来。
  • 若两组representation之间的距离越接近则表示生成的图像与真实图像越相近,则生成质量越高。
  • 假设两者representation的分布为高斯分布,FID通过计算两组representation之间的Fréchet距离,FID值越小越好。
  • FID存在的问题是需要sample出很多的影像才能计算,如FID-10k就是sample了10k张影像来评估模型的生成性能。

  • CLIP Score代表通过使用经由400 million个影像-文本对上预训练的CLIP模型,将生成的影像和该影像对应的文本描述同时输入预训练好的CLIP模型中。
  • CLIP模型利用图像编码器和文本编码器将输入的影像和文本描述编码为特征向量。
  • 给影像向量与文本向量之间计算相似性,相似性越高证明生成的影像和文本描述越贴合,则生成的影像质量很高。
2.1.2  Generation Model

        经研究之后,Generation中的Diffusion Model的大小对生成图像的质量影响非常小。上图的U-Net size表示Diffusion Model中的Noise Predictor的大小。 

训练过程

  • Noise需要添加在中间产物(小图或潜在表征)上。
  • 先利用Encoder将一幅影像进行编码,得到潜在表征。
  • sample一个噪声,添加在潜在表征上,重复添加噪声的过程,直到最后得到的潜在表征变为纯粹的噪声。
  • 将某一step添加噪声的潜在表征作为输入,该step的编号代表当前噪声的覆盖程度作为输入,还有对原始图像的文本描述进行编码之后得到的文本潜在向量作为输入。
  • 训练Noise Predictor来预测当前的step的噪声潜在表征,当前step添加进去的噪声分布作为Ground Truth进行监督。

生成过程

  • 首先纯粹从高斯分布(正态分布)中sample出的潜在表征输入Denoise。
  • 对当前生成的文本描述进行编码之后作为条件输入Denoise。
  • Denoise通过训练好Noise Predictor预测噪声来去除一些潜在表征在文本描述条件下的噪声。
  • 重复去除噪声的步骤。
  • 直到产生的潜在表征达到质量要求之后,将潜在表征输入训练好的Decoder来解码为最终的生成影像。
2.1.3  Decoder

        Decoder在训练时不需要影像配对的文本描述。  

Generation输出为低分辨率影像时对Decoder训练的策略 

  • 可以将训练影像都进行下采样操作,得到成对的下采样后影像与原始图像对。
  • 利用低分辨率和原始影像对进行Decoder的训练。

Generation输出为潜在表征时对Decoder训练的策略

  • 训练一个Auto-encoder,将输入的影像进行编码之后得到潜在表征。
  • 将潜在表征通过Decoder还原为原始影像。
  • 训练目的是将Decoder还原的影像与原始影像越接近。
  • 训练好Decoder之后,Decoder就可以执行将输入的潜在表征解码为生成的最终影像。

3、Diffusion Model的数学原理 

3.1  Denoising DIffusion Probabilistic Models的算法 

3.1.1  Training过程 

  1. repeat---表示一直重复步骤1到步骤5的内容,直到converged结束。
  2. x_{0}\sim q(x_{0})---首先sample一张干净的影像x_{0},即所需要生成的影像。
  3. t\sim Uniform(\left \{ 1,...,T \right \})---从1到T之间sample一个整数t,T通常会设定一个较大的数值,例如T=1000。
  4. \epsilon \sim N(0,I)---从一个高斯分布(正态分布)中sample一个noise为\epsilon,该正态分布的平均值mean为0,每一个维度的方差variance为1。sample的noise \epsilon的shape与原始影像相同。
  5. \triangledown _{\theta \left \| \epsilon -\epsilon _{\theta }(\sqrt{\bar{\alpha }_{t}}x_{0}+\sqrt{1-\bar{\alpha }_{t}}\epsilon ,t) \right \|^{2}}---公式中红色框中所做的事是x_{0}\epsilon进行权值相加,权值是事先定好的一组权重\bar{\alpha }_{1},\bar{\alpha }_{2},...\bar{\alpha }_{T},通常设计是由大到小,\bar{\alpha }_{1}最大,则如果第三步sample的t值越大,代表\bar{\alpha }_{t}越小,代表原始图像占比越小,noise占比越多,则t值sample到越大,代表噪声添加的越多。进行权值相加之后得到的是一个加了噪声的影像,作为\epsilon _{\theta }()函数的输入,这个\epsilon _{\theta }()代表Noise Predictor network,通过输入一个加了噪声的影像和sample到的数值t,得到一个预测的noise分布。学习的目标是Noise Predictor预测出的Noise与第四步sample到的Ground Truth噪声\epsilon十分接近。

  • 概念中的Diffusion Model运行应该是一点一点在原始影像上添加噪声,每次训练Noise Predictor的时候是把有噪声的影像作为输入,再输入step的数值来预测这个step添加进来的噪声分布,还原的时候将有噪声的影像还原为该step添加噪声之前的状态。想象中是噪声是一点一点添加进去,Denoise时候也是一点一点去除噪声。
  • 实际上DDPM的运行是给原始的影像直接按照权重比例添加一个噪声,得到有噪声的影像。训练时就是将有噪声的影像和 t 作为输入,直接预测添加的噪声分布。实际上噪声并没有一步一步添加进来,并没有多次添加噪声,而是一次直接将噪声添加进去,在Denoise时候也是一次就将噪声去除。
3.1.2  Sampling过程 

  • x_{T}\sim N(0,I)---首先从正态分布中sample一个全是Noise的影像x_{T}
  • t=T,...,1---Reverse process过程生成影像,需要循环T次。
  • z\sim N(0,I)\: if\: t>1,else\: z=0---每次生成图的时候,都要先从正态分布中sample一个Noise z。
  • x_{t-1}=\frac{1}{\sqrt{\alpha _{t}}}(x_{t}-\frac{1-\alpha _{t}}{\sqrt{1-\bar{\alpha }_{t}}}\epsilon _{\theta }(x_{t},t))+\sigma _{t}z---其中x_{t}是上一轮循环中得到的,减去带有权重的Denoise中的Noise Predictor预测的噪声分布\epsilon _{\theta }(x_{t},t)式子中的关键点为最后需要加上一个噪声\sigma _{t}z,这里\sigma _{t}是一个常数。最终得到的影像为x_{t-1}

3.2  影像生成模型本质上的共同目标 

        影像生成模型本质上的共同目标是在输入端有一个简单已知的概率分布,通常是高斯分布。从高斯分布中sample出一个向量z出来,输入到一个Network中G(z)=x,输出为一张影像x。就算输入是很简单的高斯分布sample,通过一个Network之后转换为一个非常复杂的影像x,该影像x应该与真实的影像分布越接近。

        更常见的应用是给一段文本描述,根据描述来生成图形。这段文本描述称之为条件Condition,但是对应的影像是千变万化的,此时模型的目标是产生出的影像分布与真实影像的分布越接近越好。

3.3  最大似然估计Maximum Likelihood Estimation 

3.3.1  概述 

        最大似然估计(Maximum Likelihood Estimation,简称MLE)是统计学中一种用于估计概率分布参数的方法。MLE的目标是找到最大化似然函数的参数值,其中似然函数衡量观测数据与分布之间的拟合程度。

        MLE的基本思想是找到使观测数据最有可能发生的参数值。这是通过计算在不同的参数值下获得观测数据的概率来实现的。为了进行MLE,需要根据对概率分布的假设定义似然函数。然后通过对参数求导并令导数等于零来最大化似然函数。这将得到一组方程,可以通过数值求解来获得参数估计值。

        如何去衡量两个分布之间的距离,常用影像生成模型的衡量方法是最大似然估计。

  • 假设Network的参数用\theta表示,根据Network生成的分布用P_{\theta }(x)表示,真实分布用P_{data}(x)表示。
  • 首先从P_{data}(x)中sample出影像x^{1},x^{2},...,x^{m},这些影像是训练模型时所需要的训练数据。
  • 假设能够计算Network \theta 能够生成的某一张影像x^{i}的几率P_{\theta }(x^{i})(实际上因为P_{\theta }(x)过于复杂有可能是做不到的)。
  • 要得出的模型参数\theta即可以让从真实域中sample出的影像x^{i},被Network产生出来的概率最大的参数\theta

  • 目标函数为上图公式,arg\; \underset{\theta }{max}代表需要寻找一组参数\theta ,这个参数\theta需要让 \prod_{i=1}^{m}P_{\theta }(x^{i}) 部分的值最大。
  • \prod_{i=1}^{m}P_{\theta }(x^{i})代表对sample出的每一幅影像,都采用P_{\theta }(x^{i})来计算出模型可以生成该幅影像的概率,之后将每一张的概率相乘。
  • 最终得到的\theta ^{\ast }为模型学习所需要得到的参数。
3.3.2  目标函数详解

  • 因为arg max操作的目的是取最大值,则给原式取log不影响最终结果。
  • arg\; \underset{\theta }{max}\sum_{i=1}^{m}logP_{\theta }(x^{i})\approx arg\;\underset{\theta }{max} E_{x\sim P_{data}}[logP_{\theta }(x)]---左边式子中和最大,近似于每个x^{i}的概率最大,也就近似于右边式子的期望越大。切比雪夫大数定律,当m足够大时收敛于均值的m倍。
  • arg\;\underset{\theta }{max} E_{x\sim P_{data}}[logP_{\theta }(x)]= arg\; \underset{\theta }{max}\int_{x}^{}P_{data}(x)logP_{\theta }(x)dx---等同于对x做积分。
  • -\int_{x}^{}P_{data}(x)logP_{data }(x)dx---不会影响结果\theta,只跟data本身有关。但是加入这一项之后有助于公式合并。
  • arg\; \underset{\theta }{max}\int_{x}^{}P_{data}(x)log\frac{P_{\theta}(x)}{P_{data}(x)}dx=arg\; \underset{\theta }{min}\; KL(P_{data}\parallel P_{\theta } )---则此时与KL散度Kullback-Leibler Divergence等价。KL散度作用是计算两个概率分布之间的差异程度。KL散度的值越大就代表两个概率分布之间的差异越大。
  • 在求取模型参数的目标中,最大似然估计等价于最小化KL散度。

3.4  VAE与DDPM的相似推导 

3.4.1  VAE的推导

  • P_{\theta }(x)=\int_{z}^{}P(x)P_{\theta }(x\mid z)dz---要去计算x被生成的概率需要去看每一个z被生成的概率,再看每个z生成x的概率,再对所有的z求积分。其中每个z被生成的概率是已知,如从高斯分布中sample的z。
  • P_{\theta }(x\mid z)=\left\{\begin{matrix} 1, & G(z)=x\\ 0,& G(z)\neq x \end{matrix}\right.---代表每个z经过Network生成x的概率。式子中,若一个z经过Network生成的影像完全逐像素相等于x,此时概率为1,反之就是0。但是生成的影像几乎不可能和原始影像x逐像素完全相同,这样定义的坏处是每张生成的影像的概率都可能是0。
  • VAE中的假设是,输入z,输出G(z),G(z)代表高斯分布的mean均值
  • P_{\theta }(x\mid z)\propto exp(-\left \| G(z)-x \right \|_{2})---式子中P_{\theta }(x\mid z)的随机发生的概率Probability Density正比于G(z)与x的距离的第二范式,取负号,再取e的指数函数。假设G(z)代表高斯分布的均值mean,P_{\theta }(x\mid z)的概率密度函数与后边式子成正比,如果某一张影像x与G(z)越接近,P_{\theta }(x\mid z)的概率就越大。
3.4.2  VAE中logP(x)的下界

        在VAE中无法直接最大化P(x),通常真正最大化的是P(x)的下界。

  • q(z\mid x)---无论是什么分布,等式都成立。logP(x)与z无关,提出积分符号外边之后,积分里边的值等于1。
  • \int_{z}^{}q(z\mid x)log(\frac{P(z,x)}{P(z\mid x)})dz---根据贝叶斯公式可以得到。
  • \int_{z}^{}q(z\mid x)log(\frac{q(z\mid x)}{P(z\mid x))})dz=KL(q(z\mid x)\parallel P(z\mid x))---为q(z\mid x)P(z\mid x)的KL散度。KL散度衡大于等于0,KL\geq 0
  • logP_{\theta }(x)\geq \int_{z}^{}q(z\mid x)log(\frac{P(z,x)}{q(z\mid x)})dz=E_{q(z\mid x)}[log(\frac{P(x,z)}{q(z\mid x)})]---则对其取期望值,就得到概率logP_{\theta }(x)的下界。
  • 在VAE中q(z\mid x)是Encoder。
  • 在做VAE时就相当于是寻找一个好的方法来最大化下界。
3.4.3  DDPM的推导 

        当DDPM生成影像时,可以把过程想成生成了一个高斯分布的meanG(x_{t}),如果x_{t-1}与生成的G(x_{t})完全相同,此时概率最大。(假设为高斯分布并不完全合理,且假设每个维度都是固定的,文献中的实验都证明将方差考虑进来并不会提升性能。假设输出为高斯分布因为对中间部分推导有益)

        整个DDPM在生成某一幅影像x_{0}的概率可以写成上式。对所有可能的x_{1},x_{2},...,x_{T}做积分。

3.4.4  q(x_t|x_t-1)的推导

  • q(x_{t}\mid x_{t-1})先有一张x_{t-1}\sqrt{1-\beta _{t}}相乘,\beta _{1},\beta _{2},...,\beta _{T}为事先设定好的超参数,可以调整。
  • \sqrt{\beta _{t}}乘上从高斯分布中sample出的噪声。
  • q(x_{t}\mid x_{t-1})概率分布其实也是高斯分布,均值为\sqrt{1-\beta _{t}}x_{t-1},方差为\beta _{t},每个维度的方差都相同。
  • q(x_{t}\mid x_{0})的计算实际上是可以直接算出的,并不需要按照步骤计算。

  • 每一个step中从高斯分布中sample出的噪声之间是相互独立的。 
  • 将上一个step的x_{1}公式带入到x_{2}中,可以得到x_{2}x_{0}之间的关系。

  • 在同一个高斯分布中sample出两个噪声,并乘上两个不同的权重,加起来之后的概率分布项可以简化成只从高斯分布中sample一次噪声乘上一个权重。相互独立的高斯分布的和仍然是高斯分布。

  • 以此类推,整个扩散过程可以整合为图中式子。
  • 为了公式简化,设定为\alpha _{t}=1-\beta _{t}\bar{\alpha }_{t}=\alpha _{1}\alpha _{2}...\alpha _{t}
  • 实际上整个扩散过程是一步到位的只需要从高斯分布中sample一次噪声。
3.4.5  DDPM中logP(x)的下界 

  • DDPM的下界在形式上与VAE十分相似,且推导过程也是相同步骤。
  • DDPM中的q(x_{1}:x_{T}\mid x_{0})为扩散过程Diffusion Process。

  • 需要最大化的下界在整理之后得到可以计算的公式。 

  • 第一项是q(x_{1}\mid x_{0})的概率分布,对logP_{\theta }(x_{0}\mid x_{1})取期望值。
  • 第二项为q(x_{T}\mid x_{0})P(x_{T})的KL散度。(第二项可以不用计算,P(x_{T})是从一个高斯分布中sample出的噪声的概率,与Network参数\theta无关。q(x_{T}\mid x_{0})是扩散过程,人工设定好的)
  • 第三项中期望值的概率分布是q(x_{t}\mid x_{0}),要计算的是两个分布中的KL散度

  • q(x_{t-1}\mid x_{t},x_{0}) ---假设已经看到x_{0}并且做了t次扩散之后得到x_{t},但是中间的过程还不可知,此时这个式子就是代表x_{t-1}的分布。
  • 可以算出的是q(x_{t}\mid x_{0})q(x_{t-1}\mid x_{0})q(x_{0})
  • 同经公式变换化简之后得到\frac{q(x_{t}\mid x_{t-1})q(x_{t-1}\mid x_{0})}{q(x_{t}\mid x_{0})},已知化简后式子中都是高斯分布。

  • 通过推导q(x_{t-1}\mid x_{t},x_{0}) 的均值mean和方差variance可以得出。

如何去最小化KL散度

  • 并不需要实际的计算出KL散度,只需要最小化KL散度。
  • q(x_{t-1}\mid x_{t},x_{0})是一个高斯分布,该高斯分布的均值mean和方差variance是固定的,因为该分布是人工设定好的,与Network参数无关。
  • P(x_{t-1}\mid x_{t})是由Denoise Model决定的,但是均值variance也是固定的,假设输出的高斯分布的每个维度的方差都是固定值。也有文献讨论过均值variance方差但是并不影响结果。均值mean取决于Denoise Model,如果目标是让两个分布的KL散度越大,即让两个分布越接近越好。
  • 其中q(x_{t-1}\mid x_{t},x_{0})的分布固定,P(x_{t-1}\mid x_{t})分布的均值variance固定,均值mean可以变化。则需要使两个分布越接近越好,通过将P(x_{t-1}\mid x_{t})分布的均值mean与q(x_{t-1}\mid x_{t},x_{0})分布的均值mean越接近越好。
  • 实际上的操作是,q(x_{t-1}\mid x_{t},x_{0})的均值mean已知,P(x_{t-1}\mid x_{t})的均值mean是将x_{t}输入Denoise之后输出的G(x_{t})通过训练Denoise Model,让G(x_{t})q(x_{t-1}\mid x_{t},x_{0})的均值mean越接近。

  • 期望E_{q(x_{t}\mid x_{0})}x_{0}是先给定的,是从训练集中sample出的一张真实影像。需要通过将x_{0}乘一个系数,从高斯分布中sample的噪声\epsilon乘以一个系数,x_{t}sample出来。

  • Denoise Model接受输入x_{t}和 t ,输出的结果需要与q(x_{t-1}\mid x_{t},x_{0})的均值mean越接近越好,这个均值是x_{0}x_{t}的某种插值interpolation。
  • q(x_{t-1}\mid x_{t},x_{0})的均值mean相当于x_{t-1}的分布,但是实际上均值mean的公式中中并没有x_{t-1}
  • 再将q(x_{t-1}\mid x_{t},x_{0})均值进行化简,x_{0}x_{t}之间的关系是已知的,经过移项处理过后将x_{0}代进去。

  • 在要真实生成的目标中,Network真正需要去预测的是加到影像中的噪声\epsilon\alpha _{t}\bar{\alpha }_{t}均为设定好的超参数,x_{t}为输入。
  • 在DDPM论文中视图训练\alpha _{t}\bar{\alpha }_{t},但是对表现并没有提升。

3.5  补充说明部分

3.5.1  Sampling算法中需要额外添加噪声猜想

  • 需要考虑的是为什么在Sampling算法中还需要多添加一个噪声。
  • 在Denoise model输出的是一个高斯分布的均值mean,在做sample时候需要加上一个噪声代表考虑高斯分布的方差variance。
  • 若直接取均值mean,代表取高斯分布中的概率密度函数最大的输出。

猜想: 

  • Diffusion Model其实是一种Autoregressive Model妥协的结果。
  • Autoregressive Model的一次到位的结果通常不好,将其改为N个step。
  • 每次Denoise的步骤相当于Autoregressive的一个step,在做Autoregressive时每个step需要添加一点噪声,即一点随机性结果才会好,也许在Denoise时也加一点噪声,随机性会好。

  • 通过验证这种说法,当\sigma _{t}与原文设定相同时,同样的x_{T} 可以正常生成影像。
  • \sigma _{t}=0时,就无法生成正常影像。

这篇关于[DL]深度学习_扩散模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1096273

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验