深入浅出地理解傅里叶变换、语谱图(spectrogram)

深入浅出地理解傅里叶变换

类比：就像光的色散一样，sound相当于白光，FT相当于棱镜，散射出来的各色的光谱就是频域信息

直观理解：傅里叶变换将复杂的时域声音信号转换成了频域部分

深入理解：首先将原始信号与许多不同频率的正弦信号相比较

对于每一种频率，我们得到了一个振幅和一个相位

振幅信息表现了原始信号和对应频率的正弦信号之间的相似程度

离散傅里叶变换 (DFT)

因为计算机中存储的信号通常是离散信号，所以我们要使用离散傅里叶变换 DFT

连续函数的计算使用积分，离散函数的计算使用求和

从离散傅里叶变换(DFT)到快速傅里叶变换(FFT)的计算复杂度：

设N是样本点的个数，DFT的复杂度为N^2

FFT的复杂度为Nlog2N 当N是2的幂时FFT非常有效

傅里叶变换得到一个复数-频率谱

对于有N个样本点的时域信号进行傅里叶变换比如进行(np.fft.fft)

之后得到有M个频率点的傅里叶变换系数向量，且M=N

每一个复数的模代表幅度，角代表相位信息

取np.absolute(ft)得到Magnitude spectrum

频域信息就像是信息的一个快照，它是关于整个时间段的信息

频域信息是对整段时间内的信息进行了平均的计算

Short-Time Fourier Transform 短时傅里叶变换 得到 spectrogram

傅里叶变换的问题是我们知道关于整段时间内频域的信息

但是我们不知道相关信息对应的是什么时候发生了，也就是没有时域信息

因此我们考虑将整个时间段分为一个个小时间段，也就是frames

即局部地进行傅里叶变换而不是对全局傅里叶变换

短时傅里叶变换包含了时域和频域的综合信息

(STFT的原理其实就是在DFT的基础上，引入分帧加窗处理的思想)

关于输出：

DFT输出的是一个频谱向量，向量的值都是复数，向量的长度是(# frequency bins)

frequency bin指的是时域信号经过FT之后得到的spectrum中频率轴的频率间隔

(DFT中N=M，所以frequency bin = 1 sample，而 # frequency bins = N)

STFT输出的是一个频谱矩阵(# frequency bins, # frames)

(# frequency bins) = frame_size/2 + 1 (# means the number of)

(# frames) = (sapmles - framesize) / hopsize + 1

！！！区分好frequency bin的数量和一个frequency bin中元素的数量这两个概念！！！

对矩阵再进行逐位平方就将幅度转化为功率了，最终得到了语谱图！

语谱图是一段音频在时域和频域特性上的综合描述

语谱图其实有很多种，有幅度、功率、频率语谱图，而且还有尺度相关的东西