VS语音信号处理（3） sonic变速不变调调试记录（二）

前言

语音识别相关算法一般在MATLAB上进行仿真验证与实验，在工程上一般还是在VS中进行实现落地，本系列将介绍语音信号处理在C语言中的一系列应用，后期将以此为基础，再落地移植到嵌入式平台。

今天介绍sonic语音变速不变调算法的工程应用。libsonic是一个支持音频倍速播放的开源库。支持大于2倍速的播放。有ANSI C的版本，也有纯Java的版本。无外部依赖能够方便的集成进自己的应用中。

具体工程以及sonic.cpp与sonic.h文件见第一篇文章：VS语音信号处理（3） C语言调用sonic进行变速不变调工程实例
第一次调试记录见sonic的第二篇文章：VS语音信号处理（3） sonic变速不变调调试记录（一）

上述文章直接用的例程中的main函数，输入输入均为PCM语音文件，经过几天的摸索，发现也可以对WAV语音文件进行直接处理，同时发现之所以生成语音的长度不一就是因为帧数与帧长度参数的设置问题，上次调试的遗留问题加速时自适应语音长度，找到了一个比较粗糙的方法，就是首先读取语音的数据长度，再根据总长度调整帧数与帧长度，目前测试得到的数据显示是帧长度与帧数时相关的，语音较长时，帧长度过短，生成的加速语音长度也会比较短，所以讲帧长度与帧数调整为相同，这样生成的加速语音基本上可以保证语音得到加速，并且时长正好是源语音的一半，但这样可能导致语音帧长度较长，以本实例中语音为例，帧长度为90，显然唱过常用的帧长度20~30，而生成的减速语音则完成了语音的减速，但语音长度无法拉长，导致只能得到一半的减速语音，这里还需要进一步学习理解。直接对main函数进行调整如下：

一. main函数

// main.cpp
// sonic进行变速不变调处理
// date：2022-5-16 23:04:19
// author : C.S#include <time.h>
#include <cstring>
#include <iostream>
#include <memory>
#include <queue>
#include <set>
#include <vector>#include "sonic.h"//#define DROP_FRAMEconst int MAXN = 1e6 + 7;const int FRAMESIZE = 8000 / (1000 / 20) * 2;typedef std::pair<int, int> pii;std::set<pii> jitterLine;typedef long long ll;bool isInLine(int pos) 
{for (auto x : jitterLine) {if (x.first <= pos && x.second >= pos) {return true;}}return false;
}void dumpLine() {for (auto x : jitterLine){printf("begin:%d, len:%d beginTime:%lf\n", x.first, x.second - x.first,x.first * 20.0 / 1000);}
}ll calLvl(uint16_t *buffer, int len) {ll sum = 0;for (int i = 0; i < len; ++i) {sum += (buffer[i] * buffer[i]);}return sum;
}void spedUp(uint16_t *outBuf, uint16_t *inBuf1, uint16_t *inBuf2) {int p = 0;for (int i = 0; i < FRAMESIZE; ++i) {if (i & 1) {outBuf[p++] = inBuf1[i];}}for (int i = 0; i < FRAMESIZE; ++i) {if (i & 1) {outBuf[p++] = inBuf2[i];}}
}const double eps = 1e-6;int main(int argc, char *argv[]) 
{FILE *file1 = fopen("xinwenlianbo.wav", "rb");FILE *out_file = fopen("outSped.wav", "wb");fseek(file1, 0, SEEK_END);//文件指针从0挪到尾部long filesize;filesize = ftell(file1);//ftell求文件指针相对于0的字节数，就求出了文件字节数rewind(file1);//还原指针位置int processFrameCount = sqrt((filesize-44)/ FRAMESIZE)+1;  //关键参数：语音帧数 int maxJitterSize = processFrameCount;                     //关键参数：帧长度？double speed = 2.0;                                        //关键参数：调整倍速uint8_t *inBuf = new uint8_t[MAXN];uint8_t *it = inBuf;uint8_t addBuf[MAXN] = { 0 };srand(time(0));/* generate jitter */int begin = 1;int len = maxJitterSize;jitterLine.insert(std::make_pair(begin, begin + len));/* dump jitter */
#ifdef DROP_FRAMEprintf("this frame will be frop!\n");
#elseprintf("this frame will be set mute!\n");
#endifdumpLine();/* if p is in jitter range then repalce it into mute frame */for (int p = 0; p < processFrameCount; ++p){if (isInLine(p)){it = inBuf;for (int i = 0; i < maxJitterSize; ++i) {fread(it, 1, FRAMESIZE, file1);it += FRAMESIZE;}sonicChangeShortSpeed((short int *)inBuf, maxJitterSize * FRAMESIZE,speed, 1.0f, 1.0f, 1.0f, 0, 8000, 1);fwrite(inBuf, 1, (1.0 * maxJitterSize / speed + eps) * FRAMESIZE, out_file);}else if(p==0){fread(inBuf, 1, FRAMESIZE, file1);fwrite(inBuf, 1, FRAMESIZE, out_file);}}return 0;
}

代码添加完毕，准备好一个语音文件：xinwenlianbo.pcm，放在源文件目录下

二. 生成编译

点击目录栏“生成”中“生成解决方案”，生成成功后，调试运行，生成一个outSped.wav文件，调用成功。

speed = 2.0时原语音与变速语音波形（Cool Edit打开查看）

speed = 0.5时变速语音波形（Cool Edit打开查看）

三. 小结

加速减速试听效果都不错，但仍存在以下问题：
（1）减速时，语音长度无法加长，即有一半减速语音未生成；
（2）自适应语音帧数与帧长度的计算有待进一步验证；

后期根据学习了解，还需要进行相应的调整，并在工程中进行语音的变速不变调，完成调试后再进行具体的介绍。