kaldi数据准备(二)

2024-02-23 15:08
文章标签 数据 准备 kaldi

本文主要是介绍kaldi数据准备(二),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

local/prepare_data.sh

创建data/train, data/test, (data/dev可选),每个文件里面必须包含text, wav.scp, utt2spk, spk2utt

for x in train_yesno test_yesno; docat data/$x/text | awk '{printf("%s global\n", $1);}' > data/$x/utt2spkutils/utt2spk_to_spk2utt.pl <data/$x/utt2spk >data/$x/spk2utt
done

text和wav.scp, utt2spk提前准备好, spk2utt通过上面命令可以生成。

text : < uttid > < word >
wav.scp : < uttid > < utter_file_path >
utt2spk : < uttid > < speakid >
spk2utt : < speakid > < uttid >    

local/prepare_dict.sh

创建data/local/dict。

lexicon.txt 
lexicon_words.txt    
nonsilence_phones.txt 
silence_phones.txt    
optional_silence.txt 
extra_questions.txt     #可选
lexicon.txt        #词典包括语料中涉及的词汇与发音
lexicon_words.txt     #不包含静音的词典
silence_phones.txt     #静音标识sil
optional_silence.txt     #有选择性地在词之间出现的单音素sil
nonsilence_phones.txt     #非静音标识
silence_phones.txt   
extra_questions.txt     #包含重音音调标记

utils/prepare_lang.sh –position-dependent-phones false data/local/dict “\“ data/local/lang data/lang

输入是目录 data/local/dict,标签”\“是字典里的单词,映射OOV单词到出现在副本中的单词中(data/lang/oov.txt)。目录data/local/lang/是脚本会用到的临时目录;data/lang/是输出目录。

生成data/local/lang, data/lang
data/local/lang 是一个临时目录,生成的文件包括:

align_lexicon.txt        lexiconp_disambig.txt  
lexiconp.txt            lex_ndisambig  
phone_map.txt            phones

data/lang 里面包含的文件:

L_disambig.fst          L.fst          #词典fst
oov.int              oov.txt      phones  
phones.txt              topo          words.txt 

如果一个词有不同发音,则会在不同行中出现多次。如果你想使用发音概率,你需要lexiconp.txt而不是lexicon.txt

local/prepare_lm.sh

生成data/lang_test_bg,包含

G.fst        L_disambig.fst  #新生成的语言模型fst
L.fst          oov.int  oov.txt 
phones      phones.txt  
topo          words.txt 

脚本

#!/bin/bash. path.shecho Preparing language models for testfor lm_suffix in tg; dotest=data/lang_test_${lm_suffix}rm -rf data/lang_test_${lm_suffix}cp -r data/lang data/lang_test_${lm_suffix}arpa2fst --disambig-symbol=#0 --read-symbol-table=$test/words.txt input/task.arpabo $test/G.fst#arpa2fst --disambig-symbol=#0 --read-symbol-table=$test/words.txt my_data/3gram.arpa $test/G.fstfstisstochastic $test/G.fst# The output is like:
# 9.14233e-05 -0.259833
# we do expect the first of these 2 numbers to be close to zero (the second is
# nonzero because the backoff weights make the states sum to >1).
# Because of the <s> fiasco for these particular LMs, the first number is not
# as close to zero as it could be.# Everything below is only for diagnostic.
# Checking that G has no cycles with empty words on them (e.g. <s>, </s>);
# this might cause determinization failure of CLG.
#  #0 is treated as an empty word.mkdir -p tmpdir.gawk '{if(NF==1){ printf("0 0 %s %s\n", $1,$1); }} END{print "0 0 #0 #0"; print "0";}' \< data/local/dict/lexicon.txt  >tmpdir.g/select_empty.fst.txtfstcompile --isymbols=$test/words.txt--osymbols=$test/words.txt tmpdir.g/        select_empty.fst.txt | \fstarcsort --sort_type=olabel | fstcompose - $test/G.fst >tmpdir.g/empty_words.fstfstinfo tmpdir.g/empty_words.fst | grep cyclic | grep -w 'y' &&echo "Language model has cycles with empty words" && exit 1rm -r tmpdir.g
doneecho "Succeeded in formatting data."

其中my_data/3gram.arpa是我们的3gram模型

ngram-count -wbdiscount -order 3 -text words.txt -vocab vocab.txt -unk -interpolate5 -lm 3-gram.arpa 

ngram-count命令可以google.

至此数据准备阶段完成了。进入data目录会看到下面的文件夹

lang              # 包含语言文件 
lang_test_bg         # 用于测试的语言文件 
local             # 包含了原始数据的信息,以及词典 
test             # 测试集 
train             # 训练集 

mfcc

for x in train dev test; dosteps/make_mfcc.sh --cmd "$train_cmd" --nj $feats_nj data/$x exp/make_mfcc/$x $mfccdirsteps/compute_cmvn_stats.sh data/$x exp/make_mfcc/$x $mfccdir
utils/fix_data_dir.sh data/$x     #该脚本会修复排序错误,并会移除那些被指明需要特征数据或标注,但是却找不到被需要的数据的那些发音(utterances)
done

生成mfcc, exp/make_mfcc以及data/train, data/test, date/dev里面的cmvn.scp feats.scp。
其中mfcc里面放着.scp和.ark特征文件,exp/make_mfcc里面有train, test, dev放着各种日志.log

make_mfcc.sh会用到conf/mfcc.conf

–use-energy=false # only non-default option.
–sample-frequency=16000 # Switchboard is sampled at 8kHz

采样频率在这里设置的,要是出现Sample frequency mismatch的问题在这里进行修改。

里面的所有脚本都可以自己根据实际数据情况进行更改。

注:本实例基于timit,timit数据集获取方式:

wget http://182.92.241.109/cxst_download/mnt/luojie/timit.zip 

这篇关于kaldi数据准备(二)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/739023

相关文章

大数据spark3.5安装部署之local模式详解

《大数据spark3.5安装部署之local模式详解》本文介绍了如何在本地模式下安装和配置Spark,并展示了如何使用SparkShell进行基本的数据处理操作,同时,还介绍了如何通过Spark-su... 目录下载上传解压配置jdk解压配置环境变量启动查看交互操作命令行提交应用spark,一个数据处理框架

通过ibd文件恢复MySql数据的操作方法

《通过ibd文件恢复MySql数据的操作方法》文章介绍通过.ibd文件恢复MySQL数据的过程,包括知道表结构和不知道表结构两种情况,对于知道表结构的情况,可以直接将.ibd文件复制到新的数据库目录并... 目录第一种情况:知道表结构第二种情况:不知道表结构总结今天干了一件大事,安装1Panel导致原来服务

Jmeter如何向数据库批量插入数据

《Jmeter如何向数据库批量插入数据》:本文主要介绍Jmeter如何向数据库批量插入数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Jmeter向数据库批量插入数据Jmeter向mysql数据库中插入数据的入门操作接下来做一下各个元件的配置总结Jmete

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi

mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

《mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据》文章主要介绍了如何从.frm和.ibd文件恢复MySQLInnoDB表结构和数据,需要的朋友可以参... 目录一、恢复表结构二、恢复表数据补充方法一、恢复表结构(从 .frm 文件)方法 1:使用 mysq

mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespace id不一致处理

《mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespaceid不一致处理》文章描述了公司服务器断电后数据库故障的过程,作者通过查看错误日志、重新初始化数据目录、恢复备... 周末突然接到一位一年多没联系的妹妹打来电话,“刘哥,快来救救我”,我脑海瞬间冒出妙瓦底,电信火苲马扁.

golang获取prometheus数据(prometheus/client_golang包)

《golang获取prometheus数据(prometheus/client_golang包)》本文主要介绍了使用Go语言的prometheus/client_golang包来获取Prometheu... 目录1. 创建链接1.1 语法1.2 完整示例2. 简单查询2.1 语法2.2 完整示例3. 范围值

javaScript在表单提交时获取表单数据的示例代码

《javaScript在表单提交时获取表单数据的示例代码》本文介绍了五种在JavaScript中获取表单数据的方法:使用FormData对象、手动提取表单数据、使用querySelector获取单个字... 方法 1:使用 FormData 对象FormData 是一个方便的内置对象,用于获取表单中的键值

Rust中的BoxT之堆上的数据与递归类型详解

《Rust中的BoxT之堆上的数据与递归类型详解》本文介绍了Rust中的BoxT类型,包括其在堆与栈之间的内存分配,性能优势,以及如何利用BoxT来实现递归类型和处理大小未知类型,通过BoxT,Rus... 目录1. Box<T> 的基础知识1.1 堆与栈的分工1.2 性能优势2.1 递归类型的问题2.2

Python使用Pandas对比两列数据取最大值的五种方法

《Python使用Pandas对比两列数据取最大值的五种方法》本文主要介绍使用Pandas对比两列数据取最大值的五种方法,包括使用max方法、apply方法结合lambda函数、函数、clip方法、w... 目录引言一、使用max方法二、使用apply方法结合lambda函数三、使用np.maximum函数