linux读入文件分行操作,linux shell脚本如何将文本内容按空格分行、如何使用timit原始corpus制作wav的scp文件...

在kaldi-trunk提供的例子voxforge中有一个online-demo

直接使用就可以完成样例的在线解码并得到一个不错的结果，但是数据量很小

前段时间试了一下用另一个corpus来做同样的事情，但是效果很差

今天想用timit corpus来试一试

在修改run.sh脚本过程中遇到了很多问题，主要是对shell脚本操作不熟悉

其中有一个步骤是需要制作corpus中的wav的scp文件

timit的原始语料库中的文件层级是这样的：

第一级：

第二级：

第三极：

第四级：

第五级：

我这里只选择了TEST作为decoding的对象，所以只需要关注TEST目录下的结构，下面是scp文件制作实现过程：

step1：

> $decode_dir/input.scp

这一步是run.sh文件中原本就有的，但也很重要，即创建一个scp文件，同时还起到的一个作用是，如果之前生成过一个不需要的scp文件可以将其覆盖掉。

step2:

find $audio -not \( -iname 'SA*' \) -name '*.WAV' -print | xargs echo "" > $decode_dir/input.scp.temp

这一步达到的效果是将所有WAV文件中前缀不为SA的地址提取出来并存放在input.scp.temp这个中间文件中

这一步执行完之后得到的input.scp.temp文件是这个样子的：

也就是，我生成的文件中有三行，每一行都包括了很多个WAV文件，还不知道为什么会这样，这自然不是我希望得到的最后结果，所以需要进一步处理。

step3:

OLD_IFS="$IFS"

IFS=" "

cat $decode_dir/input.scp.temp | while read line

do

arr=($line)

IFS="$OLD_IFS"

for s in ${arr[@]}

do

echo ${s##*/} `pwd`"/$s" >> $decode_dir/input.scp

done

done

首先要实现的是将文本一行一行读入之后再用空格作为分隔符，将一行中的多个元素形成一个数组arr，详情请参考：http://my.oschina.net/5lei/blog/189559

然后是要制作成scp的格式，即文本的每一行为： wav名   wav所在的绝对路径

所以就有了echo ${s##*/} `pwd`"/$s" >> $decode_dir/input.scp这句话

${s##*/}的意思是取字符串s最后出现的 “/”这个字符，将这个字符及其左边所有的字符都删除掉，只取其右边剩下的部分，因此就得到了wav文件名

`pwd`"/$s"自然对应的就是wav文件的绝对路径了，`pwd`表示当前目录的绝对路径，后面再加上"/$s"也就构成了完整的文件路径。

最后终于得到了想要的scp文件：

就只是以上这一点东西就花了我一天的时间，主要还是对linux指令的使用太不熟悉，

如果熟悉linux指令的话这应该是很简单的事情，好好学习，希望越来越好。