本文主要是介绍AI机器翻译数据预处理步骤，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
之前在进行机器翻译时，一般除了与句子长度做了长度限制外，几乎没有做任何额外的操作，直接暴力的使用BPE算法对语料进行预处理。接触的都是BPE子词级别的，我们都知道，bpe算法的强大性，30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译，那词典太大了，在机器翻译中词典受限的情况下，很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词，必须对双语语料进行预处理操作。
关于预处理
分词（tokenization）、数据清理（data clearn）、小写化处理（lowercase）均是常规的预处理步骤。
相比之下，中文的预处理对我来说好做很多，除了分词，好像可做的就不多了，相比之下，英文的预处理就变得繁琐了很多，比如在bpe的子词词典中，我们可以看到American's 和american's同时存在于词典，并且英文的标点符号和单词之间是没空格分隔的，所以如果直接对英文按照空格进行分词，cat和cat.就可能占据词典中两个词的位置，这些都是不合理的，会浪费我们词典的位置。所以对英文的处理是及其有必要的。
mosesdecoder作为统计机器翻译工具，其中有一套很程序的预处理方法。
项目地址：
https://github.com/moses-smt/mosesdecoder
下面是我用mosesdecoder对中英文语料进行预处理的过程，（为什么中文已经分词了，还要进行预处理？----因为中文语料中也有一些英文，数字等等的词，我觉得也有必要一起处理一下）
利用mosesdecoder对机器翻译的双语语料进行处理（中文其实也可以进行处理，因为中文中夹杂着英文）
step1:对标点符号进行规范化 normalize
perl ./mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l en < ./corpus/corpus.en >./corpus/corpus.norm.en
perl ./mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l zh < ./corpus/corpus.zh >./corpus/corpus.norm.zh
step2：分词 tokenizer
perl ./mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l en < ./corpus/corpus.norm.en > ./corpus/corpus.norm.tok.en
perl ./mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l zh < ./corpus/corpus.norm.zh > ./corpus/corpus.norm.tok.zh
step3: clean
长句和空语句可引起训练过程中的问题，因此将其删除，同时删除显不对齐句子删除。--将句子长度控制到100
perl ./mosesdecoder/scripts/training/clean-corpus-n.perl ./corpus/corpus.norm.tok en zh ./corpus/corpus.norm.tok.clean 1 100
这样会同时将双语语料进行操作，生成两个处理后的文件train.norm.tok.clean.en和train.norm.tok.clean.zh
Input sentences: 15886041 Output sentences: 13902844
控制完长度的双语语句13902844
step4:truecasing
初始每句话的字和词组都被转换为没有格式的形式(例如统一为小写）。这有助于减少数据稀疏性问题。
需要训练一个truecase模型。注意：只能使用训练集训练truecase模型。
英文：
perl ./mosesdecoder/scripts/recaser/train-truecaser.perl -corpus ./corpus/corpus.norm.tok.clean.en -model ./corpus/truecase-model.en
中文：
perl ./mosesdecoder/scripts/recaser/train-truecaser.perl -corpus ./corpus/corpus.norm.tok.clean.zh -model ./corpus/truecase-model.zh
应用：
英文：
perl ./mosesdecoder/scripts/recaser/truecase.perl -model ./corpus/truecase-model.en <./corpus/corpus.norm.tok.clean.en > ./corpus/corpus.norm.tok.clean.tc.en
中文：
perl ./mosesdecoder/scripts/recaser/truecase.perl -model ./corpus/truecase-model.zh <./corpus/corpus.norm.tok.clean.zh > ./corpus/corpus.norm.tok.clean.tc.zh
处理后的语料中@-@ 是对原本语料中-的替代
同样，用上述相同的方法对训练集和测试集进行处理。
————————————————
版权声明：本文为CSDN博主「咿咿呀呀呀」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/orangefly0214/article/details/103278612
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
使用fastBPE处理
1。 安装
g++ -std=c++11 -pthread -O3 fastBPE/main.cc -IfastBPE -o fast
2. BPE学习
./fastBPE/fast learnbpe 32000 ./corpus/corpus.norm.tok.clean.tc.zh ./corpus/corpus.norm.tok.clean.tc.en > ./corpus/corpus.bpe.32000
3. BPE操作
./fastBPE/fast applybpe ./corpus/corpus.norm.tok.clean.tc.zh.bpe32k ./corpus/corpus.norm.tok.clean.tc.zh ./corpus/corpus.bpe.32000
./fastBPE/fast applybpe ./corpus/corpus.norm.tok.clean.tc.en.bpe32k ./corpus/corpus.norm.tok.clean.tc.en ./corpus/corpus.bpe.32000
4. 生成词表
./fastBPE/fast getvocab ./corpus/corpus.norm.tok.clean.tc.zh.bpe32k > ./corpus/vocab.zh.32000
./fastBPE/fast getvocab ./corpus/corpus.norm.tok.clean.tc.en.bpe32k > ./corpus/vocab.en.32000
./fastBPE/fast getvocab ./corpus/corpus.norm.tok.clean.tc.en.bpe32k ./corpus/corpus.norm.tok.clean.tc.zh.bpe32k > ./corpus/vocab.all.zh-en.32000
5. 去除词表中的数字列cat
cat ./corpus/vocab.all.zh-en.32000 | awk -F ' ' '{print $1}'> ./corpus/vocab.zh-en.32000
sed '1i\<s>\n<e>\n<unk>' ./corpus/vocab.zh-en.32000 > ./corpus/vocab.unk.zh-en.32000
6. 合并中英对
paste -d '\t' ./corpus/corpus.norm.tok.clean.tc.en.bpe32k ./corpus/corpus.norm.tok.clean.tc.zh.bpe32k > ./corpus/train.en-zh.bpe32k
————————————————
版权声明：本文为CSDN博主「小小鸟要高飞」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_38937984/article/details/103995209
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
下面使用subword-nmt进行处理
学习bpe模型ZH：python ./subword_nmt/learn_bpe.py -s 10000 < ./corpus/corpus.norm.tok.clean.tc.zh > ./corpus/corpus.norm.tok.clean.tc.bpe.zh
学习bpe模型EN：python ./subword_nmt/learn_bpe.py -s 10000 < ./corpus/corpus.norm.tok.clean.tc.en > ./corpus/corpus.norm.tok.clean.tc.bpe.en
BPE应用ZH：python ./subword_nmt/apply_bpe.py -c ./corpus/corpus.norm.tok.clean.tc.bpe.zh < ./corpus/corpus.norm.tok.clean.tc.zh | python ./subword_nmt/get_vocab.py > ./corpus/vocab.zh
BPE应用EN：python ./subword_nmt/apply_bpe.py -c ./corpus/corpus.norm.tok.clean.tc.bpe.en < ./corpus/corpus.norm.tok.clean.tc.en | python ./subword_nmt/get_vocab.py > ./corpus/vocab.en
构建中英总词表：cat ./corpus/corpus.norm.tok.clean.tc.zh ./corpus/corpus.norm.tok.clean.tc.en | python ./subword-nmt/get_vocab.py | cut -f1 -d ' ' > ./corpus/vocab.32000
合成中英语句对：paste -d '\t' ./corpus/corpus.norm.tok.clean.tc.zh ./corpus/corpus.norm.tok.clean.tc.en > ./corpus/corpus.zh-en
添加特殊字符到词表：sed '1i\<s>\n<e>\n<unk>' ./corpus/vocab.32000 > ./corpus/vocab_all.32000
这篇关于AI机器翻译数据预处理步骤的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
