展品讲解语音对话系统 实验报告

1. 任务定义

• 搭建以展品讲解为主要内容的语音对话系统
  1. 展品导览：通过对话，确认用户感兴趣的展品（假设展品为展馆内所展示的物品或图、画），以及导引用户参观其余展品。
  2. 展品讲解：通过对话，介绍展品。能够回答用户关于展品的n>1个提问。
  3. 闲聊：打招呼、再见、自我介绍等。
• 实现方法不限

2. 实验环境

• Windows 10
• python 3.7.8
• 图灵机器人
• 百度语音识别

3. 系统功能

• 机器人自我介绍
• 打招呼和再见
• 画展概况介绍
• 指定展品编号进行介绍
• 指定作者介绍其展品
• 介绍展品作者信息
• 介绍剩余展品内容
• 部分闲聊

4. 方法说明

4.1 本地录音

4.1.1 初始化

framerate = 16000       # 采样率
num_samples = 2000      # 采样点
channels  = 1           # 声道
sampwidth = 2           # 采样宽度2bytes
FILEPATH  = 'speech.wav'

4.1.2 录音

• 调用PyAudio库进行录音，recordTime为录音时长，默认为4秒

def my_record(recordTime=4):pa = PyAudio()# 打开一个新的音频streamstream = pa.open(format=paInt16, channels=channels,rate=framerate, input=True, frames_per_buffer=num_samples)# 存放录音数据my_buf = [] t = time.time()print('正在录音...')while time.time() < t + recordTime:  # 设置录音时间（秒）# 循环read，每次read 2000framesstring_audio_data = stream.read(num_samples)my_buf.append(string_audio_data)print('录音结束.')save_wave_file(FILEPATH, my_buf)stream.close()

4.1.3 保存音频

filepath：保存音频路径
data：音频内容

def save_wave_file(filepath, data):wf = wave.open(filepath, 'wb')wf.setnchannels(channels)wf.setsampwidth(sampwidth)wf.setframerate(framerate)wf.writeframes(b''.join(data))wf.close()

4.2 百度语音识别

4.2.1 初始化

# 百度语音识别的APIKey和SecretKey
base_url = "https://openapi.baidu.com/oauth/2.0/token?grant_type=client_credentials&client_id=%s&client_secret=%s"
APIKey = "***************"
SecretKey = "*****************"HOST = base_url % (APIKey, SecretKey)

4.2.2 语音识别

• 获取音频内容
• file：音频文件路径

def get_audio(file):with open(file, 'rb') as f:data = f.read()return data

• 获取token信息

def getToken(host):res = requests.post(host)return res.json()['access_token']

• 将音频内容上传到百度语音识别系统并获取结果
• speech_data：音频内容
• token：token信息
• dev_pid：百度语音识别提供的几种语言选择，1537为普通话

# 传入语音二进制数据，token
# dev_pid为百度语音识别提供的几种语言选择
def speech2text(speech_data, token, dev_pid=1537):FORMAT = 'wav'RATE = '16000'CHANNEL = 1CUID = '********'SPEECH = base64.b64encode(speech_data).decode('utf-8')data = {'format': FORMAT,'rate': RATE,'channel': CHANNEL,'cuid': CUID,'len': len(speech_data),'speech': SPEECH,'token': token,'dev_pid':dev_pid}url = 'https://vop.baidu.com/server_api'headers = {'Content-Type': 'application/json'}# r=requests.post(url,data=json.dumps(data),headers=headers)print('正在识别...')r = requests.post(url, json=data, headers=headers)Result = r.json()if 'result' in Result:return Result['result'][0]else:return Result

4.3 图灵机器人回答

4.3.1 在图灵机器人平台新增语料库

4.3.2 初始化

# 图灵机器人的API_KEY、API_URL
turing_api_key = "********************"
api_url = "http://openapi.tuling123.com/openapi/api/v2"
headers = {'Content-Type': 'application/json;charset=UTF-8'}

4.3.3 获得回复

• 将问题上传到图灵机器人系统获得回复
• text_words：问题文本内容
• result：图灵机器人的回答

# 图灵机器人回复
def Turing(text_words=""):req = {"reqType": 0,"perception": {"inputText": {"text": text_words},"selfInfo": {"location": {"city": "北京","province": "北京","street": "北京邮电大学西土城校区"}}},"userInfo": {"apiKey": '**************',"userId": "GZR"}}req["perception"]["inputText"]["text"] = text_words# 获得回复response = requests.request("post", api_url, json=req, headers=headers)response_dict = json.loads(response.text)# 提取回复内容result = response_dict["results"][0]["values"]["text"]print("NAO Robot said: " + result)return result

4.4 处理回答内容并语音回答

• 处理图灵机器人的回答内容并进行语音回复
• response：图灵机器人的回答
• engine：语音引擎
• allPaints：剩余尚未介绍展品

def answer(response, engine, allPaints):# 如果不需要全部介绍if response != '全部':temp = response[1]engine.say(response)engine.runAndWait()# 判断是否是介绍一幅展品，如果是则将其从剩余未介绍展品中剔除并介绍，否则正常回复if temp in allPaints:allPaints.remove(temp)temp = ""for i in allPaints:temp += itemp += '、'print("这里还剩下" + temp + "号画，请问需要继续介绍哪一幅画？")engine.say("这里还剩下" + temp + "号画，请问需要继续介绍哪一幅画？")engine.runAndWait()# 介绍全部剩余展品else:engine.say("那我就开始啦！")engine.runAndWait()for i in range(len(allPaints)):result = "介绍一下第{}幅画".format(allPaints[i])response = Turing(result)engine.say(response)engine.runAndWait()# 剩余展品清空allPaints = []

5. 演示视频及源码

• 见附件