荔枝集团出席扬帆出海PAGC 探讨AI在音频场景落地技术

近年来，中国企业的身影正不断活跃在全球商业版图上，无论是新兴技术的运用还是创新模式的尝试，其全球化的步履不停。近日,由扬帆出海主办的 2023产品与增长大会(简称PAGC)在广州广交会展馆召开，共同探索未来出海趋势和机遇，共享创新和成长生态，寻找海外市场的增长良机。

荔枝集团数据智能应用技术负责人陈宇恒受邀出席在主会场举行的AIGC出海创新产业峰会，并以“AI技术在音频互动产品中的创新探索”为主题探讨了AIGC大模型的行业现状、AI在音频社交场景的落地等话题。陈宇恒总结，AIGC是继UGC、PGC后的新一代内容生产方式，拥有巨大的生命力和可塑造性，而作为以音频为中心的声音的社交和娱乐平台，荔枝持续通过AI技术在播客、直播、社交形态上落地，并探索进一步与游戏等场景结合，增强差异化竞争优势。

长期以来，荔枝一直围绕AI语音相关技术进行了大量研究探索，并在语音识别ASR、语音合成TTS、AI变声、AIGC等多个方面取得突破，为业务的商业化应用奠定了坚实的技术基础，其中，全面推进AI聊天机器人在业务中的应用，打造聊天机器人平台成为今年行业亮点。

打造基于情感陪伴的AI聊天机器人

作为荔枝数据智能应用技术负责人，陈宇恒2015年海外留学回国后一直在互联网行业从事大数据商业智能应用与系统研发工作，曾负责手游、音频互娱产品的智能数据应用研发和技术攻关，研究方向是基于AIGC和云原生融合服务架构下大数据和人工智能的行业应用。

    陈宇恒表示，随着互联网的音频业务全球市场规模增长，在线音频业务平台生态和产品形态不断多样化，为互联网用户提供了音频类播客、直播、社交、游戏等服务场景，“从音频产业的创新技术发展来看，底层深度学习框架推动了AI在这一领域的产业化落地。基于市场和技术的双重作用，人工智能技术在音频业务中有了广泛的实践空间。”

其中，最为引人关注的是年初，荔枝在其全球化声音社交产品中接入了OpenAI的GPT模型，推出聊天机器人模块，并在3月底进一步优化，推出了全新升级版MY AI FRIEND聊天机器人。MY AI FRIEND聊天机器人不仅能帮助用户创建在线理想好友，还能为用户提供更加个性化的AI聊天体验。根据用户选择的MY AI FRIEND属性、视觉风格以及性格等，结合AIGC技术，将为用户生成AI好友的个性化形象。此外，通过MY AI FRIEND的社交互动功能，用户可以更便捷地分享心情、玩游戏、了解特色玩法。

荔枝拓展AI聊天机器人互动场景，实现AI机器人与原有社交生态的有效融合，为用户提供更多情绪倾诉和情感陪伴价值。基于荔枝在声音社交和在线陪伴领域的技术储备以及多年积累的运营经验，结合语音识别ASR、语音合成TTS等AI语音技术取得的突破，为用户提供更加差异化的在线陪伴体验。

作为长期研究和观察AI领域的专业人士，广东工业大学自动化学院副教授、粤港澳离散制造智能化联合实验室副主任孙为军表示，语音聊天机器人作为新兴的人机交互方式之一，为用户提供了更加丰富、个性化的社交体验，在增强虚拟社交生态的方面发挥重要作用。未来，语音聊天机器人将更加注重个性化服务的需求，通过持续改进的AI技术，不断提高机器人的音色、语速、表达方式等，让用户感受到更加亲切、贴心的互动体验。

AI技术在音频社交场景落地实践

据介绍，荔枝的业务中心之一就在于，以用户体验为核心，深化社区生态建设，促进音频互动业务的用户规模增长，加强用户关系的建立和沉淀。而随着AIGC和大语言模型的技术突破，为音频互动产品提供了更多创新的可能性，通过AIGC和大语言模型技术赋能业务产品创新探索将成为未来的发展趋势。

这也意味着，用户在音频社交场景下的音频体验至关重要。其中，音频社交场景与其他一些直播互动场景不同，比如教育等知识获取类场景，其着重在于知识的获取，音频的高音质体验不算是最重要的方向；比如会议类场景，其着重在于语音的流畅度和基本的清晰度，音频的全频带音质和互动性功能（比如音效、音乐、变声等）不算是最重要的方向。而音频社交场景，除了有趣的内容吸引用户外，音频的高音质体验和互动性功能也是让用户愿意持续参与的其中一个重要因素。

例如，荔枝APP的直播栏目就是一种直播+连麦的场景，即主播大部分时间是单人直播，用户一般以听众角色收听，但有时也可以通过点下方的代表连麦的电话按钮，主播收到连麦请求后，若通过，则此用户可与主播在RTC的系统里进行实时互动（例如下图的群体连麦功能。）

而主播可以依赖强大的主播引擎为直播添加音乐或音效播放、也可以调用调音台进行声音美化或通过变声增强互动的娱乐性。此场景下，多个主播可以在麦上进行互动或娱乐表演，而用户既可以在麦下收听、也可以上麦和主播们互动聊天。麦上的主播或用户是处在一个RTC系统里，而麦下的听众既可以加入RTC系统，也可以通过CDN进行拉流。

当主播进行才艺表演或播放音乐时，整个互动娱乐场景对于音质的要求是比较高的。从音频体验来讲，直播互动的文娱场景的目标就是让用户像本地参与一样参加到互动场景当中。

以“声音降噪”为例，荔枝音频技术团队基于以站内海量内容数据，通过自研训练的AI降噪算法，可以有效抑制互动文娱场景下音视频通话过程中的背景噪声，并保证语音无损伤，最终有效提升在多种复杂场景下的实时互动体验。

陈宇恒表示，随着算力持续增长，基于大数据训练的AI语音降噪算法具有强大的能力，使实时AI语音降噪算法在互动娱乐场景中成为可能。相比于传统的降噪算法，荔枝技术团队自研的 AI 降噪的效果有巨大提升，对直播场景可能经常会遇到敲键盘、喝饮料、背景讨论等噪声能进行有效抑制乃至降低到最低影响。

其中，自然语言处理（NLP）大模型（LLM）是声音聊天AI技术框架中最核心的部分。通过对自然语言处理NLP技术的深入研究和探索，荔枝推出在线聊天机器人实现了AI语音技术的应用。在线语音聊天机器人通过语音识别ASR技术可实现语音输入内容的自动识别，并应用NLP技术进行自然语言智能分析并对语意做出判断和反馈，最后通过TTS技术实现语音回复的输出，使用户可以通过语音对话与语音聊天机器人进行互动，并收到符合语境的语音回复。

陈宇恒最后总结，AIGC的出现和应用，意味着基于AI技术延伸出的大规模商业时代即将来临。对荔枝而言，抓住AIGC的机遇，持续进行前沿科技的研究和探索，进一步拓展相关技术的应用场景，包括实现语音聊天机器人在荔枝旗下音频产品中的落地，并结合音频产品的持续创新，丰富用户的声音社交、音频娱乐体验，“这有可能给荔枝全球业务带来新的机会。”