arXiv · cs.LG 机器学习· Shengzhou Kong·· 4 小时前AI 评分42
Omni-JEV:文本与双流语音的交互动作决策
Omni-JEV: Text and Dual-Stream Speech Decisions
AI 导读
Omni-JEV 将文本或按角色索引的用户与助手参考语音映射为五种交互动作的概率,用于判断全双工语音助手何时应答、保持说话、打断或恢复被打断的回复。其对齐语音到语音理解骨干分别编码声学角色,并与文本输入共享候选读出。Gaussian Omni-JEV 在测试集上语音准确率 84.08%、文本准确率 96.55%。
来源:arXiv · cs.LG 机器学习 · arxiv.org