传统的说话者分类系统依靠人类声音的声学差异来识别对话中的不同说话者。根据男女的音调，仅使用简单的声学模型（例如，高斯混合模型），就可以在一个步骤中相对容易地区分它们。但是，为了区分音调可能相似的说话者，说话者分类系统需要使用多步方法。首先，基于检测到的人类语音特征，使用变化检测算法将对话分为偶数段。我们希望每个部分只包含一个发言人。然后，使用深度学习模型将说话者的语音片段映射到嵌入向量。最后，在聚类阶段，将以上嵌入聚类到不同的聚类中，以跟踪对话中的同一说话者。在实际情况中，说话者分类系统和声学语音识别（ASR）系统将并行运行，并且这两个系统的输出将组合在一起以将标签分配给识别的单词。传统的说话人分类系统在声学域中进行推理，然后将说话人标签覆盖在由独立ASR系统生成的单词上。这种方法有许多缺点，阻碍了该领域的发展：（1）我们需要将对话分为仅包含讲话者语音的部分。否则，从这些片段生成的嵌入内容将无法准确地表征扬声器的声学特性。但是，实际上，这里使用的变化检测算法并不完美，并且分段的片段可能包含多个说话者的语音。 （2）聚类阶段需要知道说话者的人数，并且此阶段对输入的准确性非常敏感。 （3）系统需要在用于估计人声特征的片段大小与预期模型准确性之间进行艰难的权衡。片段越长，人声特征的质量越高，因为该模型现在具有有关说话者的更多信息。然而，这带来给错误的说话者分配较短括号的风险。这将产生非常严重的后果。例如，在处理临床医学或金融领域的对话时，我们需要准确地跟踪肯定和否定的陈述。 （4）传统的说话人分类系统没有便捷的机制在许多自然对话中使用明显的语言线索。例如，“您多久吃一次药？”在临床对话中，医务人员很可能会说出来，而不是病人会说出来。类似地，“我们什么时候应该交作业？”是由学生而不是老师说的。语言学线索还表明说话者发生变化的可能性很大（例如，在提问之后）。然而，传统的说话人分类系统也有一些表现更好的例子。其中一个是在先前由Google发布的博客文章中介绍的（博客文章地址：https：//ai.googleblog.com/2018/11/accurate -online-speaker-diarization.html）。在这项工作中，递归神经网络（RNN）的隐藏状态将跟踪说话者，克服了聚类阶段的缺点。本文提出的模型使用了不兼容的方法，并介绍了语言线索。我们开发了一个简单的新模型，该模型不仅可以完美地结合声音和语音提示，而且可以在同一系统中结合说话者分类和语音识别任务。与仅在相同环境中执行语音识别的系统相比，此集成模型不会显着降低语音识别性能。我们意识到关键点在于RNN-T体系结构非常适合集成声音和语言提示。 RNN-T模型由三个不同的网络组成：（1）转录网络（或编码器），它将声音帧映射到潜在的表示形式。 （2）给定上一个目标标签的预测网络将预测下一个目标标签。 （3）级联网络合并上述两个网络的输出，并在此时间步生成该组输出标签的概率分布。传统系统和RNN-T系统之间的错误率比较是由人工注释者来分类的。此外，集成模型还可以预测其他一些标签，这对于生成对读者更友好的ASR翻译是必不可少的。例如，我们已经可以使用匹配的培训数据来通过标点符号和大写字母来提高翻译质量。与我们以前的模型（单独训练并用作ASR的后处理步骤）相比，我们的输出在标点和大写字母方面的误差较小。