与传统翻译不同，讯飞同传不仅可以利用音频信息，还可以通过摄像头捕捉演讲人正在演讲的视频内容，并实时分析关键词，增强理解能力。同时，在捕捉关键词之后利用AI进行内容拓展，从而实现信息增值。
高效会议，从智能转写开始
在此基础上，讯飞同传可以更像一个专家和内行一样的解读和转写会议，提高会议效率。科大讯飞将其技术进步总结为三个能力升级:1. 感知能力:从单模态到多模态升级，结合视觉信息进行理解；2. 认知能力:不仅理解、推理，还能在多模态下理解复杂信息，提取关键内容，并通过AI对内容进行拓展，形成更丰富的信息；3. 实时处理:实时捕捉分析视频流，为每个演讲生成个性化引擎，并基于视频生成的语境做深度理解。具体来说，科大讯飞的技术让机器会听、会看、会思考。
逼近人工的转写能力
讯飞同传，机器转写距离人工速记的差距，主要在于实时处理和理解能力。科大讯飞模拟人眼、脑全方位配合的多感知工作方式，让机器转写效果更加接近人工速记。会听、会看并理解，指的是通过语音和图像识别技术识别音频和视频内容，实时捕捉语音信息，而“理解”则指基于自然语言处理等技术，广泛拓展语境理解，在此过程中，讯飞同传会为每次会议生成特定的语境模型，大幅提升转写准确度。
科大讯飞的创新之路
利用视频信息，讯飞同传针对演讲视频内容，语音识别准确率提升 21.7%，语义理解准确率提升 40.3%。在实际操作中，获取演讲视频内容有时无法提前准备，因此实时获取视频流内容很关键。实现这点，可以通过高清摄像头获取与现场分辨率和清晰度相近的视频，或使用普通摄像头拍摄。摄像清晰度需达标，以保证识别准确率。实际上，讯飞同传的视频识别准确率能达到 98%以上。
探索特定语境下的优化方案
获取视频信息较为直接，实时解析视频信息则更具挑战。由于缺乏预处理时间，即便有不断提升的个性化和理解能力，机器识别与人工仍有20-30%的差距。因此，讯飞同传探索如何在特定语境下优化机器表现。“情境适应性是关键。
海量数据，构建AI模型优势
凭借背后搜索引擎的支持，讯飞同传在语境理解上具有天然优势，海量数据积累助力AI模型，对竞争对手构成了显著的门槛。
从单一语音识别到多模态交互，科大讯飞历经技术迭代，逐步掌握了复杂环境下的理解推理能力。其发展历程中，不乏创新产品，如讯飞AI鼠标AM30实现了语音转文字、翻译等功能；2018年，讯飞听见2.0集成了语音合成技术，首次达成了语音到文字的即时转换，并能根据特定语料进行实时定制，同时引入了首个英文到中文的翻译引擎；直至2022年，科大讯飞的多模态交互技术已是集视听于一体的成熟产品，具备了理解、推理的高级特性。讯飞同传，作为科大讯飞多模态交互技术的集大成者，正不断突破技术边界，引领行业前行。
