目标说话人模式的比较输入
- 1目标链路
- 2最终句段音频
- 3对比模型
- 4句段下方结果
使用目标说话人链路实际产出的音频，不重新录制整场或把非目标音频送给对比模型。角色模式和目标模式分别回归，避免模式切换后保留错误结果归属。
Skip to content
跳到项目内容模型对比与热词体验工作台01 / 01 主识别确定最终句段及角色，音频片段被复用到对比 Provider。两条输出在界面关联，主链路不依赖对比启用。
项目速览
业务背景
语音模型比较需要尽可能一致的输入，而不同接口的角色、断句和会话语义并不相同。工作台提供实时识别与会议 / 目标说话人模式，允许在句段下追加第三方识别结果，辅助观察转写差异。
负责范围
- 实时识别与会议工作台
- 第三方 ASR 对比与逐句回放
- 目标说话人句段复用与一段式注册
- 流式文字节奏与终稿替换
同一音频段
比较输入
使用最终句段范围，而不是对齐两份独立断句文字。
16 / 22 组
扩展音频回归
22 组全部到达终态，其中 16 组质量通过；漏首句、重复与重叠讲话 6 组仍待解决。
5–8 秒
一段式注册
目标说话人注册只需一段录音，实时页与会议页共用。
01
核心业务
Playground 面向语音模型体验与接入调试，包含实时识别、会议角色和目标说话人页面。增加对比 Provider 时，输入音频、切分和角色条件需要保持可解释，否则界面并排显示的文字不能说明差异来自哪里。
页面将第三方识别放在主链路最终句段下方，复用对应音频范围。用户可关闭对比，主识别模式与协议保持既有行为；同一模式的角色结果、时间和对比文本在界面中关联。
后续迭代聚焦阅读与核对：对比结果可以逐句回放，整句可以从原始音频回听；流式文字按固定节奏出现、终稿一次替换；目标说话人注册从三段录音简化为一段 5–8 秒录音。
- 01模式与音频
- 普通实时、角色和目标说话人有不同音频范围，比较前先确定句段来源。
- 02模型接入
- 主模型与对比 Provider 分开处理，第三方输出不会改写主识别结果。
- 03结果阅读
- 逐句呈现主文本、说话人和可选对比文本，降低切换页面核对的成本。
02
技术栈
- 界面
- JavaScriptHTML / CSS音频输入
- 实时协议
- WebSocket逐句结果呈现
- 模型接入
- Amphion TS-ASR第三方对比 ASR
- 业务适配
- Provider Adapter角色 / 目标说话人句段
03
系统架构与部署
浏览器页面
JavaScript / 音频采集 / WebSocket选择模式、展示逐句结果并持久化对比开关。
主识别
ASR / 角色与目标说话人接口确定业务句段、音频范围和主结果。
对比 Provider
第三方 ASR / Adapter对同句段调用真实识别接口，将结果追加到主文本下方，可逐句回放。
04
核心业务链路
对比失败不改变主识别
- 1主结果独立返回；可选对比
- 2独立状态与追加文本
对比默认关闭，启用后作为逐句附加内容。主识别的角色、终态和文本保持既有协议，第三方输出以独立来源呈现。
05
关键机制与取舍
01界面比较建立在音频区间上
- 约束
- 不同模型自行断句时，结果的数量和范围并不相同；拿两段看起来相似的文字比较会掩盖输入差异。
- 做法
- 主链路先确定最终句段，再复用该段音频调用对比 Provider。页面按句段关联结果，角色和目标模式分别限定音频来源。
- 效果
- 用户可以沿同一段语音查看差异，界面比较仍不替代有标注数据的准确率评测。
02增量扩展保留原模式行为
- 约束
- 增加第三方模型容易把新的失败和延迟引入既有识别路径。
- 做法
- 对比是可选附加能力，关闭时保留原协议和主页面行为；开关在实时页和会议页共享，刷新后仍可恢复选择。
- 效果
- 新 Provider 的接入成本集中在适配与结果展示，不要求用户换一套识别工作台。
03流式文字的阅读节奏
- 约束
- 模型一次推送多个字时，界面跳字明显；终稿到达后如果再逐字追赶，用户会看到旧文本停留。
- 做法
- 中间结果每 50 毫秒最多呈现 2 个字，终稿到达时一次替换；整句回放直接截取原始音频，不依赖重新合成。
- 效果
- 阅读体验稳定，核对时听到的就是送进模型的那段声音；单次真实请求首字约 791 ms。
04注册从三段简化为一段
- 约束
- 三段录音注册步骤多，用户容易录错或中途放弃。
- 做法
- 注册只录一段 5–8 秒音频，服务端复用为注册所需的多份参考；会议页使用同一注册流程。
- 效果
- 注册请求约 1.3–1.8 秒完成；多人场景下的身份质量尚未验收。
06
AI 协作开发
前端对比工具和扩展回归由 Agent 编写和执行，失败用例独立复现后再归因。
- Agent 负责
对比工具与扩展回归
编写逐句对比回放的前端检查脚本，执行 22 组扩展回归：16 组质量通过，6 组未通过。
- 归因
失败先复现再下结论
6 组失败经独立复现，确认来自模型能力而不是界面问题，结论写进报告后才进入下一轮。
- 边界
不因一次对比改全局阈值
说话人检测的 A/B 结果不用来全局下调阈值，也不借用其他任务正在使用的模型。
对照 Provider 的结果独立展示，不覆盖主识别文本。
07
阶段成果
- 模型接入与交互设计共同解决比较输入、结果归属和重复操作问题。
- 实时与会议页面以增量方式加入对比、逐句回放和一段式注册，保留主链路业务语义。
- 回归失败项与模拟麦克风的验证范围如实记录，不作为模型准确率评测。
继续浏览
别急，先让缓存热一下。