Skip to content

建议:集成 FunASR/SenseVoice 实现语音识别交互 #131

Description

@LauraGPT

功能建议

VirtualWife 支持 B 站直播的虚拟数字人,集成 FunASR/SenseVoice 可以实现语音交互。

优势

  • 实时流式识别:FunASR WebSocket 流式服务,延迟极低,适合直播场景
  • 中文识别准确:Paraformer 中文 CER < 2%
  • 情感识别:SenseVoice 可识别说话人情绪,增强互动体验
  • 50+ 语种:支持多语言观众
  • 完全本地:无需联网,保护隐私

流式服务

# 启动流式 WebSocket 服务
python -m funasr.bin.ws_server --device cuda
# 客户端连接 ws://localhost:10095

Python API

from funasr import AutoModel
model = AutoModel(model="iic/SenseVoiceSmall")
result = model.generate(input="audio.wav")

如有兴趣,欢迎交流!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions