Skip to content

README.zh.md

Latest commit

 

History

History
602 lines (493 loc) · 33.4 KB

README.zh.md

File metadata and controls

602 lines (493 loc) · 33.4 KB
Raw

Voice-Pro

最佳AI语音识别、翻译和多语言配音解决方案 🚀

Ask DeepWiki.com youtube Buy Me a Coffee release GitHub Repo stars

Dubbing Studio


🎙️ 为语音识别、翻译和配音设计的AI驱动网络应用程序

South Korea Flag 한국어 ∙ United Kingdom Flag English ∙ China Flag 中文简体 ∙ Taiwan Flag 中文繁體 ∙ Japan Flag 日本語 ∙ Germany Flag Deutsch ∙ Spain Flag Español ∙ Portugal Flag Português

Voice-Pro是一款革新多媒体内容制作的先进网页应用。它将YouTube视频下载、音频分离、语音识别、翻译和文本转语音(TTS)集成到一个强大的工具中，为创作者、研究人员和多语言专家提供理想的解决方案。

  • 🔊 顶级语音识别: Whisper, Faster-Whisper, Whisper-Timestamped
  • 🎤 零样本语音克隆: F5-TTS, E2-TTS, CosyVoice（包括 Fun-CosyVoice3 — 支持韩语及另外8种语言）
  • 📢 多语言文本转语音: Edge-TTS, kokoro（可选 Azure TTS，使用您自己的密钥 — 参见下方"Azure服务"章节）
  • 🎥 YouTube处理与音频提取: yt-dlp
  • 🌍 超过100种语言的即时翻译: Deep-Translator（可选 Azure Translator，使用您自己的密钥）

作为ElevenLabs的强大替代方案，Voice-Pro为播客主持人、开发者和创作者提供高级语音解决方案。

⚠️ 请注意

  • 由于WeConnect开发工作，Voice-Pro的开发和更新暂时无法进行。
  • 我们已经公开了所有Voice-Pro代码并完全免费。Voice-Pro现在可以自由分发和修改。
  • 在配备NVIDIA GPU的Windows环境下运行良好。Mac和Linux上的运行尚未验证。
  • 请将您的请求留在 GitHub Issues 或 GitHub Discussions 页面。
  • 故障排除: 在大多数情况下，删除installer_files文件夹后重新运行start.bat即可解决问题（干净重装只需几分钟；model/中已下载的AI模型会被保留）。错误会以红色提示框(toast)的形式显示在WebUI中，并保持显示直到您手动关闭。

📰 新闻与历史

version 4.0
  • ⚡ 安装器从Miniconda/pip迁移到uv — 安装速度大幅提升，并可通过提交到仓库的uv.lock实现完全可复现的安装。所有内容都保存在installer_files/内（uv、Python、软件包）。
  • 🐍 运行时升级：Python 3.12、Torch 2.8.0+cu128（支持RTX 50系列）、Gradio 6.20。
  • 🎙️ 最新ASR套件：faster-whisper 1.2.1（large-v3-turbo、distil-large-v3.5）、openai-whisper 20250625、whisper-timestamped 1.15.9。whisperX已被移除（其依赖版本锁定阻碍了Gradio 6升级；现有配置会自动回退到faster-whisper）。
  • 🗣️ 最新TTS套件：F5-TTS 1.1.21、kokoro 0.9.4、edge-tts 7.x，以及重新整合的CosyVoice（上游main分支）。
  • 🇰🇷 新增可选TTS模型：Fun-CosyVoice3-0.5B — 支持包括韩语在内的9种语言，可在CosyVoice标签页中选择（首次使用时从官方HF仓库下载）。
  • 🧹 不再需要CUDA Toolkit和Visual Studio Build Tools — 所有依赖都提供预编译wheel包，且PyTorch自带CUDA运行时。
  • 🛡️ 对受限/企业电脑友好：无需管理员权限 — 如果未安装ffmpeg，start.bat会自动下载便携版；Whisper模型下载在传输中断/损坏后可自我修复；当网络对免费Google端点限流时，翻译会自动以退避方式重试（失败的行会被报告，并保留原文）。
  • 🚨 错误现在会显示在WebUI中：每次失败都会显示红色错误提示框，并保持在屏幕上直到您手动关闭（此前是容易被忽略的10秒警告），并针对常见原因（缺少ffmpeg、未注册媒体等）提供可操作的提示信息。
  • 🖥️ UI：迁移到Gradio 6（所有标签页采用全宽布局，字幕轨道直接显示在视频播放器中）。
  • 🧽 uninstall.bat不再需要管理员权限，也不再强制重启；uninstall.bat silent可无人值守运行。
version 3.2
  • 我们过去几个月一直专注于WeConnect开发，完全无法管理Voice-Pro。
  • 我们决定开源所有Voice-Pro代码。
  • Voice-Pro完全免费，支持Windows、Mac、Linux。
  • WeConnect是一个用于全球文化交流的应用程序。
  • 与世界各地的 人们 连接，进行有意义的文化交流、语言学习和国际友谊。

ScreenShot 0 ScreenShot 1 ScreenShot 2 ScreenShot 3 ScreenShot 4

version 3.1
版本 3.0
  • 🔥 AI Cover功能已移除。
  • 🚀 添加了对m-bain/whisperX的支持。
版本 2.0
  • 🐍 使用Python 3.10.15、Torch 2.5.1+cu124和Gradio 5.14.0构建。
  • 🆓 免费试用支持最长60秒的媒体。
  • 🔥 添加了AI Cover功能。
  • 🎤 引入了对CosyVoice和kokoro的支持。
  • ⏳ 首次运行时下载CozyVoice2-0.5B (9GB)，根据网络速度可能需要超过1小时。
  • 🎧 用于语音克隆的语音样本将持续更新。
  • 📝 添加了spaCy以实现自然逐句翻译和TTS。
  • ☁️ 订阅版本包括Microsoft Azure的翻译和TTS。
  • 🏪 订阅版本在订阅期间提供无限制使用（无60秒限制），可通过 Shopify 购买。

🎥 YouTube Showcase

Demo Video 1
Demo for Voice-Pro (v2.0) 		Demo Video 2
F5-TTS: Voice Cloning 		Demo Video 3
Live Transcription & Translation 		Demo Video 4
Multi-Lingual Voice Cloning: Korean - German
Demo Video 5
Multi-Lingual Voice Cloning: English - Korean 		Demo Video 6
Multi-Lingual Voice Cloning: Korean - Japanese 		Demo Video 7
NVIDIA RTX Video Super-Resolution 		Demo Video 8
AI Karaoke
Demo Video 5
Multi-Lingual Voice Cloning: English - Korean

⭐ 主要功能

1. 配音工作室

  • YouTube视频下载与音频提取
  • 使用Demucs进行声音分离
  • 支持100多种语言的语音识别与翻译

2. 语音技术

  • 语音转文本: Whisper, Faster-Whisper, Whisper-Timestamped
  • 文本转语音:
    • Edge-TTS: 100多种语言，400多种声音
    • E2-TTS, F5-TTS, CosyVoice: 零样本克隆
    • kokoro: 在HuggingFace TTS竞技场中排名第2

3. 实时翻译

  • 即时语音识别
  • 实时多语言翻译
  • 可定制的音频输入

🤖 网页界面

配音工作室标签页

  • 集成中心：YouTube下载、降噪、字幕、翻译、TTS
  • 支持所有ffmpeg兼容格式
  • 输出选项：WAV、FLAC、MP3
  • 支持100多种语言的字幕和识别
  • 可调节TTS的速度、音量、音调

多语言语音转换和字幕生成网页界面

Whisper字幕标签页

  • 专用字幕：90多种语言
  • 视频集成字幕显示
  • 单词级高亮和降噪选项

翻译标签页

  • 100多种语言翻译
  • 支持字幕文件（ASS、SSA、SRT等）
  • 实时语音识别和翻译

实时语音识别和翻译网页界面

语音生成标签页

  • 选项：Edge-TTS、F5-TTS、CosyVoice、kokoro
  • 使用名人声音制作播客和多语言支持

使用语音克隆技术制作播客的网页界面

🎤✨ 参考声音

  • 请在Issues页面上请求想添加的声音。Issues
English

Andrew Bustamante
Andrew Huberman
Avi Loeb
Ben Shapiro
Brett Johnson
Brian Keating

Coffeezilla
Dan Carlin
David Buss
David Fravor
David Kipping
Dennis Whyte

Donald Hoffman
Donald Trump
Douglas Murray
Duncan Trussell
Elon Musk
Garry Nolan

Jack Barsky
James Sexton
Jeff Bezos
Joe Rogan
John Mearsheimer
Jordan Peterson

Kanye 'Ye' West
Mark Zuckerberg
Michael Levin
Michael Saylor
Michio Kaku
MrBeast

Nick Lane
Paul Rosolie
Ryan Graves
Sam Altman
Sam Harris
Stephen Wolfram

Tucker Carlson
Vitalik Buterin
Yuval Harari
Chinese

迪丽热巴 (Dílì Rèbā)
蔡依林 (Cài Yīlín)
吴亦凡 (Wú Yìfán)
李易峰 (Lǐ Yìfēng)
杨幂 (Yáng Mì)
赵丽颖 (Zhào Lìyǐng)
Korean

BTS 진 (Jin)
BTS RM
IU (아이유)
이병헌
이정재
유재석
Japanese

綾瀬はるか (Ayase Haruka)

💻 系统要求

  • 操作系统： Windows 10/11（64位）、Linux、Mac（Apple Silicon）
  • 显卡： 配备较新驱动的NVIDIA显卡（推荐驱动版本 >= 570；支持RTX 50系列）。无需安装CUDA Toolkit。
  • 显存： 4GB以上（推荐8GB以上）
  • 内存： 4GB以上
  • 存储： 20GB以上可用空间
  • 网络： 必需

📀 安装

使用configure.bat和start.bat轻松安装Voice-Pro（Mac/Linux上使用configure.sh和start.sh）。

1. 准备包

  • 从GitHub Release下载最新发布版本（Source code (zip)）
git clone https://github.com/abus-aikorea/voice-pro.git

2. 安装和运行

  1. 🚀 configure.bat（可选）
    • 在系统范围内安装git和ffmpeg（不再需要CUDA Toolkit / Visual Studio）
    • 需要管理员权限；只需运行一次
    • 没有管理员权限？可以跳过 — start.bat会自动下载便携版ffmpeg
  2. 🚀 start.bat
    • 启动Voice-Pro网页界面
    • 首次运行时下载uv + Python 3.12，并根据锁定文件安装所有依赖（只需几分钟，而非数小时），然后下载AI模型（约10GB — 这才是耗时的部分）
    • GPU/CPU会自动检测；可通过GPU_CHOICE环境变量（G=NVIDIA、C=CPU）或删除installer_files\gpu_choice.txt来覆盖设置
    • 如果出现问题，删除installer_files后重试

3. 更新

  • 🚀 update.bat：将Python环境精确地重新同步到仓库中提交的锁定文件（速度很快）

4. 卸载

  • 运行uninstall.bat或删除文件夹（便携式安装）
  • 无需管理员权限；添加silent参数可无人值守卸载（uninstall.bat silent）
  • 只会删除installer_files文件夹 — 您的model/和workspace/文件夹会被保留

🔑 Azure服务（可选，.env）

默认情况下，Voice-Pro使用免费服务：翻译使用Deep-Translator（Google的免费Web端点），语音合成使用Edge-TTS。如果您拥有自己的Microsoft Azure订阅，可以将两者都切换到Azure API：

  1. 在项目根目录将.env.example复制为.env： 
    copy .env.example .env     # Windows
cp .env.example .env       # Mac/Linux
  2. 填写您的Azure凭据： 
    # Azure Speech Service (TTS)
AZURE_SPEECH_KEY=your_azure_speech_key_here
AZURE_SPEECH_REGION=eastus

# Azure Translator Service
AZURE_TRANSLATOR_KEY=your_azure_translator_key_here
AZURE_TRANSLATOR_ENDPOINT=https://your-translator-resource.cognitiveservices.azure.com/
AZURE_TRANSLATOR_REGION=eastus
  3. 重启Voice-Pro。启动时会自动检测有效的密钥 — 翻译将切换到Azure Translator，语音生成的第一个标签页将变为Azure-TTS。

什么情况下值得配置？

  • 🏢 企业/受限网络：安全设备经常对免费的translate.google.com端点进行限流或屏蔽，导致较长的字幕翻译变慢或失败。Voice-Pro会以退避方式重试，并为失败的行保留原文（您会看到带有失败数量的警告），但使用Azure Translator可以完全避免这个问题。
  • 🗣️ 更高质量、更稳定的TTS语音，以及更高的速率限制。
  • 请不要将.env提交到版本控制 — 它包含您的私人密钥。

❓使用技巧

浏览器没有自动启动时

  • 关闭Windows命令窗口，重新运行start.bat，或
  • 直接启动浏览器，在地址栏输入Windows命令窗口显示的地址（例如**http://127.0.0.1:7870**）

出现CUDA内存不足错误时

  • 在Windows任务管理器-性能标签中检查GPU内存状态
  • 将降噪级别设置为0或1。降噪级别2需要8GB以上的GPU内存
  • 将计算类型设置为int类型。float类型质量更好但需要更多GPU内存

如何提高字幕质量？

  • 字幕质量通常随着使用更大的Whisper模型而提高，但并不总是如此。large > medium > small > base > tiny
  • 在计算类型中，float类型性能更好。int类型通过模型量化降低GPU使用量并提高速度，但性能较差
  • 提高降噪级别可以更多地去除背景音，只将剩余的语音用于语音识别。但不总是能保证更好的结果

🚨 通知

  • 由于WeConnect开发工作，暂时不会有Voice-Pro更新。
  • 所有Voice-Pro代码已公开。现在完全免费使用。
  • WeConnect是一个面向全球文化交流的通信平台。

⏳ 用于字幕制作、翻译和TTS的SaaS平台

下表列出了支持字幕制作、翻译和文本转语音（TTS/配音）功能的SaaS平台。成本基于2025年4月15日的最新定价数据，计算包括处理60分钟韩语视频的字幕生成、英语翻译和英语配音。

平台 字幕制作 翻译 TTS/配音 60分钟视频处理成本 (美元, 约) 主要功能
Maestra ✅ ✅ ✅ $23.70 支持125+语言，实时字幕，SEO关键词提取，15分钟免费试用。
Kapwing ✅ ✅ ✅ $30~$40 (Pro计划，按分钟) AI字幕，100+语言翻译，自动唇同步配音，提供免费层。
VEED.IO ✅ ✅ ❌ $24~$36 (Pro计划，部分处理) 99.9%准确字幕，Instagram优化字幕，直观编辑器。
HappyScribe ✅ ✅ ✅ $36~$48 (按需付费) 120+语言，专业校对选项，安全，会议转录。
Sonix ✅ ✅ ✅ $30~$40 (Standard计划) 54+语言，30分钟免费转录，YouTube/Zoom集成。
Descript ✅ ✅ ✅ $36~$48 (Creator计划) 文本编辑，Overdub TTS，填充词移除，1小时免费转录。
AppTek ✅ ✅ ✅ 定制定价 (联系) 媒体专用，定制模型，元数据生成，基于云的Workbench。
Transkriptor ✅ ✅ ❌ $12~$18 (按需付费) 100+语言，YouTube链接转录，99%准确度，简单编辑器。

成本计算详情

  • Maestra: Premium计划 ($158/月，1200积分)。60分钟视频：字幕60积分 + 翻译60积分 + 配音60积分 = 180积分。成本 = (180/1200) * $158 = $23.70。
  • Kapwing: Pro计划 (~$24/月，分钟限制)。字幕+翻译+配音每分钟$0.50~$0.67估算（基于分钟定价趋势）。60分钟成本：$30~$40。需确认准确价格。
  • VEED.IO: Pro计划 (~$24/月)。字幕+翻译每分钟$0.40~$0.60估算。无TTS，部分处理。60分钟成本：$24~$36。请在veed.io确认。
  • HappyScribe: 按需付费 (转录每分钟~$0.20，翻译$0.20，配音$0.20)。60分钟成本：$36~$48（假设组合服务）。请在happyscribe.com确认。
  • Sonix: Standard计划 (转录每小时~$10，翻译/配音额外)。总计每分钟$0.50~$0.67估算。60分钟成本：$30~$40。请在sonix.ai确认。
  • Descript: Creator计划 (~$24/月，时间限制)。字幕+翻译+配音每分钟$0.60~$0.80估算。60分钟成本：$36~$48。请在descript.com确认。
  • AppTek: 企业定制定价。无公开分钟费率。请联系apptek.ai获取报价。
  • Transkriptor: 按需付费 (转录每分钟$0.05~$0.10，翻译类似)。无TTS，部分处理。60分钟成本：$12~$18。请在transkriptor.com确认。

备注

  • 60分钟视频处理成本: 成本为处理60分钟韩语视频的字幕、英语翻译和英语配音（若可用）的近似值。无TTS的平台（例：VEED.IO、Transkriptor）反映部分处理成本。
  • 语言支持: 大多数平台支持韩语和英语。具体语言支持请在各网站确认。
  • 使用场景:
    • 媒体/娱乐: AppTek, Maestra
    • 社交媒体: Kapwing, VEED.IO
    • 播客/访谈: Sonix, Descript
    • 在线学习/全球内容: Transkriptor, HappyScribe
  • 价格更新: 因计划变更或促销，价格可能有所变动。请在官方网站查看最新信息。
  • 如需贡献或推荐特定使用场景，请在此仓库中提交问题或拉取请求！

☕ 贡献

您好，我是Voice-Pro团队的戴维。 我们的团队致力于发掘业内顶尖的人工智能技术，并提供给所有人，让大家都能轻松便捷地使用。 我们是一家刚成立一年的韩国小型创业公司。我们努力工作，旨在帮助您和其他创作者制作出色的内容。

您的⭐⭐⭐⭐⭐评价对我们的业务与您共同成长至关重要，我们对此深表感谢。请您支持我们这个小团队。

谢谢， ABUS客户服务

  • 如果您想参与并帮助我们进行此项目，请随时创建一个 Issues。
  • 如果出现问题，请提交一个 Pull requests 以改进此项目。
  • 欢迎任何类型的贡献。
  • 有关购买、商业伙伴关系、技术调整、投资和其他相关事宜的咨询，请通过电子邮件 (abus.aikorea@gmail.com) 与我们联系。
  • 如果您喜欢这个项目，请给这个存储库加星标。我们将非常感谢。 ⭐⭐⭐
  • 您可以在这里通过捐赠支持 Voice-Pro：
Buy Me a Coffee

📬 联系方式

🙏 鸣谢

©️ 版权信息

by ABUS