می‌خواید برای ویدیو یا پادکستتون صدای گوینده‌ی طبیعی بسازید، بدون اینکه هر بار میکروفون دست بگیرید؟ Chatterbox یه مدل تبدیل متن به گفتار متن‌باز با لایسنس MIT هست که خودش رو پیشرفته‌ترین مدل متن‌باز این حوزه معرفی کرده.
به چه دردی می‌خوره؟
- تبدیل متن به صدای طبیعی برای ویدیو، تبلیغ یا دستیارهای صوتی.
- اضافه کردن برچسب‌های احساسی ساده داخل متن، مثل [laugh] یا [chuckle]، برای خنده و حالت‌های گفتاری.
- کلون کردن صدا با یک کلیپ حدود ۱۰ ثانیه‌ای.
- مدل Turbo با ۳۵۰ میلیون پارامتر مصرف VRAM پایین‌تری داره. مدل Nano با ۱۱۰ میلیون پارامتر روی CPU هم اجرا می‌شه.
چطوری شروع کنم؟
- نصب با pip:
pip install chatterbox-tts
- یه کد کوتاه برای مدل Turbo (با cuda روی کارت گرافیک):
import torchaudio as ta
from chatterbox.tts_turbo import ChatterboxTurboTTS
model = ChatterboxTurboTTS.from_pretrained(device="cuda")
wav = model.generate("Hi there, welcome to my channel [chuckle]", audio_prompt_path="your_10s_ref_clip.wav")
ta.save("test-turbo.wav", wav, model.sr)
- اگه GPU ندارید، مدل Nano رو با
device="cpu"وnano=Trueبارگذاری کنید. - فقط از صدای خودتون یا صدای کسی که اجازه داده استفاده کنید.
نکته‌ی کلیدی
مدل Turbo انگلیسیه و فارسی توی هیچ‌کدوم از مدل‌های این پروژه نیست؛ لیست زبان‌های نسخه‌ی چندزبانه (حدود ۲۳ زبان) فارسی رو شامل نمی‌شه. پس برای ویدیوهای فارسی فعلاً سراغش نرید. هر فایل خروجی هم یه واترمارک PerTh داره که README یه اسکریپت برای تشخیصش داده.
