Artık gerçek zamanlı konuşma üretebiliyorsunuz, sohbet gibi geliyor. Microsoft, ~300 ms ilk ses gecikmesi ve akış girişi ile gerçek zamanlı metin-konuşma sistemi olan VibeVoice'u açık kaynak olarak başlattı. Uzun konuşmaları dağılmadan yönetiyor. Bu model uzun, çok konuşmalı konuşma üretir. 90 dakikaya kadar ses üretir. Dört farklı hoparlöre kadar destek sağlar. Sıra alma uzun seanslarda tutarlı kalır. Bu, zaman çözünürlüğünü azaltarak işe yarar. Ses, anlamsal ve akustik tokenlara sıkıştırılır. Kare seviyesi ses yerine 7.5 Hz'de çalışıyorlar. Bir dil modeli yapıyı öngörür. Bir difüzyon başlığı akustik detayları geri kazandırır. Düşük gecikmeli ses akışına izin veriyor. Gerçek zamanlı varyant metni kademeli olarak akıyor. İlk konuşma ~300 ms içinde geliyor. Bir WebSocket demosu canlı üretimi gösteriyor. Kod MIT lisanslıdır ve sadece araştırma içindir. Depo zaten 20 bin GitHub yıldızını geçti.

1. Bunu faydalı buldun mu? Takip etmeyi unutmayın! Her geliştiricinin bilmesi gereken yapay zeka yenilikleri hakkında her gün paylaşım yapıyorum. 2. Beğenmeler/retweetler çok takdir edilir. 3. Ayrıca kontrol etmeye değer: 250k+ yapay zeka geliştiricisi tarafından okunan bülten.