We maken de Perception Encoder Audiovisual (PE-AV) open source, de technische motor die helpt bij het aandrijven van de state-of-the-art audio-separatie van SAM Audio. Gebouwd op ons Perception Encoder-model van eerder dit jaar, integreert PE-AV audio met visuele perceptie en behaalt het state-of-the-art resultaten over een breed scala aan audio- en videobenches. De native multimodale ondersteuning kan mensen helpen bij dagelijkse taken, waaronder geluidsdetectie en rijkere audio-visuele scene-inzicht. 🔗 Lees het paper: 🔗 Download de code: