Notre modèle de fondation en bioacoustique, Perch, a été principalement entraîné sur des animaux terrestres - comme les oiseaux. Mais Perch 2.0 montre des performances incroyables en acoustique sous-marine. Voici comment il nous aide à écouter et à comprendre les écosystèmes marins 🧵

L'océan est un "paysage sonore" de mystère. Pour protéger les espèces sous-marines, nous devons les identifier à grande échelle. Récemment, nous avons lancé Perch 2.0, qui excelle dans les tâches de validation marine - malgré l'absence d'audio sous-marin dans l'entraînement.

Pour étendre les capacités de Perch 2.0 pour l'identification des sons sous-marins, nous avons utilisé l'apprentissage par transfert. Le modèle pré-entraîné peut déjà comprendre le son, donc nous lui enseignons à apprendre de nouveaux paramètres uniquement pour la dernière étape du processus, en l'appliquant à une nouvelle espèce.

Perch 2.0 a été évalué sur une gamme de tâches de vocalisation des baleines : distinguer différentes espèces de baleines à fanons et sous-populations d'orques. Comparé à des modèles pré-entraînés, il s'est systématiquement classé parmi les meilleurs ou le deuxième meilleur modèle pour chaque ensemble de données et taille d'échantillon.

Nous croyons que Perch 2.0 réussit si bien à transférer les données des oiseaux en sons sous-marins grâce à sa capacité à : Généraliser : il peut catégoriser avec expertise des sons non inclus dans son entraînement. Classer des sons similaires : il est contraint d'apprendre des caractéristiques acoustiques détaillées. Reconnaître la diversité : identifier une variété d'espèces qui ont évolué des vocalisations, tout en partageant des caractéristiques structurelles.