Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Het ontgrendelen van single-cell foundation modellen met 96% minder parameters
Single-cell large language models (scLLMs) hebben opmerkelijke biologische kennis geleerd van miljoenen cellen. Maar ze hebben een kritieke zwakte: haal ze uit hun trainingscontext—een nieuwe ziekte, een ongeziene soort, een ongekarakteriseerde celpopulatie—en hun voorspellingen worden onbetrouwbaar.
De standaardoplossing is fine-tuning. Maar fine-tuning overschrijft de oorspronkelijke modelparameters, wat "catastrofale vergetelheid" van vooraf geleerde biologische kennis veroorzaakt. En het is computationeel duur, wat aanzienlijke GPU-resources vereist die veel onderzoekers simpelweg niet hebben.
Fei He en co-auteurs stellen scPEFT voor—een parameter-efficiënt fine-tuning framework dat de oorspronkelijke scLLM backbone bevriest en alleen kleine, laag-dimensionale adapters traint. Vier adaptertypes (Token adapter, Prefix adapter, LoRA, Encoder adapter) passen in verschillende delen van de modelarchitectuur, leren taak-specifieke aanpassingen zonder de voorgetrainde gewichten aan te raken.
De efficiëntieverbeteringen zijn opvallend: scPEFT vermindert trainbare parameters met meer dan 96% en snijdt het GPU-geheugengebruik met meer dan de helft. Maar hier is wat ertoe doet—het presteert daadwerkelijk beter dan volledige fine-tuning. Op ziekte-specifieke datasets (NSCLC, MS, COVID-19) behaalt scPEFT 39,7–81,7% nauwkeurigheidsverbeteringen ten opzichte van native modellen en 4,3–15% winst ten opzichte van fine-tuned versies, precies omdat het de voorgetrainde kennis behoudt in plaats van deze te overschrijven.
Het framework maakt ook cross-soort overdracht mogelijk van mensgetrainde modellen: 14% verbetering op muisneuronen, 39% op macaque kiemcellen, en 144% op C. elegans—allemaal met behulp van orthologe genmapping. Aandachtanalyse identificeert COVID-gerelateerde genen in specifieke T-celtoestanden en onthult biologisch relevante subpopulaties die onzichtbaar zijn voor fine-tuned modellen.
De bredere implicatie: naarmate foundation modellen zich verspreiden in de biologie, hebben we efficiënte manieren nodig om ze aan te passen zonder te vernietigen wat ze hebben geleerd. scPEFT toont aan dat soms, minder bijwerken betekent meer leren.
Paper:

Boven
Positie
Favorieten
