I membri dei Geese attribuiscono le loro abilità musicali alle loro esperienze in un programma della School of Rock, a cui ha partecipato ogni membro.⁠ ⁠ Il batterista Max Bassin, il cantante principale Cameron Winter e la chitarrista Emily Green hanno frequentato il Park Slope Rock School (PSRS), mentre il bassista Dominic DiGesu e l'ex chitarrista Foster Hudson sono andati alla School of Rock New York.⁠ ⁠ Nell' 'The New York Times', Hudson ricorda di aver scoperto la band rock Television all'età di 12 anni, quando il suo programma gli assegnò di suonare il loro brano iconico, “Marquee Moon”—lo stesso programma a cui ha partecipato anche DiGesu.⁠ ⁠ Bassin, Winter e Green erano abituali sui palchi di Brooklyn e hanno partecipato a diverse Sessioni di Scrittura Estiva presso i Bunker Studios attraverso il PSRS. Secondo il sito web della scuola, Bassin portava un'“energia pazzesca” dietro il kit, anche a otto anni; Winter si è guadagnato la reputazione di “songwriter straordinario”; e Green, ossessionata dai Radiohead, sembrava avere un nuovo pedale per chitarra ogni settimana, il che l'ha ispirata a scrivere riff di chitarra unici ed esperimentali.⁠ ⁠ Il PSRS ricorda ancora la canzone del trio “Cherry Skies” come una delle loro canzoni originali preferite di sempre del PSRS.⁠