Medlemmene av Geese tilskriver sine musikalske ferdigheter sine erfaringer i et School of Rock-program, som alle medlemmer deltok på. Trommeslager Max Bassin, vokalist Cameron Winter og gitarist Emily Green gikk på Park Slope Rock School (PSRS), mens bassist Dominic DiGesu og tidligere gitarist Foster Hudson gikk på School of Rock New York. I 'The New York Times' minnes Hudson at han oppdaget rockebandet Television som 12-åring, da programmet hans ga ham i oppdrag å spille deres signaturlåt, "Marquee Moon"—det samme programmet DiGesu også deltok på. Bassin, Winter og Green var faste gjester på Brooklyn-scener og deltok i flere sommerlåtskrivingsøkter i Bunker Studios gjennom PSRS. Ifølge skolens nettside brakte Bassin "vanvittig energi" bak trommesettet, selv som åtteåring; Winter fikk rykte på seg som en «låtskriver i overklassen»; og Green, besatt av Radiohead, så ut til å ha en ny gitarpedal hver uke, noe som inspirerte henne til å skrive unike og eksperimentelle gitarriff. PSRS husker fortsatt trioens sang «Cherry Skies» som en av deres favoritt-originale PSRS-sanger gjennom tidene.