Los miembros de Geese atribuyen sus habilidades musicales a sus experiencias en un programa de la School of Rock, al que asistieron todos los miembros. El batería Max Bassin, el cantante principal Cameron Winter y la guitarrista Emily Green asistieron a Park Slope Rock School (PSRS), mientras que el bajista Dominic DiGesu y el exguitarrista Foster Hudson asistieron a la School of Rock de Nueva York. En 'The New York Times', Hudson recuerda haber descubierto la banda de rock Television a los 12 años cuando su programa le asignó tocar su tema emblemático, "Marquee Moon"—el mismo programa al que también asistió DiGesu. Bassin, Winter y Green eran habituales en los escenarios de Brooklyn y participaron en varias sesiones de composición de verano en Bunker Studios a través de PSRS. Según la página web del instituto, Bassin aportó "energía increíble" al kit, incluso con ocho años; Winter se ganó la reputación de ser un "compositor extraordinario"; y Green, obsesionada con Radiohead, parecía tener un pedal de guitarra nuevo cada semana, lo que la inspiró a escribir riffs de guitarra únicos y experimentales. PSRS aún recuerda la canción del trío "Cherry Skies" como una de sus canciones originales favoritas de PSRS de todos los tiempos.