Geese üyeleri, müzikal becerilerini her üyenin katıldığı School of Rock programındaki deneyimlerine borçludur. Davulcu Max Bassin, solist Cameron Winter ve gitarist Emily Green Park Slope Rock School (PSRS)'a giderken, basçı Dominic DiGesu ve eski gitarist Foster Hudson School of Rock New York'a gitti. 'The New York Times' bölümünde, Hudson, 12 yaşında programının ona imza parçalarını çalması için atandığı zaman rock grubu Television'ı keşfettiğini hatırlıyor, "Marquee Moon"—DiGesu'nun da katıldığı aynı program. Bassin, Winter ve Green Brooklyn sahnelerinde düzenli olarak yer aldılar ve PSRS aracılığıyla Bunker Studios'ta birkaç Yaz Şarkı Yaz Yaz Oturumuna katıldılar. Okulun web sitesine göre, Bassin sekiz yaşında bile kitin arkasında "çılgın enerji" getirdi; Winter, "olağanüstü bir söz yazarı" olarak ün kazandı; ve Green, Radiohead'e takıntılı olarak, her hafta yeni bir gitar pedalı kullanıyor gibiydi, bu da onu benzersiz ve deneysel gitar riffleri yazmaya teşvik etti. PSRS, üçlünün "Cherry Skies" şarkısını hâlâ tüm zamanların en sevdikleri PSRS orijinal şarkılarından biri olarak hatırlıyor.