Det er ingen hemmelighet at dette ble skrevet etter at George Harrison, som var en stor fan, fortalte John Bonham at problemet med Led Zeppelin er at de ikke lager noen ballader. Bonzo kom med ideen, og resten av bandet jobbet med ham for å sette den sammen. Det var en av de få Zeppelin-sangene der alle fire medlemmene delte komponistæren. Jimmy inkluderte de to første tonene (ikke akkorder som det er allment kjent) av Georges skrevne Beatles-sang «Something» i introen til «The Rain Song». Led Zeppelin fremfører The Rain Song live på Knebworth Festival, Stevenage, Storbritannia, i 1979