Není žádným tajemstvím, že to bylo napsáno poté, co George Harrison, který byl velkým fanouškem, řekl Johnu Bonhamovi, že problém s Led Zeppelin je v tom, že nedělají žádné balady. Bonzo přišel s nápadem a zbytek kapely s ním spolupracoval, aby to dal dohromady. Byla to jedna z mála písní Zeppelin, kde se všichni čtyři členové podíleli na skladatelském kreditu. Jimmy zahrnul první dvě noty (ne akordy, jak je to všeobecně známo) Georgeovy písně od Beatles "Something" do intra k "The Rain Song". Led Zeppelin hrají The Rain Song živě na Knebworth Festival, Stevenage, Velká Británie, v roce 1979