1799年に建てられたワシントンD.C.のオクタゴンハウスは、ホワイトハウスが焼かれた後、マディソンをもてなし、悲劇的な霊が出没していると噂されている。