När högern splittrar sig i en fråga och du hamnar på samma sida som Bush, Bolton och Graham, kanske du vill tänka om.