Den kvalifiserte kjøpergruppen for boliger har krympet enormt de siste årene.