O padrão para juízes deve ser o mesmo de qualquer trabalho: se eles têm histórico de tomar muitas decisões ruins (não alguns incidentes isolados), devem ser convidados a renunciar. Não é tão complicado assim.