O recurso mais escasso que você tem como engenheiro é seu próprio tempo. Modelos diferentes aumentam em tarefas diferentes e todos os LLMs podem ser ocasionalmente instáveis, então uma forma natural de economizar tempo na programação é rodar a mesma tarefa em vários modelos ao mesmo tempo, comparar os resultados e decidir com qual você prefere trabalhar. Um dos efeitos colaterais divertidos disso é que talvez temos a avaliação de código mais natural do mundo real que existe! Todo mundo sabe como é fácil fazer supino máximo em um conjunto fixo de tarefas; Essa avaliação é um verdadeiro teste de quais modelos funcionam melhor para desenvolvedores no dia a dia.