O recurso mais escasso que você tem como engenheiro é o seu próprio tempo. Diferentes modelos se destacam em diferentes tarefas e todos os LLMs podem ocasionalmente apresentar falhas, então uma maneira natural de economizar tempo ao codificar é executar a mesma tarefa em vários modelos ao mesmo tempo e, em seguida, comparar os resultados e decidir qual você prefere usar. Um dos efeitos colaterais divertidos disso é que obtemos talvez a avaliação de codificação mais natural do mundo real! Todos sabem como é fácil fazer benchmax em um conjunto fixo de tarefas; esta avaliação é um verdadeiro teste de quais modelos funcionam melhor para os desenvolvedores em seu trabalho diário.