Від незграбного побічних проєктів, створеного для вирішення власних проблем оптимізації LLM, до фактичного незалежного табло індустрії, Майка Гілл-Сміт і Джордж Кемерон пройшли шлях безкоштовного запуску Artificial Analysis, оплати бенчмаркінгу з власної кишені та перетворення на те, що багато хто тепер називає «новим Gartner AI» для підприємств, лабораторії та розробники. Ми поспілкувалися з Майкою та Джорджем, чому справді незалежний бенчмаркинг такий складний (швидка дисперсія, насичення оцінки, політики таємного покупця), як Індекс інтелекту штучного аналізу еволюціонував після того, як старі бенчмарки зламалися, і які нові метрики зараз мають значення, такі як агентні оцінки (GDPVal-AA). Ми також розглядаємо економіку, що лежить в основі «кривої усмішки» ШІ: чому інтелект стає на 100–1000× дешевшим за одиниці, тоді як загальні витрати стрімко зростають, як логіка та агенти впливають на ефективність токенів, а також їхню ставку, що оцінки мають постійно розвиватися, інакше ризикують навчати індустрію оптимізувати для неправильних цілей. @swyx @_micah_h @grmcameron