الفجوة بين برامج النماذج الذكية ومنتجات الذكاء الاصطناعي التي تعمل فعليا ليست النموذج. الأمر يتعلق بما إذا كان فريقك يمتلك انضباط تقييمي. معظم ميزات الذكاء الاصطناعي تشحن عند اختبارات الاهتزاز. يكتب شخص ما طلبا، ويبدو الناتج معقولا، ثم ينتقل إلى مرحلة الإنتاج. بعد ثلاثة أسابيع تبدأ الحالات النادرة في التراكم ولا أحد لديه طريقة منهجية لقياس ما الذي انكسر أو لماذا. الفرق التي تتقدم تتعامل مع التقييمات كما تعامل أفضل فرق المنتجات مع التجارب قبل خمس سنوات. ليس كخطوة ضمان جودة في النهاية. كحلقة أساسية لاتخاذ القرار. كل تغيير في الطلب، وكل تبديل للنموذج، وكل تعديل في نظام التعليمات يحصل على درجة بين 0 و1 قبل الإصدار. بنى أنكور جويل BrainTrust حول هذه الأطروحة عندما كان معظم الناس متشككين في أهمية التقييمات. لكن هذا الشك لم يتقدم في العمر بشكل جيد. BrainTrust الآن تشغل بنية التقييم التحتية لفيرسيل، ريبليت، رامب، زابير، نوتشن، وإيرتابل. تقييم 800 مليون دولار. الرقم الذي بقي في ذهني: بنوا تقييما من صفر أمام الكاميرا ورفعوا النتيجة من 0 إلى 0.75 في أقل من 20 دقيقة. هذا هو الجزء الذي تغفل عنه معظم الفرق. التقييمات ليست مكلفة في البناء. إنها مكلفة لتخطيها. مهارة إدارة المشاريع التي تظهر من هذا هي تصميم التقييم. معرفة المدخلات التي يجب اختبارها، وما هو "الجيد" كرقم، وكيفية تحسين دالة التقييم. إنها نفس التحول في المهارات الذي حدث عندما توقف مصطلح "يعتمد على البيانات" عن كونه كلمة رائجة وأصبح مرشحا للتوظيف. إذا كنت تقدم ميزات الذكاء الاصطناعي وعملية الجودة لديك هي "هل يبدو هذا صحيحا بالنسبة لي"، فأنت تبني برامج تجريبية.