Większość ocen AI to drogie kłamstwa. Zazwyczaj mierzą to, co łatwo zmierzyć—metryki takie jak "halucynacje" i "toksyczność"—a nie konkretne sposoby, w jakie Twój produkt faktycznie zawodzi użytkowników. @HamelHusain i @sh_reya uczą innego podejścia—takiego, które uczyniło ich kurs numerem 1 pod względem przychodów na @MavenHQ, z ciągłym zapisami od @OpenAI, @AnthropicAI i każdego większego laboratorium AI. Ich spostrzeżenie: Zacznij od analizy błędów, a nie metryk. Przejrzyj 100 rzeczywistych interakcji z użytkownikami. Napisz szczegółowe krytyki tego, co faktycznie poszło źle. Znajdź wzorce. Dopiero wtedy buduj oceny, które poprawią Twój produkt. Po przeszkoleniu ponad 2000 PM-ów i inżynierów w ponad 500 firmach, zdestylowali swoją metodologię w systematyczny podręcznik, który pokazuje dokładnie, jak: - Zidentyfikować ~10 trybów awarii, które faktycznie psują Twój produkt - Zbudować sędziów LLM, których możesz statystycznie zweryfikować i którym możesz zaufać - Stworzyć pipeline CI/CD, które wychwytują regresje zanim zrobią to użytkownicy - Przekształcić monitorowanie produkcji w silnik odkryć nowych problemów Przeczytaj ich kompletny przewodnik tutaj:

.@HamelHusain i @Sh_reya prowadzą kurs online—AI Evals dla inżynierów i PM-ów—który jest zdecydowanie najpopularniejszym kursem na Maven i regularnie przyciąga duże grupy z wszystkich głównych laboratoriów AI. Dzieje się tak, ponieważ uczą czegoś kluczowego: jak budować oceny, które naprawdę poprawiają Twój produkt, a nie tylko generują puste pulpity nawigacyjne. W ciągu ostatnich dwóch lat Hamel i Shreya odegrali kluczową rolę w przekształceniu ocen z niejasnego, tajemniczego tematu w jedną z najważniejszych umiejętności dla twórców produktów AI. Po przeszkoleniu ponad 2000 PM-ów i inżynierów oraz liderów w ponad 500 firmach, teraz dzielą się swoim kompletnym podręcznikiem—tą samą metodologią nauczaną w @OpenAI, @AnthropicAI i innych wiodących laboratoriach. Nauczysz się, jak osadzić swoje oceny w rzeczywistości za pomocą analizy błędów, budować solidne oceny, którym możesz zaufać, oraz tworzyć cykl ciągłego doskonalenia, który wychwytuje regresje zanim zostaną wdrożone. Nie przegap tego: Oferta ograniczona czasowo: Zdobądź 35% zniżki na kurs Hamela i Shreyi, używając kodu LENNYSLIST przy kasie. To największa zniżka, jaką kiedykolwiek oferowali na swoim kursie. Gorąco polecam, abyś skorzystał z tego jak najszybciej. Zapisy kończą się za 2 dni. Zarejestruj się tutaj: Dziękujemy za podzielenie się tym skarbem z nami, Hamel i Shreya 🙏

Moja nowa ulubiona definicja "wysokiej agencji": "Jesteś termostatem, a nie termometrem. Termometr mierzy temperaturę w pomieszczeniu, podczas gdy termostat ją zmienia." — @ezinneudezue