Teplota v LLM, jasně vysvětlena! Teplota je klíčovým vzorkovacím parametrem při odvozování LLM. Dnes vám ukážu, co to znamená a jak to vlastně funguje. Začněme tím, že OpenAI GPT-3.5 dvakrát vyzveme s nízkou hodnotou teploty. Pozorujeme, že produkuje identické odpovědi od LLM. Podívejte se na👇 to Nyní jej vyzve s vysokou hodnotou teploty. Tentokrát produkuje nesmyslný výstup. Podívejte se na výstup níže. Co se to tu děje? 🤔 Pojďme se do toho ponořit... 👇 LLM generující text jsou jako klasifikační modely s výstupní vrstvou pokrývající celou slovní zásobu. Místo toho, aby si vybrali token s nejvyšším skóre, však "vzorkují" z předpovědí. Toto vzorkování je řízeno parametrem Temperature, který vylepšuje funkci softmax. Podívejte se na👇 to Teplota určuje, jak se chová rozdělení pravděpodobnosti. ❗️Při nízkých teplotách se pravděpodobnosti stávají ostře vrcholovými, takže vzorkování je téměř nenasytné; Téměř vždy je vybrán token s nejvyšším skóre. ...