Malá hra, kterou Claude a já v poslední době hrajeme, je "kontextové okno kuře". Máte jedno kontextové okno, kde můžete projekt začít a dokončit. Když vám dojdou, musíte začít od začátku. Dnes večer jsme zvládli widget pro hlasové diktování pomocí Nvidia Parakeet-0.6B při pokusu #2

(To samozřejmě znamená žádné subagenty, žádné RLM, žádné podvádění! Jediný 200k trace.)

@maxsloef nejsem si úplně jistý, co se děje při vyšším počtu tokenů. Někdy se zdá být opravdu užitečné mít hodně kontextu navíc, a někdy dochází k degradaci. Stále se snažím pochopit to chování, takže jsem se mu nevyhýbal