Ich liebe den Ausdruck „Nahrung für den Geist“, da er eine konkrete, mysteriöse kognitive Fähigkeit beschreibt, die Menschen erleben, aber LLMs kein Äquivalent dafür haben. Definition: „etwas, über das es sich nachzudenken oder das es zu berücksichtigen gilt, wie eine mentale Mahlzeit, die deinen Geist mit Ideen, Einsichten oder Themen nährt, die tiefere Reflexion erfordern. Es wird für Themen verwendet, die deine Perspektive herausfordern, neues Verständnis bieten oder dich dazu bringen, wichtige Fragen zu überdenken, und fungiert als intellektuelle Stimulation.“ Also, in der Sprache der LLMs ist es eine Sequenz von Tokens, die, wenn sie als Eingabe für eine Gedankenkette verwendet wird, die Proben belohnend macht, über die man nachdenken kann, über eine noch unentdeckte intrinsische Belohnungsfunktion. Besessen von der Form, die es annimmt. Nahrung für den Geist.

Schneller neuer Beitrag: Automatische Bewertung von Diskussionen auf Hacker News aus dem Jahr 2015 mit Rückblick Ich habe alle 930 Artikel und Diskussionen von Hacker News auf der Startseite aus Dezember 2015 genommen und die GPT 5.1 Thinking API gebeten, eine Rückblickanalyse durchzuführen, um die vorausschauendsten und am wenigsten vorausschauenden Kommentare zu identifizieren. Das hat etwa 3 Stunden gedauert, um den Code zu entwickeln, und etwa 1 Stunde und 60 Dollar gekostet, um es auszuführen. Die Idee wurde durch den HN-Artikel von gestern angestoßen, in dem Gemini 3 gebeten wurde, die HN-Startseite ein Jahrzehnt in die Zukunft zu halluzinieren. Allgemeiner gesagt: 1. Rückblickanalysen haben mich schon immer fasziniert, da sie eine Möglichkeit bieten, dein Vorhersagemodell zu trainieren, sodass es wirklich interessant ist, die Ergebnisse zu lesen, und 2. es ist wert, darüber nachzudenken, wie es aussieht, wenn die LLM-Megageister der Zukunft diese Art von Arbeit viel günstiger, schneller und besser erledigen können. Jedes einzelne Stück Information, das du ins Internet einbringst, kann (und wird wahrscheinlich) im Detail untersucht werden, wenn es "kostenlos" ist. Daher auch mein früherer Tweet von vor einiger Zeit - "Sei gut, zukünftige LLMs beobachten dich". Herzlichen Glückwunsch an die Top 10 Konten pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth und johncolanduoni - GPT 5.1 Thinking hat eure Kommentare als die aufschlussreichsten und vorausschauendsten aller Kommentare von HN im Dezember 2015 eingestuft. Links: - Viel mehr Details in meinem Blogbeitrag - GitHub-Repo des Projekts, falls du spielen möchtest - Die tatsächlichen Ergebnisseiten für dein Lesevergnügen

In der heutigen Episode des Programmier-Horrors... In den Python-Dokumenten zur random.seed() Funktion wird uns gesagt: "Wenn a ein int ist, wird es direkt verwendet." [1] Aber wenn du mit 3 oder -3 seedest, erhältst du tatsächlich dasselbe rng-Objekt, das die gleichen Streams erzeugt. (TIL). In nanochat habe ich das Vorzeichen als (was ich dachte, war) clevere Methode verwendet, um unterschiedliche rng-Sequenzen für Train/Test-Splits zu erhalten. Daher ein fieser Bug, denn jetzt ist train=test. Ich fand den CPython-Code, der dafür verantwortlich ist, in cpython/Modules/_randommodule.c [2], wo wir in Zeile 321 in einem Kommentar sehen: "Dieser Algorithmus basiert darauf, dass die Zahl unsigned ist. Also: Wenn das Argument ein PyLong ist, verwende seinen Absolutwert." gefolgt von n = PyNumber_Absolute(arg); was explizit abs() auf deinen Seed aufruft, um ihn positiv zu machen und das Vorzeichenbit zu verwerfen. Aber dieser Kommentar ist tatsächlich auch falsch/misleading. Im Hintergrund ruft Python den Mersenne Twister MT19937 Algorithmus auf, der im Allgemeinen 19937 (nicht-null) Bits Zustand hat. Python nimmt dein int (oder andere Objekte) und "verteilt" diese Informationen über diese Bits. Prinzipiell hätte das Vorzeichenbit verwendet werden können, um die Zustandsbits zu erweitern. Es gibt nichts am Algorithmus, das "darauf basiert, dass die Zahl unsigned ist". Es wurde die Entscheidung getroffen, das Vorzeichenbit nicht zu integrieren (was meiner Meinung nach ein Fehler war). Ein triviales Beispiel hätte sein können, n -> 2*abs(n) + int(n < 0) zuzuordnen. Schließlich führt uns das zum Vertrag von Pythons random, der auch nicht vollständig in den Dokumenten dargelegt ist. Der erwähnte Vertrag besagt: gleicher Seed => gleiche Sequenz. Aber es wird keine Garantie gegeben, dass unterschiedliche Seeds unterschiedliche Sequenzen erzeugen. Prinzipiell macht Python keine Versprechen, dass z.B. seed(5) und seed(6) unterschiedliche rng-Streams sind. (Obwohl dies in vielen Anwendungen ziemlich häufig implizit angenommen wird.) In der Tat sehen wir, dass seed(5) und seed(-5) identische Streams sind. Und du solltest sie wahrscheinlich nicht verwenden, um dein Train/Test-Verhalten im maschinellen Lernen zu trennen. Eines der amüsanteren Programmier-Horror-Footguns, auf die ich kürzlich gestoßen bin. Wir sehen uns in der nächsten Episode. [1] [2]