🚨BREAKING: Tesla hat ein neues Dateiformat namens .SMOL erstellt, um das FSD-Training um das 4-fache zu beschleunigen Die Ingenieure von Tesla stellten fest, dass die GPUs nicht der Engpass waren. Das Speichersystem war es. Alte Formate wie MP4 und CSV zwangen das System dazu, massive Dateien zu scannen, zu dekodieren und zu durchsuchen, nur um ein paar Datenframes zu finden. Das verschwendete Zeit. Teure GPUs saßen untätig da und warteten darauf, dass Daten geladen wurden. Also baute Tesla ein benutzerdefiniertes Format von Grund auf neu. Die Idee ist einfach, aber mächtig: Setzen Sie einen Master-Index ganz an den Anfang der Datei, der dem System genau sagt, wo jedes Datenstück zu finden ist. Kein Scannen. Kein Dekodieren. Keine Suche. Das System springt direkt zu dem genauen Byte, das es benötigt, und speist die GPU sofort. Ergebnis: • 400% weniger I/O-Operationen • ~11% kleinere Dateien im Petabyte-Maßstab • GPUs bleiben voll beschäftigt, anstatt zu warten • FSD-Modelle trainieren viel schneller ohne neue Hardware Tesla speichert auch Daten in sofort verwendbarer Tensorform, sodass die CPU keine Zeit mit der Umwandlung von Formaten verschwendet, bevor die GPU sie nutzen kann. Noch interessanter. Das Patent besagt, dass dieses Format nicht nur für Autos gedacht ist....