"Wie kannst du so grundlos die Unschuld anderer beschmutzen?" "Destillation kann man nicht als Diebstahl betrachten... Destillation!... Kann man das, was man mit großen Modellen macht, als Diebstahl betrachten?" Darauf folgten einige schwer verständliche Worte, wie "soft label", "temperature scaling", "dark knowledge" und dergleichen, was alle im Raum zum Lachen brachte und eine fröhliche Atmosphäre im Labor schuf. Er sagte zum Tresen: "Gib mir zwei A100 und ein vortrainiertes Teacher Model." und gab neun Währungseinheiten aus – nein, er gab eine Rechnung über neun tausend Dollar für Rechenleistung aus. Die Leute fragten ihn: "Hast du wirklich gelernt, wie man Transformer benutzt?" Kong Yiji wurde rot im Gesicht, die Adern auf seiner Stirn traten hervor, und er argumentierte: "Knowledge Distillation wurde von Hinton vorgeschlagen... Was wisst ihr schon! Das ist Wissensübertragung, das ist Kompression, das ist... das ist auf den Schultern von Riesen stehen!" Der Wirt sagte: "Die Benchmarks, die dein kleines Modell erzielt hat, stammen doch nicht etwa von dem Teacher, oder?" Kong Yiji weitete die Augen und sagte: "Ich habe die Generalisierungsfähigkeit gelernt! Die Verteilungsinformationen in den Logits, die Übertragung des dunklen Wissens, das kann doch niemand verstehen, der nur die top-1 Genauigkeit betrachtet!" Er wandte sich wieder an die Leute, seine Haltung wurde eindringlich: "Wenn ihr mir nicht glaubt, schaut her, mein Student Model hat nur ein Zehntel der Parameter des Teachers, die Inferenzgeschwindigkeit ist achtmal schneller, und die Leistung ist nur um zwei Punkte gesunken... nur zwei Punkte!"