「どうしてそんなに無垢なの?」 「蒸留は盗みとは見なせない...... 蒸留! …… 大きなモデルであることは盗みとみなされるのでしょうか? " 「ソフトラベル」「温度スケーリング」「暗い知識」などの難しい言葉が次々と飛び出し、部屋の全員を笑わせ、研究室は幸せな雰囲気に包まれた。 彼はカウンターに向かって「A100を2台と、事前に訓練された教師モデルをください」と言いました。 「それから彼は9セントのお金を引き出した―いや、計算能力の請求書は9,000ドルだった。 みんなが彼に「本当にトランスフォーマーを覚えたの?」と尋ねた。 孔義吉は顔を赤らめ、額の緑色の血管が広がりながら反論した。「知識蒸留はヒントンが提案したものだ...... なんてことだ! これは知識の伝達、圧縮、そして...... 巨人の肩の上に立っているんだ! " 店主は言った。「残念ながら、あなたの小さなモデルが足りなくなったベンチマークは、先生から『借りた』ものではありませんよね?」 " 孔一眯は目を見開き、「一般化する能力を身につけたんだ!」と言った。 ログイットの配布情報や暗い知識の伝達を、トップ1の正確さだけを重視するあなたのような人間にどう理解できるのでしょうか? " 彼は再び皆に向き直り、真剣な態度で言った。「信じられないなら、私の生徒モデルは教師のパラメータの十分の一しかなく、推論速度は8倍速く、効果もわずか2ポイント差だ...... たった2ポイント! "