如果你需要 Karpathy 的 nanochat 的視頻指南，請查看斯坦福大學的 CS336！ 它涵蓋了： - 代幣化 - 資源會計 - 預訓練 - 微調 (SFT/RLHF) - 主要架構概述 - 使用 GPU - 核心和 Tritons - 並行性 - 擴展法則 - 推理 - 評估 - 對齊 你所需的一切，幫助你準備在 Frontier AI Labs 的工作。 我已在回覆中分享了播放列表！

你正在參加 OpenAI 的研究科學家面試。 面試官問： 「你會如何將 LLM 的上下文長度從 2K 擴展到 128K 令牌？」 你："我會在具有 128K 上下文的更長文檔上微調模型。" 面試結束。 這是你錯過的：

Docker 在 2 分鐘內解釋！ 大多數開發人員每天都在使用 Docker，但並不理解其背後發生了什麼。這裡是你需要知道的一切。 Docker 有 3 個主要組件： 1️⃣ Docker 客戶端：你在這裡輸入命令，通過 API 與 Docker 守護進程進行通信。 2️⃣ Docker 主機：守護進程在這裡運行，處理所有繁重的工作（構建映像、運行容器和管理資源） 3️⃣ Docker 註冊表：存儲 Docker 映像。Docker Hub 是公共的，但公司運行私有註冊表。 當你運行 "docker run" 時會發生什麼： • Docker 從註冊表中拉取映像（如果本地沒有可用的） • Docker 從該映像創建一個新容器 • Docker 為容器分配一個可讀寫的文件系統 • Docker 創建一個網絡接口以連接容器 • Docker 啟動容器 就這樣。 客戶端、主機和註冊表可以在不同的機器上運行。這就是為什麼 Docker 可以如此良好地擴展。 理解這種架構使得調試容器問題變得容易得多。當某些東西出錯時，你會知道該去哪裡查看。 ____ 如果你覺得這很有見地，請與你的網絡分享。 找到我 → @_avichawla 獲取更多有關 ML 和 AI 工程的見解和教程！