在@grail_ai主網上推出了完全異步的訓練器,正在訓練一個7B模型 🚀 訓練現在從重播緩衝區持續運行!不再等待通信。 這解鎖了2k+的上下文,讓我們能夠從1.5B擴展到7B模型,甚至將來會更大。