まだ議論されたとは聞いたことがありませんが、AIは基本的にハッカソンを殺しました。 2019 年のハッカソンで作成できるほぼすべてのものは、2025 年には AI によってより良く、より迅速に構築できます

これは悪いコードですよね?

おそらく10倍の人が迅速な最適化に取り組むべきです システム (promptopt には vLLM が必要です)、理論、新しい技術、ベンチマーク。 キット全体とカブードル

無料のアルファ版をいくつか紹介します。 事前トレーニング後にRLを長時間行うと、必ずパラメータを上書きして忘れ始めます 元の instructGPT 論文では、彼らの最良のモデルは、このモデル ドリフトの問題を正確に回避するために、RLHF と事前トレーニング勾配を混合しました しかし、もう誰もこれをしていません。 確かに、これはより広いアイデア(忘れを避ける)の特定のインスタンス化(グラデーションミキシング)ですが、RLのステップをどんどん進めるにつれて、非常に見落とされがちな考え方のように思えます たとえば、最近のProRL論文を参照してください。彼らは現在、1000 ステップ以上の GRPO を実行しており、学習率はそれほど高くなく、元のモデルから逸脱してもペナルティはありません。 事前学習中にモデル内部に構築された回路は確実に減衰し始めています。そうでない場合は、10kまたは100kのRLステップ後に行われます このアイデアはいずれ戻ってくると思います。 彼らはおそらくすでに大きな研究所でこれを行っているでしょう

推論モデルの一般化の良い例を探しています たとえば、RL を介してしばらく考えて数学の問題を解くよう奨励されたモデルは、クリエイティブ ライティングが上手になります これは一般的ですか?

これは本当に重要だと思われます。 完璧に作成されたプロンプトが与えられた場合、モデルが強化学習なしでIMOゴールドを獲得できる可能性は十分にあります 私たちは知らず、プロンプトスペースを効率的に検索するためのツールが不足しています。 少なくとも誰かが努力しているのを見てうれしいです

こんなことをでっち上げることはできません

仮定の状況 - 私は、モデルの転送と保存のコストをゼロに削減した AI 企業です。オーバーヘッドなしで各ユーザーに独自のモデルを提供できます どうしようか。 データに対してユーザー固有のモデルを直接SFTしますか? またはチャットの評価に関するRLHFですか? 何か他のもの?

人間の脳は、その処理の40%を視覚専用に確保しています。 現代のLLMは、これを完全に行わずにどういうわけか進化しました

私が知っているこの男は、トリガーで作動するスリーパー脱獄ペイロードを自己伝播させ、グローバルな AI トレーニング データ コーパスを毒しました