RL ist ein leistungsstarkes Verfahren zum Trainieren von unternehmensspezifischen Modellen auf deren einzigartiger Arbeit und Daten. Das ist es, was wir bei Applied Compute tun. Eine der größten Herausforderungen besteht darin, RL effizient zu gestalten, da wir schnelle Durchläufe benötigen (innerhalb von Tagen geliefert), kostengünstig (skalierbare Einheitökonomie) und vorhersehbar (nicht nur schnell, sondern zuverlässig schnell) sein müssen. Hier sind einige Erkenntnisse: • Synchronous RL ist zeit- und rechenintensiv. • Asynchronous RL ist effizienter, führt jedoch zu Veralterung, was Lerninstabilitäten verursacht. • Modellierung und Simulationen können helfen, analytisch zu ermitteln, welche Konfiguration zu optimaler Effizienz führt. Dies ermöglicht es uns, schnell Trainingskonfigurationen zu prototypisieren, ohne teure Rechenzyklen für Testdurchläufe zu verbrauchen. Zwei unserer Mitgründer, @rhythmrg und @lindensli, haben kürzlich bei @aiDotEngineer einige dieser Forschungen diskutiert, mit einem Fokus auf folgendes Teilproblem: Was ist der throughput-stärkste Weg, um RL unter Berücksichtigung einer maximalen Veralterung und eines Rechenbudgets durchzuführen?