RT @markchen90: Ustalenie zgodności jest bez wątpienia najważniejszym obszarem badań w dziedzinie AI. W miarę jak rozwijamy zdolności rozumowania, modele zyskują świadomość sytuacyjną a…

W zeszłym tygodniu nasze modele rozumowania wzięły udział w Międzynarodowym Konkursie Programowania dla Studentów (ICPC) 2025, premierowym konkursie programistycznym na poziomie uniwersyteckim na świecie. Nasz system rozwiązał wszystkie 12 z 12 problemów, co dałoby pierwsze miejsce na świecie (najlepszy zespół ludzki rozwiązał 11 problemów). Ten kamień milowy kończy intensywne 2 miesiące występów naszych modeli w konkursach: - Drugie miejsce w AtCoder Heuristics World Finals - Złoty medal na Międzynarodowej Olimpiadzie Matematycznej - Złoty medal na Międzynarodowej Olimpiadzie Informatycznej - A teraz, złoty medal, pierwsze miejsce na ICPC World Finals. Uważam, że te wyniki, pochodzące z rodziny ogólnych modeli rozumowania zakorzenionych w naszym głównym programie badawczym, są być może najjaśniejszym wskaźnikiem postępu w tym roku. Te konkursy są doskonałymi, zamkniętymi testami czasowymi dla zdolności odkrywania nowych pomysłów. Nawet zanim nasze modele stały się biegłe w prostej arytmetyce, patrzyliśmy na te konkursy jako na kamienie milowe postępu w kierunku transformacyjnej sztucznej inteligencji. Nasze modele teraz plasują się wśród najlepszych ludzi w tych dziedzinach, gdy są stawiane przed dobrze określonymi pytaniami i ograniczone do ~5 godzin. Teraz wyzwaniem jest przejście do bardziej otwartych problemów i znacznie dłuższych horyzontów czasowych. Ten poziom zdolności rozumowania, stosowany przez miesiące i lata do problemów, które naprawdę mają znaczenie, jest tym, czego szukamy - automatyzacja odkryć naukowych. Ten szybki postęp podkreśla również znaczenie badań nad bezpieczeństwem i dostosowaniem. Wciąż potrzebujemy większego zrozumienia właściwości dostosowania długoterminowych modeli rozumowania; w szczególności polecam zapoznanie się z fascynującymi odkryciami z badania intryg w modelach rozumowania, które opublikowaliśmy dzisiaj ( Gratulacje dla moich współpracowników, którzy włożyli całe serce w uzyskanie tych wyników w konkursach oraz dla wszystkich, którzy przyczyniają się do podstawowych badań, które je umożliwiają!

Jestem niezwykle podekscytowany potencjałem, jaki niesie ze sobą wierność i interpretowalność łańcucha myśli. Znacząco wpłynęło to na projektowanie naszych modeli rozumowania, zaczynając od o1-preview. Ponieważ systemy sztucznej inteligencji zużywają więcej mocy obliczeniowej, pracując np. nad długoterminowymi problemami badawczymi, niezwykle ważne jest, abyśmy mieli jakiś sposób monitorowania ich wewnętrznego procesu. Wspaniałą właściwością ukrytych CoT jest to, że chociaż na początku opierają się na języku, który możemy zinterpretować, skalowalna procedura optymalizacji nie jest przeciwstawna zdolności obserwatora do zweryfikowania intencji modelu - w przeciwieństwie np. do bezpośredniego nadzoru za pomocą modelu nagrody. Napięcie polega na tym, że jeśli CoT nie są domyślnie ukryte i postrzegamy ten proces jako część wyników sztucznej inteligencji, istnieje duża zachęta (a w niektórych przypadkach konieczność) do nałożenia na niego nadzoru. Wierzę, że możemy tutaj pracować nad tym, co najlepsze z obu światów - trenować nasze modele, aby były świetne w wyjaśnianiu swojego wewnętrznego rozumowania, ale jednocześnie nadal zachowywały zdolność do jego okazjonalnej weryfikacji. Wierność CoT jest częścią szerszego kierunku badań, którym jest szkolenie w zakresie interpretowalności: wyznaczanie celów w sposób, który szkoli przynajmniej część systemu, aby pozostała uczciwa i możliwa do monitorowania na dużą skalę. W OpenAI nadal zwiększamy nasze inwestycje w te badania.