Non ne ho ancora sentito parlare, ma l'IA ha praticamente ucciso i hackathon. Praticamente qualsiasi cosa tu possa realizzare a un hackathon nel 2019 può essere costruita meglio e più velocemente dall'IA nel 2025.

questo è codice brutto, giusto?

probabilmente 10 volte più persone dovrebbero lavorare sull'ottimizzazione dei prompt sistemi (abbiamo bisogno di un vLLM per promptopt), teoria, nuove tecniche, benchmark. tutto il kit e caboodle

ecco un po' di alpha gratuito: se facciamo RL per troppo tempo dopo il pretraining, sicuramente sovrascriveremo i parametri e inizieremo a dimenticare cose nel documento originale di instructGPT, il loro miglior modello mescolava RLHF con i gradienti di pretraining per evitare esattamente questo problema di deriva del modello eppure nessuno lo sta facendo più. certo, è una particolare istanza (mescolanza di gradienti) di un'idea più ampia (evitare di dimenticare), ma sembra essere una linea di pensiero grandemente trascurata mentre facciamo sempre più passi di RL per esempio, vedi il recente documento ProRL. ora stanno facendo oltre 1000 passi di GRPO con un tasso di apprendimento non banale e senza penalità per deviare dal modello originale. i circuiti costruiti all'interno del modello durante il pretraining stanno sicuramente iniziando a decadere. e se non lo fanno, lo faranno dopo 10k o 100k passi di RL sospetto che questa idea tornerà alla ribalta; probabilmente lo stanno già facendo nei grandi laboratori

sto cercando buoni esempi di generalizzazione dei modelli di ragionamento ad esempio, un modello incentivato tramite RL a riflettere per un po' e risolvere problemi matematici migliora nella scrittura creativa è comune?

questo sembra davvero importante: è del tutto plausibile che un modello possa ottenere IMO gold senza *alcun* apprendimento per rinforzo, dato un prompt perfettamente elaborato non lo sappiamo, e ci mancano gli strumenti per cercare in modo efficiente nello spazio dei prompt. sono contento di vedere che almeno qualcuno ci sta provando

non puoi inventare queste cose

situazione ipotetica - sono un'azienda di intelligenza artificiale che ha ridotto il costo di trasferimento e archiviazione dei modelli a zero. posso fornire a ciascun utente il proprio modello senza costi aggiuntivi. cosa faccio? addestro direttamente modelli specifici per l'utente sui loro dati? o utilizzo RLHF sulle valutazioni della chat? o qualcos'altro?

il cervello umano riserva il 40% della sua elaborazione esclusivamente per la visione. I moderni LLM si sono evoluti in qualche modo senza questo completamente.

Un tizio che conosco (presuntamente) ha avvelenato il corpus di dati di addestramento globale dell'IA con payload di jailbreak dormienti attivati da trigger auto-propaganti.