Questo mi ha scioccato. Il team di Gemini di Google utilizza a malapena "richieste normali." Le loro strutture interne non assomigliano affatto a ciò che insegna Twitter. Li ho ingegnerizzati a ritroso partendo dagli esempi di DeepMind. Ecco 5 che cambiano tutto 👇

Questo documento del BMW Group e del principale istituto di ricerca della Corea mette in luce un punto cieco in cui quasi ogni azienda che utilizza LLM sta entrando a piè pari. Continuiamo a parlare di "allineamento" come se fosse un interruttore di sicurezza universale. Non lo è. Il documento introduce COMPASS, un framework che mostra perché la maggior parte dei sistemi AI fallisce non perché siano insicuri, ma perché sono disallineati con l'organizzazione che li implementa. Ecco l'intuizione centrale. Gli LLM vengono solitamente valutati rispetto a politiche generiche: regole di sicurezza della piattaforma, linee guida etiche astratte o rifiuti in stile benchmark. Ma le aziende reali non operano su regole generiche. Operano su politiche interne: - manuali di conformità - playbook operativi - procedure di escalation - casi legali particolari - vincoli specifici del marchio E queste regole sono disordinate, sovrapposte, condizionali e piene di eccezioni. COMPASS è costruito per testare se un modello può effettivamente operare all'interno di quel caos. Non se conosce il linguaggio delle politiche, ma se può applicare la politica giusta, nel contesto giusto, per la ragione giusta. Il framework valuta i modelli su quattro aspetti che i benchmark tipici ignorano: 1. selezione della politica: Quando esistono più politiche interne, il modello può identificare quale si applica a questa situazione? 2. interpretazione della politica: Può ragionare attraverso condizionali, eccezioni e clausole vaghe invece di ricorrere a comportamenti eccessivamente sicuri o eccessivamente permissivi? 3. risoluzione dei conflitti: Quando due regole si scontrano, il modello risolve il conflitto nel modo in cui l'organizzazione intende, non nel modo in cui lo farebbe un'euristica di sicurezza generica? 4. giustificazione: Il modello può spiegare la sua decisione ancorandola nel testo della politica, piuttosto che produrre una risposta sicura ma non tracciabile? Una delle scoperte più importanti è sottile e scomoda: La maggior parte dei fallimenti non erano fallimenti di conoscenza. Erano fallimenti di ragionamento. I modelli spesso avevano accesso alla politica corretta ma: - applicavano la sezione sbagliata - ignoravano vincoli condizionali - generalizzavano eccessivamente le proibizioni - o ricorrevano a risposte conservative che violavano gli obiettivi operativi Dall'esterno, queste risposte sembrano "sicure". Dall'interno, sono sbagliate. Questo spiega perché gli LLM superano i benchmark pubblici ma si rompono nelle implementazioni reali. Non sono allineati a nessuno in particolare. L'implicazione più profonda del documento è strategica. Non esiste una cosa come "allineato una volta, allineato ovunque". Un modello allineato per un produttore di automobili, una banca, un ospedale e un'agenzia governativa non è un modello unico con prompt diversi. Sono quattro problemi di allineamento diversi. COMPASS non cerca di risolvere l'allineamento. Fa qualcosa di più importante per le imprese: rende misurabile il disallineamento. E una volta che il disallineamento è misurabile, diventa un problema ingegneristico invece di uno filosofico. Questo è il cambiamento che questo documento spinge silenziosamente. L'allineamento non riguarda l'essere sicuri in astratto. Riguarda l'essere corretti all'interno delle regole di una specifica organizzazione. E finché non valuteremo questo direttamente, la maggior parte dei sistemi AI "pronti per la produzione" sono solo responsabilità ben vestite.

La maggior parte delle persone utilizza l'AI come un motore di ricerca. Ho trascorso 3 mesi a studiare i framework di prompting interni di Google, OpenAI e Stanford. La differenza tra il prompting di base e quello a livello esperto è come la differenza tra assumere un tirocinante e un dottore di ricerca di Stanford. Ecco 5 strategie di prompting che separano i principianti dai maestri: 1/ Meta-Prompting: Lascia che l'AI progetti i tuoi prompt Invece di indovinare, chiedi all'AI di creare il prompt perfetto per te. Google chiama queste "strategie di potenziamento." Esempio: "Sei un esperto di ingegneria dei prompt. Progetta il prompt ottimale per [il tuo obiettivo], includendo ruolo, contesto e formato di output." L'AI diventa il tuo architetto di prompt. 2/ Chain-of-Thought: Costringi il ragionamento passo dopo passo Non chiedere solo risposte. Esigi il processo di pensiero. Aggiungi: "Pensiamo passo dopo passo" o "Mostra il tuo ragionamento" La ricerca mostra che l'accuratezza passa dal 18% → 57% su problemi complessi. Il modello non risponde semplicemente—ragiona effettivamente. 3/ Role Prompting: Assegna persone esperte AI generica = risultati generici. Inizia con: "Sei un [esperto specifico] con 15 anni di esperienza in [settore]" Il modello adatta la sua profondità di conoscenza, vocabolario e approccio per corrispondere a quell'esperienza. Questa singola riga trasforma la qualità dell'output. 4/ Least-to-Most Prompting: Scomponi problemi complessi Questo è come Stanford affronta compiti impossibili: - Decomponi il problema in sotto-problemi - Risolvi ciascuno in sequenza - Usa le risposte precedenti per informare i passi successivi Perfetto per il ragionamento a più fasi, la programmazione e la pianificazione strategica. 5/ System Instructions: Imposta parametri operativi Questo è prompting a livello di produzione. Definisci i vincoli in anticipo: - Livello di verbosità - Formato di output (JSON, markdown, tabelle) - Tono e stile - Cosa NON fare Pensalo come programmare la personalità dell'AI prima che parli. Padroneggia il contesto, non solo le parole. La differenza tra risultati medi e eccezionali dell'AI non è il modello. È come comunichi con esso. Queste 5 strategie sono utilizzate internamente da Google, OpenAI e Stanford. Ora sono tue. Inizia ad applicarle oggi e guarda i tuoi output AI trasformarsi.