+1 per "ingegneria del contesto" rispetto a "ingegneria dei prompt". Le persone associano i prompt a brevi descrizioni di compiti che daresti a un LLM nel tuo utilizzo quotidiano. Quando in ogni applicazione LLM di livello industriale, l'ingegneria del contesto è l'arte e la scienza delicate di riempire la finestra di contesto con le informazioni giuste per il passo successivo. Scienza perché farlo bene implica descrizioni di compiti e spiegazioni, esempi a pochi colpi, RAG, dati correlati (possibilmente multimodali), strumenti, stato e storia, compattazione... Troppo poco o nella forma sbagliata e l'LLM non ha il contesto giusto per una performance ottimale. Troppo o troppo irrilevante e i costi dell'LLM potrebbero aumentare e le performance potrebbero diminuire. Farlo bene è altamente non banale. E arte a causa dell'intuizione guida attorno alla psicologia degli LLM e degli spiriti delle persone. Oltre all'ingegneria del contesto stessa, un'app LLM deve: - suddividere i problemi nel modo giusto in flussi di controllo - riempire le finestre di contesto nel modo giusto - inviare chiamate agli LLM del tipo e della capacità giusti - gestire i flussi UIUX di generazione-verifica - molto altro - guardrail, sicurezza, valutazioni, parallelismo, prefetching, ... Quindi l'ingegneria del contesto è solo un piccolo pezzo di uno strato emergente spesso di software non banale che coordina le singole chiamate LLM (e molto altro) in app LLM complete. Il termine "wrapper di ChatGPT" è stanco e davvero, davvero sbagliato.