Appropedia:Use of AI/it

Un modello linguistico di grandi dimensioni ( LLM ) è un modello linguistico addestrato tramite apprendimento automatico autosupervisionato su una vasta quantità di testo, progettato per attività di elaborazione del linguaggio naturale, in particolare la generazione di linguaggio. I LLM più grandi e potenti sono trasformatori generativi pre-addestrati (GPT) e forniscono le funzionalità principali dei moderni chatbot. Gli LLM possono essere ottimizzati per attività specifiche o guidati da prompt engineering. Questi modelli acquisiscono potere predittivo riguardo a sintassi, semantica e ontologie intrinseche ai corpora linguistici umani, ma ereditano anche imprecisioni e distorsioni presenti nei dati su cui vengono addestrati.

Sono costituiti da miliardi o migliaia di miliardi di parametri e operano come modelli di sequenza generici, generando, riassumendo, traducendo e ragionando sul testo. Gli LLM rappresentano una nuova tecnologia significativa per la loro capacità di generalizzare tra attività con una supervisione minima specifica per ogni attività, consentendo funzionalità come agenti conversazionali, generazione di codice, recupero di conoscenze e ragionamento automatico che in precedenza richiedevano sistemi su misura.

Gli LLM si sono evoluti da precedenti approcci alla modellazione del linguaggio basati su reti neurali statistiche e ricorrenti. L'architettura del trasformatore, introdotta nel 2017, ha sostituito la ricorrenza con l'auto-attenzione, consentendo una parallelizzazione efficiente, una gestione del contesto più lunga e un addestramento scalabile su volumi di dati senza precedenti. Questa innovazione ha reso possibili modelli come GPT, BERT e i loro successori, che hanno dimostrato comportamenti emergenti su larga scala, come l'apprendimento a pochi scatti e il ragionamento composizionale.

L'apprendimento per rinforzo, in particolare gli algoritmi di gradiente di policy, è stato adattato per ottimizzare gli LLM in base ai comportamenti desiderati, andando oltre la semplice previsione del token successivo. L'apprendimento per rinforzo da feedback umano (RLHF) applica questi metodi per ottimizzare una policy, ovvero la distribuzione degli output dell'LLM, in base ai segnali di ricompensa derivati ​​da giudizi di preferenza umani o automatizzati. Questo si è rivelato fondamentale per allineare gli output del modello alle aspettative degli utenti, migliorando la fattualità, riducendo le risposte dannose e migliorando le prestazioni dei compiti.

Le valutazioni di benchmark per gli LLM si sono evolute da valutazioni linguistiche ristrette a valutazioni complete e multi-task che misurano ragionamento, accuratezza fattuale, allineamento e sicurezza. L'hill climbing, ovvero l'ottimizzazione iterativa dei modelli rispetto ai benchmark, si è affermata come strategia dominante, producendo rapidi miglioramenti incrementali delle prestazioni ma sollevando preoccupazioni di overfitting rispetto ai benchmark piuttosto che di conseguimento di una vera generalizzazione o di solidi miglioramenti delle capacità.