LLM e ML sono acronimi utilizzati con grande frequenza negli articoli che parlano di intelligenza artificiale. Large language model e machine learning infatti sono concetti su cui si basa l’AI. Meno conosciute, ma ugualmente importanti, sono invece le nozioni di overfitting e underfitting.
LLM large language model e Machine Learning ML cosa sono e cosa fanno? Un Large Language Model LLM è un modello di apprendimento automatico di intelligenza artificiale specializzato nella comprensione e nella generazione di testo tramite l’utilizzo di algoritmi di Machine Learning. Partendo da una semplice parola, una frase o un testo è in grado di creare contenuti coerenti e rilevanti su molteplici argomenti. Può quindi essere utilizzato per svolgere una varietà di compiti legati al linguaggio come tradurre testi in qualsiasi lingua, riassumere e generare contenuti e rispondere a domande più o meno complesse. Esempi di LLM sono GPT di OpenAI, PaLM di Google, LLaMA di Meta e Claude 2 di Anthropic. Il Machine Learning ML , invece, si occupa di sviluppare modelli che consentono l’apprendimento dei dati e di prendere decisioni o fare previsioni senza che siano esplicitamente istruiti per farlo. Si concentra sull'uso di dati e algoritmi per imitare il modo in cui gli esseri umani apprendono, migliorandone gradualmente la precisione. Il ML è quindi un campo di studio che riguarda lo sviluppo e lo studio di algoritmi statistici in grado di apprendere dai dati e generalizzare a dati invisibili, eseguendo compiti senza istruzioni esplicite. Nell'ambito legale l'uso di LLM e Machine Learning offre molte applicazioni interessanti. Essi possono essere utilizzati per esempio per automatizzare la ricerca, analizzando rapidamente una vasta quantità di documenti legali per trovare informazioni rilevanti, come precedenti giurisprudenziali o leggi specifiche elaborare, analizzare e comprendere i contratti, identificando clausole standard, individuando potenziali problemi o ambiguità e suggerendo modifiche o integrazioni prevedere gli esiti legali facendo previsioni sugli esiti delle cause attraverso l’analisi dei dati storici relativi a casi precedenti e individuando pattern e tendenze automatizzare i processi legali, generando automaticamente documenti legali standard, come contratti o lettere. In ogni caso, l'interpretazione dei testi legali richiede una comprensione approfondita del contesto e delle sfumature linguistiche che potrebbero essere difficili da catturare completamente con i modelli di ML. Inoltre, l'automazione dei processi legali solleva non poche preoccupazioni riguardo alla sicurezza dei dati e alla responsabilità delle decisioni prese dai modelli. Cos'è l'overfitting e perché è importante? L'overfitting è una condizione in cui un modello di AI si adatta eccessivamente ai dati di addestramento, perdendo la capacità di applicare correttamente le conoscenze acquisite durante il processo di training su nuovi dati non visti c.d. generalizzazione , compromettendo così le sue prestazioni. In altre parole, il modello impara a memoria i dati inseriti al proprio interno invece di apprenderne i principi e le caratteristiche generali che dovrebbero guidare la sua capacità predittiva o decisionale. Nell'ambito dell’AI rappresenta una delle sfide principali che sviluppatori e ricercatori devono affrontare durante il processo di addestramento dei modelli per garantire l'accuratezza e l'affidabilità degli stessi e ottenere risultati validi. Cause dell'overfitting L'overfitting può essere causato da diversi fattori esemplificati nella tabella seguente. Causa Descrizione Conseguenze limitata dimensione del dataset di addestramento un set di dati relativamente piccolo non può rappresentare le variazioni e le complessità esistenti nella realtà il modello tende ad adattarsi eccessivamente ai pochi esempi forniti, producendo risultati insoddisfacenti quando sottoposto a nuovi dati eccessiva complessità del modello con l'aumentare dei livelli e dei nodi, il modello si adatta con estrema precisione ai dati di addestramento i risultati di generalizzazione su dati nuovi e inesplorati diventano scarsi il set di dati ha caratteristiche insignificanti o rumorose non c’è un impatto rilevante sull'output desiderato, ma si influenza negativamente il modello, che può essere ingannato durante il processo di addestramento si dà rilevanza immotivata a dati non rilevanti mancanza di generalizzazione e prestazione insoddisfacente su nuovi dati Come mitigare l'overfitting Esistono diverse tecniche che possono essere adottate per mitigare l'overfitting e migliorare la robustezza e l'affidabilità dei modelli di AI. La scelta delle strategie più appropriate dipende dalle specificità del problema e dai dati di partenza, ma l'obiettivo principale rimane quello di garantire che tali modelli siano in grado di generalizzare con precisione su nuovi dati e fornire risultati accurati. Tecnica da utilizzare Descrizione Conseguenze aumentare la dimensione del dataset di addestramento la disponibilità di un set di dati adeguato e rappresentativo è un fattore chiave per ottenere modelli precisi e affidabili e una strategia efficace per migliorare le prestazioni dei modelli di AI consente di catturare una maggiore varietà di relazioni e complessità presenti nei dati utilizzare la strategia della regolarizzazione consiste nell'aggiungere un termine di penalizzazione 1 all'obiettivo di ottimizzazione del modello durante il processo di addestramento favorisce una soluzione più semplice migliorando la capacità di generalizzazione ricorrere alla validazione incrociata cross-validation si suddivide il set di dati disponibile in più parti, addestrando il modello su una parte insieme di addestramento e successivamente valutandolo sul resto del set di dati insieme di test il processo è ripetuto in modo che ogni porzione dei dati sia utilizzata sia per l'addestramento sia per la valutazione permette di valutare l'efficacia e l'accuratezza dei modelli di AI ridurre la complessità si riduce il numero di parametri e si semplifica l'architettura del modello migliora la sua capacità di generalizzazione del modello 1 Si tratta di una tecnica che induce l’algoritmo di addestramento a scegliere modelli più semplici. Che cos'è l'underfitting? Si tratta di un concetto complementare a quello di overfitting. L’underfitting identifica un fenomeno che si verifica quando un modello di AI è troppo semplice o ha una capacità limitata di adattarsi ai dati di addestramento. In altre parole, il modello non è in grado di apprendere a sufficienza dall’attività di training, riducendo così l'accuratezza dei risultati e proponendo previsioni inaffidabili. Le ragioni per cui può verificarsi sono generalmente le seguenti utilizzo di modelli troppo semplici incapaci di catturare la complessità dei dati insufficienza delle caratteristiche predittive del modello mancanza di dati di addestramento o rappresentativi interruzione prematura o durata eccessivamente limitata dell’attività di addestramento.