Il machine learning si divide di solito in tre paradigmi, e la differenza tra loro è semplicemente da cosa impara il modello.
Apprendimento supervisionato. Impara da dati etichettati — coppie input/output in cui la risposta corretta è fornita. Il compito del modello è imparare la mappatura da input a output abbastanza bene da predire casi nuovi, mai visti in fase di addestramento. Gli esempi visti in precedenza, come la predizione del reddito medio data l’età, sono classici esempi di apprendimento supervisionato: ogni record del training set contiene la risposta osservata nel mondo reale (età di una persona reale, suo reddito). Più in generale, task come classificazione di immagini, rilevamento dello spam, predizione dei prezzi delle case, traduzione automatica sono tutti supervisionati.
Apprendimento non supervisionato. Impara da dati non etichettati — nessuna risposta fornita. Il modello deve trovare la struttura da solo: raggruppare cose simili, ridurre la complessità, individuare anomalie. Clustering dei clienti per comportamento d’acquisto, riduzione della dimensionalità, rilevamento di anomalie e topic modeling vivono qui. Nessuno dice al modello cos’è “giusto”; è lui a scoprire gli schemi e le connessioni tra i record del training set.
Apprendimento per rinforzo. Impara dall’interazione. Un agente compie azioni in un ambiente e riceve ricompense o penalità e, col tempo, apprende una policy — un modo di agire — che massimizza la ricompensa raccolta. È così che le AI imparano a giocare a scacchi o a Go, che i robot imparano a muoversi e che i sistemi di raccomandazione si tarano sul tuo feedback.
Ed ecco la parte che mi ha sorpreso, e che lega tutta la Serie 1 a ciò che segue: un moderno large language model viene allenato con tutti e tre i paradigmi, in sequenza. E man mano che la ricerca avanza, gli schemi di addestramento si fanno sempre più articolati e misteriosi, spesso coperti da segreto industriale. In termini generali, lo schema di addestramento “tradizionale” è il seguente.
- Il pre-training è auto-supervisionato — una forma astuta di apprendimento non supervisionato. Si prende testo grezzo e lo si trasforma gratis in un compito supervisionato: data una qualunque sequenza campionata nei testi utilizzati per il training, si addestra il modello a predire la parola successiva. “Questo è un testo di esempio” diventa molte coppie input→output (“Questo” → “è”, “Questo è” → “un”, …). Nessuna etichettatura umana necessaria, eppure il modello impara l’abilità di base del linguaggio su migliaia di miliardi di parole.
- Il fine-tuning supervisionato insegna poi un comportamento specifico — come rispondere a una domanda o fare una traduzione — a partire da un insieme più piccolo di esempi curati.
- L’allineamento usa l’apprendimento per rinforzo per modellare il comportamento, premiando risposte utili e sicure e penalizzando quelle che non lo sono.
Quindi i tre paradigmi non sono fazioni rivali; sono fasi. Lo stesso modello attraversa apprendimento non supervisionato, poi supervisionato, poi per rinforzo nel suo percorso dal testo grezzo a qualcosa con cui puoi davvero parlare. Con questo, le fondamenta sono complete — e la serie passa all’architettura che fa funzionare tutto: la rete neurale.