AI: il modello non è nei dati, è nella macchina

No, i modelli creati dai computer non sono una proprietà intrinseca dei dati, sono una proprietà emergente della struttura del programma stesso.

Una rete neurale trasforma l'input, i cerchi a sinistra, in output, a destra. Il modo in cui ciò avviene è una trasformazione dei pesi, del centro, che spesso confondiamo con modelli nei dati stessi. 

È un luogo comune dell'intelligenza artificiale dire che l'apprendimento automatico, che dipende da grandi quantità di dati, funziona trovando modelli nei dati. 

La frase "trovare modelli nei dati", infatti, è stata per anni una frase fondamentale di cose come il data mining e la scoperta della conoscenza, ed è stato ipotizzato che l'apprendimento automatico, e in particolare la sua variante di deep learning, stiano semplicemente continuando la tradizione di trovare tali modelli.

I programmi di intelligenza artificiale, in effetti, producono modelli, ma, proprio come "La colpa, caro Bruto, non risiede nelle nostre stelle ma in noi stessi", il fatto di questi modelli non è qualcosa nei dati, è ciò che il programma di intelligenza artificiale fa dei dati.

Quasi tutti i modelli di apprendimento automatico funzionano tramite una regola di apprendimento che modifica i cosiddetti pesi, noti anche come parametri, del programma man mano che il programma viene alimentato con esempi di dati e, possibilmente, etichette allegate a tali dati. È il valore dei pesi che conta come "sapere" o "capire".

Il modello che viene trovato è in realtà un modello di come cambiano i pesi. I pesi stanno simulando il modo in cui si crede che i neuroni reali "si attivino", il principio formato dallo psicologo Donald O. Hebb, che divenne noto come apprendimento hebbiano, l'idea che "i neuroni che si attivano insieme, si collegano insieme".

È il modello delle variazioni di peso che è il modello per l'apprendimento e la comprensione nell'apprendimento automatico, qualcosa che i fondatori dell'apprendimento profondo hanno sottolineato. Come espresso quasi quarant'anni fa, in uno dei testi fondamentali del deep learning, Parallel Distributed Processing, Volume I, James McClelland, David Rumelhart e Geoffrey Hinton scrissero:

Ciò che viene memorizzato sono i punti di forza di connessione tra le unità che consentono di creare questi modelli [...] Se la conoscenza è la forza delle connessioni, l'apprendimento deve essere una questione di trovare i giusti punti di forza della connessione in modo che i giusti modelli di attivazione vengano prodotti nelle giuste circostanze. 

McClelland, Rumelhart e Hinton scrivevano per un pubblico selezionato, psicologi cognitivi e informatici, e scrivevano in un'epoca molto diversa, un'epoca in cui le persone non facevano facili supposizioni che qualsiasi cosa facesse un computer rappresentasse "conoscenza". Stavano lavorando in un'epoca in cui i programmi di intelligenza artificiale non potevano fare molto. Ed erano principalmente interessati a come produrre un calcolo - qualsiasi calcolo - da una disposizione abbastanza limitata di transistor. 

Poi, a partire dall'ascesa di potenti chip GPU circa sedici anni fa, i computer hanno iniziato a produrre comportamenti interessanti, coronati dalla storica performance di ImageNet del lavoro di Hinton con i suoi studenti laureati nel 2012 che ha segnato il raggiungimento della maggiore età dell'apprendimento profondo. 

Come conseguenza delle nuove conquiste del computer, la mente popolare ha iniziato a costruire tutti i tipi di mitologia attorno all'intelligenza artificiale e all'apprendimento profondo. C'è stata un'ondata di titoli davvero brutti che paragonavano la tecnologia a prestazioni sovrumane.

L'odierna concezione dell'IA ha oscurato ciò su cui McClelland, Rumelhart e Hinton si sono concentrati, vale a dire la macchina e il modo in cui "crea" modelli, come dicono loro. Avevano una familiarità molto intima con la meccanica dei pesi che costruiscono un modello come risposta a ciò che era, nell'input, solo dati. 

Perché tutto questo è importante? Se la macchina è il creatore di modelli, allora le conclusioni che le persone traggono sull'IA sono probabilmente per lo più sbagliate. La maggior parte delle persone presume che un programma per computer stia percependo uno schema nel mondo, il che può portare le persone a rinviare il giudizio alla macchina. Se produce risultati, si pensa, il computer deve vedere qualcosa che gli esseri umani non vedono. 

Tranne per il fatto che una macchina che costruisce modelli non vede esplicitamente nulla. È la costruzione di un modello. Ciò significa che ciò che è "visto" o "conosciuto" non è la stessa cosa del senso colloquiale e quotidiano in cui gli esseri umani parlano di se stessi come se conoscessero le cose.

Invece di partire dalla domanda antropocentrica, cosa sa la macchina? è meglio partire da una domanda più precisa, cosa rappresenta questo programma nelle connessioni dei suoi pesi?

A seconda dell'attività, la risposta a questa domanda assume molte forme. 

Prendiamo in considerazione la visione artificiale. La rete neurale convoluzionale che sta alla base dei programmi di apprendimento automatico per il riconoscimento delle immagini e altre percezioni visive è composta da una raccolta di pesi che misurano i valori dei pixel in un'immagine digitale. 

La griglia di pixel è già un'imposizione di un sistema di coordinate 2D sul mondo reale. Dotata dell'astrazione della griglia di coordinate adatta  alla macchina, il compito di rappresentazione di una rete neurale si riduce a far corrispondere la forza delle raccolte di pixel a un'etichetta che è stata imposta, come "uccello" o "ghiandaia blu". 

In una scena contenente un uccello, o in particolare una ghiandaia blu, possono accadere molte cose, tra cui nuvole, sole e passanti. Ma la scena nella sua interezza non è la cosa. Ciò che conta per il programma è la raccolta di pixel che hanno maggiori probabilità di produrre un'etichetta appropriata. Il modello, in altre parole, è un atto riduttivo di messa a fuoco e selezione inerente all'attivazione delle connessioni della rete neurale. 

Si potrebbe dire che un programma di questo tipo non "vede" o "percepisce" tanto quanto filtra. 

Lo stesso vale per i giochi, dove l'intelligenza artificiale ha padroneggiato gli scacchi e  il poker. Nel gioco degli scacchi "full-information", padroneggiato dal programma AlphaZero di DeepMind, il compito di apprendimento automatico si riduce alla creazione di un punteggio di probabilità in ogni momento di quanto una potenziale mossa successiva porterà alla fine a vincere, perdere o pareggiare. 

Poiché il numero di potenziali configurazioni future del tabellone di gioco non può essere calcolato nemmeno dai computer più veloci, i pesi del computer accorciano la ricerca delle mosse facendo quello che si potrebbe chiamare riassunto. Il programma riassume la probabilità di successo se si perseguono diverse mosse in una data direzione, e poi confronta tale riassunto con il riassunto delle potenziali mosse da intraprendere in un'altra direzione. 

Mentre lo stato della scacchiera in qualsiasi momento - la posizione dei pezzi e quali pezzi rimangono - potrebbe "significare" qualcosa per un grande maestro di scacchi umano, non è chiaro se il termine "significare" abbia alcun significato per l'AlphaZero di DeepMind per un compito così riassuntivo. 

Un compito riassuntivo simile viene raggiunto per il programma Pluribus che nel 2019 ha conquistato la forma più difficile di poker, il No-limit Texas hold'em. Quel gioco è ancora più complesso in quanto ha informazioni nascoste, le carte coperte dei giocatori e ulteriori elementi "stocastici" del bluff. Ma la rappresentazione è, ancora una volta, un riassunto delle probabilità ad ogni turno. 

Anche nei programmi che gestiscono il linguaggio umano, ciò che c'è nei pesi è diverso da ciò che l'osservatore casuale potrebbe supporre. GPT-3, il programma linguistico di punta di OpenAI, è in grado di produrre un output sorprendentemente simile a quello umano in frasi e paragrafi. 

Il programma "conosce" la lingua? I suoi pesi rappresentano la probabilità di come singole parole e persino intere stringhe di testo si trovino in sequenza con altre parole e stringhe. 

Si potrebbe chiamare questa funzione di una rete neurale un riassunto simile ad AlphaGo o Pluribus, dato che il problema è un po' come gli scacchi o il poker. Ma gli stati possibili da rappresentare come connessioni nella rete neurale non sono solo vasti, sono infiniti data l'infinita componibilità del linguaggio. 

D'altra parte, dato che l'output di un programma linguistico come GPT-3, una frase, è una risposta confusa piuttosto che un punteggio discreto, la "risposta giusta" è un po' meno impegnativa della vittoria, della sconfitta o del pareggio degli scacchi o del poker. Si potrebbe anche chiamare questa funzione di GPT-3 e programmi simili una "indicizzazione" o un "inventario" delle cose nel loro peso. 

Gli esseri umani hanno un simile tipo di inventario o indice del linguaggio? Non sembra esserci alcuna indicazione in tal senso finora nelle neuroscienze. Allo stesso modo, nell'espressione "distinguere il ballerino dalla danza", GPT-3 individua i molteplici livelli di significato nella frase o le associazioni? Non è chiaro se una domanda del genere abbia un significato nel contesto di un programma per computer. 

In ognuno di questi casi - scacchiera, carte, stringhe di parole - i dati sono quelli che sono: un substrato modellato diviso in vari modi, un insieme di prodotti di carta rettangolare di plastica, un raggruppamento di suoni o forme. Che tali invenzioni "significhino" qualcosa, collettivamente, per il computer, è solo un modo per dire che un computer viene sintonizzato in risposta, per uno scopo.

Le cose che tali dati richiedono nella macchina - filtri, riassunti, indici, inventari o qualsiasi altra cosa si voglia caratterizzare quelle rappresentazioni - non sono mai la cosa in sé. Sono invenzioni. 

Ma, si potrebbe dire, le persone vedono i fiocchi di neve e vedono le loro differenze, e catalogano anche quelle differenze, se hanno intenzione di farlo. È vero, l'attività umana ha sempre cercato di trovare modelli, attraverso vari mezzi. L'osservazione diretta è uno dei mezzi più semplici e, in un certo senso, ciò che viene fatto in una rete neurale è una sorta di estensione di questo. 

Si potrebbe dire che la rete neurale rivela ciò che è sempre stato vero nell'attività umana per millenni, che parlare di modelli è una cosa imposta al mondo piuttosto che una cosa nel mondo. Nel mondo, i fiocchi di neve hanno una forma, ma quella forma è solo un modello per una persona che li raccoglie, li indicizza e li categorizza. È una costruzione, in altre parole.

L'attività di creazione di modelli aumenterà notevolmente man mano che sempre più programmi verranno rilasciati sui dati del mondo e i loro pesi saranno sintonizzati per formare connessioni che speriamo creino rappresentazioni utili. Tali rappresentazioni possono essere incredibilmente utili. Un giorno potrebbero curare il cancro. È utile ricordare, tuttavia, che gli schemi che rivelano non sono là fuori nel mondo, sono negli occhi di chi li percepisce.