Come Singapore sta creando un'IA più inclusiva
Un modello su misura potrebbe essere la risposta ai LLM focalizzati sull’Occidente: ecco cosa può fare per il Sud-Est asiatico.
Con la crescita dell'adozione dell'intelligenza artificiale generativa (AI), sembra che si stia riscontrando un problema che ha afflitto anche altri settori: la mancanza di inclusività e rappresentanza globale.
Comprendendo 11 mercati, tra cui Indonesia, Tailandia e Filippine, il Sud-Est asiatico ha una popolazione totale di circa 692,1 milioni di persone. I suoi residenti parlano più di una dozzina di lingue principali, tra cui filippino, vietnamita e laotiano. Solo Singapore ha quattro lingue ufficiali: cinese, inglese, tamil e malese.
La maggior parte dei principali modelli linguistici di grandi dimensioni (LLM) utilizzati oggi a livello globale non sono focalizzati sull’Asia e sottorappresentano enormi sacche di popolazioni e lingue. Paesi come Singapore stanno cercando di colmare questa lacuna, in particolare per il sud-est asiatico, quindi la regione dispone di LLM in grado di comprendere meglio i suoi diversi contesti, lingue e culture.
Il paese è tra le altre nazioni della regione che hanno evidenziato la necessità di costruire modelli di base in grado di mitigare la distorsione dei dati negli attuali LLM provenienti dai paesi occidentali.
Secondo Leslie Teo, direttore senior dei prodotti AI presso AI Singapore (AISG), il Sud-Est asiatico ha bisogno di modelli potenti che riflettano la diversità della sua regione. AISG ritiene che la soluzione arrivi sotto forma di Southeast Asian Languages in One Network (SEA-LION), un LLM open source pubblicizzato come più piccolo, più flessibile e più veloce rispetto ad altri presenti oggi sul mercato.
SEA-LION, di cui AISG gestisce e guida lo sviluppo, attualmente funziona su due modelli base: un modello da tre miliardi di parametri e un modello da sette miliardi di parametri.
Pre-addestrati e istruiti per le lingue e le culture del sud-est asiatico, sono stati addestrati su 981 miliardi di token linguistici, che l'AISG definisce come frammenti di parole creati dalla scomposizione del testo durante il processo di tokenizzazione. Questi frammenti includono 623 miliardi di token inglesi, 128 miliardi di token del Sud-Est asiatico e 91 miliardi di token cinesi.
I tokenizzatori esistenti dei LLM più diffusi sono spesso incentrati sull'inglese: se pochissimi dei loro dati di formazione riflettono quelli del sud-est asiatico, i modelli non saranno in grado di comprendere il contesto, ha affermato Teo.
Ha osservato che il 13% dei dati dietro SEA-LION è focalizzato sul sud-est asiatico. Meta's Llama 2 invece ne contiene solo lo 0,5%.
Un nuovo modello da sette miliardi di parametri per SEA-LION è previsto per il rilascio a metà del 2024, ha detto Teo, aggiungendo che funzionerà su un modello diverso rispetto alla sua attuale iterazione. Sono in corso anche piani per modelli da 13 e 30 miliardi di parametri entro la fine dell’anno.
Ha spiegato che l'obiettivo è migliorare le prestazioni del LLM con modelli più grandi in grado di stabilire connessioni migliori o che abbiano capacità di suggerimento zero-shot e una maggiore comprensione contestuale delle sfumature regionali.
Teo ha sottolineato la mancanza di solidi benchmark oggi disponibili per valutare l'efficacia di un modello di intelligenza artificiale, un vuoto che anche Singapore sta cercando di colmare. Ha aggiunto che l’AISG mira a sviluppare parametri per identificare se vi sono pregiudizi negli LLM focalizzati sull’Asia.
Man mano che emergono nuovi parametri di riferimento e la tecnologia continua ad evolversi, verranno rilasciate nuove iterazioni di SEA-LION per ottenere prestazioni migliori.
Maggiore rilevanza per le organizzazioni
In qualità di motore dello sviluppo LLM regionale con SEA-LION, Singapore svolge un ruolo chiave nella costruzione di un ecosistema AI più inclusivo e culturalmente consapevole, ha affermato Charlie Dai, vicepresidente e principale analista della società di ricerche di mercato Forrester.
Ha esortato il paese a collaborare con altri paesi regionali, istituti di ricerca, comunità di sviluppatori e partner industriali per migliorare ulteriormente la capacità di SEA-LION di affrontare sfide specifiche, nonché promuovere la consapevolezza dei suoi vantaggi.
Secondo Biswajeet Mahapatra, uno dei principali analisti di Forrester, l’India sta anche cercando di costruire un proprio modello di fondazione per supportare meglio le sue esigenze specifiche.
"Per un paese così diversificato come l'India, i modelli costruiti altrove non soddisferanno le diverse esigenze della sua popolazione diversificata", ha osservato Mahapatra.
Costruendo modelli di intelligenza artificiale di base a livello nazionale, ha aggiunto che il governo indiano sarebbe in grado di fornire servizi più ampi ai cittadini, compresi programmi di welfare basati su vari parametri, una migliore gestione delle colture e servizi sanitari per le parti remote del paese.
Inoltre, questi modelli garantiscono la sovranità dei dati, migliorano l’efficienza del settore pubblico, aumentano la capacità nazionale e guidano la crescita economica e le capacità in diversi settori, come la medicina, la difesa e l’aerospaziale. Ha osservato che le organizzazioni indiane stanno già lavorando su prove di concetto e che le startup di Bangalore stanno collaborando con l’Indian Space Research Organization e l’Hindustan Aeronautics per costruire soluzioni basate sull’intelligenza artificiale.
I modelli di fondazione asiatici potrebbero funzionare meglio su compiti legati alla lingua e alla cultura ed essere specifici al contesto di questi mercati regionali, ha spiegato. Considerando che questi modelli sono in grado di gestire un’ampia gamma di lingue, tra cui cinese, giapponese, coreano e hindi, sfruttare i modelli fondamentali asiatici può essere vantaggioso per le organizzazioni che operano in ambienti multilingue, ha aggiunto.
Dai prevede che la maggior parte delle organizzazioni nella regione adotterà un approccio ibrido, sfruttando sia i modelli dell’Asia-Pacifico che quelli degli Stati Uniti per alimentare le proprie piattaforme di intelligenza artificiale.
Inoltre, ha osservato che, come pratica generale, le aziende seguono le normative locali sulla privacy dei dati; l’utilizzo di modelli addestrati specificamente per la regione supporta ciò, poiché potrebbero già essere messi a punto con dati che aderiscono alle leggi locali sulla privacy.
Nel suo recente rapporto sui modelli di fondazione incentrati sull'Asia, di cui Dai è stato l'autore principale, Forrester ha descritto questo spazio come "in rapida crescita", con offerte competitive che adottano un approccio diverso rispetto alle controparti nordamericane, che hanno costruito i loro modelli con caratteristiche simili. modelli di adozione.
"Nell'area Asia-Pacifico, ogni paese ha diverse esigenze dei clienti, molteplici lingue ed esigenze di conformità normativa", afferma il rapporto. "Modelli di fondazione come Ernie 3.0 di Baidu e Tongyi Qianwen di Alibaba sono stati addestrati su dati multilingue e sono abili nel comprendere le sfumature delle lingue asiatiche."
Il suo rapporto ha evidenziato che la Cina attualmente è leader nella produzione con oltre 200 modelli di fondazioni. L’enfasi del governo cinese sull’autosufficienza tecnologica e sulla sovranità dei dati sono le forze trainanti della crescita.
Tuttavia, altri modelli stanno emergendo rapidamente in tutta la regione, tra cui Wiz.ai per Bahasa Indonesia e OpenHathi di Sarvam AI per le lingue e i dialetti regionali indiani. Secondo Forrester, Line, NEC e la startup Sakana AI, sostenuta da venture capital, sono tra coloro che rilasciano modelli di fondazione in Giappone.
"Per la maggior parte delle imprese, l'acquisizione di modelli di fondazione da fornitori esterni sarà la norma", ha scritto Dai nel rapporto. "Questi modelli fungono da elementi critici nel quadro più ampio dell'intelligenza artificiale, tuttavia è importante riconoscere che non tutti i modelli di base sono dello stesso [calibro].
"L'adattamento del modello alle esigenze aziendali specifiche e alla disponibilità locale nella regione sono particolarmente importanti per le aziende dell'Asia-Pacifico", ha continuato.
Dai ha inoltre osservato che sono necessari servizi professionali in sintonia con la conoscenza delle imprese locali per facilitare la gestione dei dati e la messa a punto dei modelli per le imprese della regione. Ha aggiunto che l’ecosistema attorno ai modelli di fondazione locali avrà quindi un supporto migliore nei mercati locali.
"La gestione dei modelli di fondazione è complessa e il modello di fondazione in sé non è la soluzione miracolosa", ha affermato. "Richiede capacità complete di gestione dei dati, formazione dei modelli, messa a punto, manutenzione, sviluppo di applicazioni e governance, che abbracciano sicurezza, privacy, etica, spiegabilità e conformità normativa. E i piccoli modelli sono qui per restare."
Dai ha inoltre consigliato alle organizzazioni di avere "una visione olistica nella valutazione dei modelli di base" e di mantenere un "approccio progressista" nell'adozione dell'IA gen. Nel valutare i modelli di base, ha consigliato alle aziende di valutare tre categorie chiave: adattabilità e flessibilità di implementazione; affari, come la disponibilità locale; ed ecosistema, come la generazione aumentata di recupero (RAG) e il supporto API.
Mantenere l’IA “human-in-the-loop”.
Alla domanda se fosse necessario che i principali LLM fossero integrati con modelli incentrati sull'Asia, soprattutto perché le aziende utilizzano sempre più l'intelligenza artificiale per supportare processi lavorativi come il reclutamento, Teo ha sottolineato l'importanza dell'adozione e della governance responsabile dell'IA.
"Qualunque sia l'applicazione, il modo in cui la usi e i risultati, gli esseri umani devono essere responsabili, non l'intelligenza artificiale", ha affermato. "Sei responsabile del risultato e devi essere in grado di articolare ciò che stai facendo per [mantenere l'intelligenza artificiale] al sicuro."
Ha espresso preoccupazione sul fatto che ciò potrebbe non essere adeguato poiché i LLM diventano parte di tutto, dalla valutazione dei curriculum al calcolo dei punteggi di credito.
"È sconcertante che non sappiamo come funzionano questi modelli a un livello più profondo", ha detto. "Siamo ancora all'inizio dello sviluppo LLM, quindi la spiegabilità è un problema."
Ha sottolineato la necessità di framework che consentano un'intelligenza artificiale responsabile, non solo per garantire la conformità, ma anche per garantire che clienti e partner commerciali possano fidarsi dei modelli di intelligenza artificiale utilizzati dalle organizzazioni.
Come ha osservato il primo ministro di Singapore Lawrence Wong durante il vertice sull'intelligenza artificiale di Seul il mese scorso, è necessario gestire i rischi per evitare che l'intelligenza artificiale diventi canaglia, soprattutto quando si tratta di sistemi d'arma militari incorporati nell'intelligenza artificiale e di modelli di intelligenza artificiale completamente autonomi.
"Si possono immaginare scenari in cui l'intelligenza artificiale diventa canaglia o la rivalità tra paesi porta a conseguenze indesiderate", ha affermato, esortando le nazioni a valutare la responsabilità dell'intelligenza artificiale e le misure di sicurezza. Ha aggiunto che “la sicurezza, l’inclusività e l’innovazione dell’IA devono progredire di pari passo”.
Mentre i paesi si confrontano sul comune interesse nello sviluppo dell’intelligenza artificiale, Wong ha sottolineato la necessità di una regolamentazione che non ne soffochi il potenziale per alimentare l’innovazione e la collaborazione internazionale. Ha sostenuto la condivisione delle risorse di ricerca, indicando gli istituti per la sicurezza dell’intelligenza artificiale in tutto il mondo, tra cui Singapore, Corea del Sud, Regno Unito e Stati Uniti, che dovrebbero lavorare insieme per affrontare le preoccupazioni comuni.