Se il tuo codice generato dall'intelligenza artificiale diventa difettoso, chi deve affrontare la maggiore esposizione di responsabilità?
Per le lingue con poche risorse come il kalaallisut e il fula, è necessario un grande sforzo per scoprire cosa si perde nella traduzione.
Punteggi per le lingue durante la traduzione dall'inglese e di nuovo all'inglese, correlati al numero di frasi campione della lingua. Verso il lato destro, un numero maggiore di frasi di esempio si traduce in punteggi migliori. Ci sono valori anomali, come l'inglese in cirillico, che ha pochissimi esempi ma si traduce bene.
Cosa fai dopo aver raccolto campioni di scrittura per un migliaio di lingue allo scopo di tradurre e gli esseri umani continuano a considerare le traduzioni risultanti un fallimento?
Esamina i fallimenti, ovviamente.
E questo è l'interessante lavoro che gli scienziati dell'apprendimento automatico di Google hanno presentato questo mese in un enorme documento di ricerca sulla traduzione multilingue, "Building Machine Translation Systems for the Next Thousand Languages", pubblicato su Arxiv.
"Nonostante gli enormi progressi nella traduzione automatica con poche risorse, il numero di lingue per le quali sono stati costruiti sistemi di traduzione automatica di dominio generale ampiamente disponibili è stato limitato a circa 100, che è una piccola frazione delle oltre 7000+ lingue parlate oggi nel mondo", scrivono l'autore principale Ankur Bapna e colleghi.
Il documento descrive un progetto per creare un set di dati di oltre mille lingue, tra cui i cosiddetti linguaggi a basse risorse, quelli che hanno pochissimi documenti da utilizzare come campioni per l'addestramento dell'apprendimento automatico.
Mentre è facile raccogliere miliardi di frasi di esempio per l'inglese e oltre cento milioni di frasi di esempio per l'islandese, ad esempio, la lingua kalaallisut, parlata da circa 56.000 persone in Groenlandia, ha meno di un milione di frasi di esempio esistenti prontamente disponibili nei testi online; e la lingua malese Kelantan-Pattani, parlata da circa cinque milioni di persone in Malesia e Thailandia, ha meno di 10.000 frasi di esempio prontamente disponibili.
Per compilare un set di dati per la traduzione automatica per tali lingue con risorse limitate, Bapna e due dozzine di colleghi hanno prima creato uno strumento per setacciare Internet e identificare i testi nelle lingue con poche risorse. Gli autori utilizzano una serie di tecniche di apprendimento automatico per estendere un sistema chiamato LangID, che comprende tecniche per identificare se un testo Web appartiene a una determinata lingua. Si tratta di un processo piuttosto complesso per eliminare i falsi positivi.
Dopo aver setacciato il Web con le tecniche LangID, gli autori sono stati in grado di assemblare "un set di dati con corpora per 1503 lingue a basse risorse, di dimensioni variabili da una frase (Mape) a 83 milioni di frasi (Sabah Malay)".
Gli scienziati hanno ridotto l'elenco a 1.057 lingue "dove abbiamo recuperato più di 25.000 frasi monolingue (prima della deduplicazione)" e hanno combinato quel gruppo di campioni con i dati molto più grandi per 83 "lingue ad alta risorsa" come l'inglese.
Hanno quindi testato il loro set di dati eseguendo esperimenti per tradurre tra le lingue in quel set. Hanno utilizzato varie versioni dell'onnipresente rete neurale Transformer per la modellazione del linguaggio. Al fine di testare le prestazioni delle traduzioni, gli autori si sono concentrati sulla traduzione da e verso l'inglese con 38 lingue per le quali hanno ottenuto esempi di traduzioni vere, tra cui kalaallisut
È qui che entra in gioco la parte più interessante. Gli autori hanno chiesto a revisori umani madrelingua di lingue con poche risorse di valutare la qualità delle traduzioni per 28 lingue su una scala da zero a sei, dove zero è "linguaggio senza senso o sbagliato" e sei "perfetto".
I risultati non sono eccezionali. Su 28 lingue tradotte dall'inglese, 13 hanno ottenuto un punteggio inferiore a 4 sulla scala in termini di qualità della traduzione. Ciò implicherebbe che quasi la metà delle traduzioni dall'inglese al bersaglio erano mediocri.
Gli autori hanno un'affascinante discussione a partire da pagina 23 su ciò che sembra essere andato storto in quelle traduzioni con valutazioni deboli.
"Il più grande risultato è che le metriche automatiche sovrastimano le prestazioni su dialetti correlati", scrivono, il che significa che i punteggi che la macchina assegna alle traduzioni, come il punteggio BLEU ampiamente utilizzato, tendono a dare credito quando la rete neurale sta semplicemente traducendo in una lingua sbagliata che è come un'altra lingua. Ad esempio, "il pidgin nigeriano (pcm), un dialetto dell'inglese, aveva punteggi BLEU e CHRF molto alti, rispettivamente di circa 35 e 60. Tuttavia, gli esseri umani hanno valutato le traduzioni molto severamente, con un buon 20% giudicato come 'Lingua senza senso/sbagliata', con madrelingua fidati che hanno confermato che le traduzioni erano inutilizzabili".
"Cosa sta succedendo qui che il modello si traduce in (una versione corrotta di) il dialetto sbagliato, ma è abbastanza vicino a livello di n-gram di caratteri" perché il benchmark automatico lo valuti in alto, osservano.
"Questo è il risultato di un problema di inquinamento dei dati", ne deducono, "dal momento che queste lingue sono così vicine ad altre lingue molto più comuni sul web [...] è molto più probabile che i dati di addestramento siano mescolati con versioni corrotte della lingua con risorse più elevate o con altre varietà".
Esempi di traduzioni con termini corretti in blu e traduzioni errate in giallo. La colonna di sinistra mostra il codice per il quale viene tradotta la lingua, utilizzando i tag BCP-47 standard.
E poi ci sono quelli che gli autori chiamano "modalità di errore caratteristiche" nelle traduzioni, come "tradurre nomi che si verificano in contesti distributivamente simili nei dati di addestramento", come sostituire "nomi relativamente comuni come 'tigre' con un altro tipo di parola animale", osservano, "dimostrando che il modello ha appreso il contesto distributivo in cui si verifica questo sostantivo, ma non è stato in grado di acquisire le mappature esatte da una lingua all'altra con dettagli sufficienti all'interno di questa categoria".
Un problema del genere si verifica con "nomi di animali, colori e ore del giorno" e "era anche un problema con gli aggettivi, ma abbiamo osservato pochi errori di questo tipo con i verbi. A volte, le parole sono state tradotte in frasi che potrebbero essere considerate concetti culturalmente analoghi, ad esempio traducendo 'formaggio e burro' in 'cagliata e yogurt' quando si traduce dal sanscrito".
Gli autori sostengono ampiamente la necessità di lavorare a stretto contatto con i madrelingua:
Sottolineiamo che, ove possibile, è importante cercare di costruire relazioni con i madrelingua e i membri di queste comunità, piuttosto che limitarsi a interagire con loro come crowd-worker a distanza. Per questo lavoro, gli autori hanno contattato i membri del maggior numero possibile di comunità, conversando con oltre 100 membri di queste comunità, molti dei quali erano attivi in questo progetto.
Un'appendice offre gratitudine a una lunga lista di tali madrelingua.
Nonostante i fallimenti citati, gli autori concludono che il lavoro ha successi degni di nota. In particolare, utilizzando l'approccio LangID per setacciare il web, «siamo in grado di costruire un set di dati di testo multilingue non etichettato contenente oltre 1 milione di frasi per più di 200 lingue e oltre 100 mila frasi in più di 400 lingue».
E il lavoro con i modelli Transformer li convince che "è possibile costruire modelli MT pratici e di alta qualità per linguaggi a coda lunga utilizzando l'approccio descritto in questo lavoro".