In che modo il progetto di IBM per la trasformazione del settore sfrutta l'intelligenza artificiale, il 5G e la collaborazione

I nuovi strumenti degli inventori di Apache TVM promuovono quelle che vengono chiamate "applicazioni intelligenti", programmi che incorporano l'apprendimento automatico come funzioni.

"Personalmente penso che se lo facciamo bene, non abbiamo bisogno di ML Ops", afferma Luis Ceze, CEO di OctoML, in merito all'offerta dell'azienda di rendere l'implementazione dell'apprendimento automatico solo un'altra funzione del processo software DevOps.

Il campo dell'MLOps è nato come un modo per comprendere la complessità degli usi industriali dell'intelligenza artificiale.

Questo sforzo è finora fallito, afferma Luis Ceze, co-fondatore e CEO della startup OctoML, che sviluppa strumenti per automatizzare l'apprendimento automatico.

"È ancora abbastanza presto per trasformare il ML in una pratica comune",  ha detto Ceze a ZDNet in un'intervista via Zoom.

"Ecco perché sono un critico di MLOps: stiamo dando un nome a qualcosa che non è molto ben definito, e c'è qualcosa che è molto ben definito, chiamato DevOps, che è un processo molto ben definito per portare il software in produzione, e penso che dovremmo usarlo".

"Personalmente penso che se lo facciamo bene, non abbiamo bisogno di ML Ops", ha detto Ceze.

"Possiamo semplicemente usare DevOps, ma per questo è necessario essere in grado di trattare il modello di apprendimento automatico come se fosse un qualsiasi altro software: deve essere portatile, deve essere performante e fare tutto questo è qualcosa che è molto difficile nell'apprendimento automatico a causa della stretta dipendenza tra il modello. e l'hardware, il framework e le librerie".

Ceze sostiene che ciò che è necessario è risolvere le dipendenze che derivano dalla natura altamente frammentata dello stack di apprendimento automatico.

OctoML sta spingendo la nozione di "modelli-come-funzioni", riferendosi ai modelli di ML. Sostiene che l'approccio facilita la compatibilità multipiattaforma e sintetizza gli sforzi di sviluppo altrimenti disparati della creazione di modelli di apprendimento automatico e dello sviluppo di software convenzionale. 

OctoML ha iniziato la sua vita offrendo una versione di servizio commerciale del compilatore open source Apache TVM, inventato da Ceze e dagli altri co-fondatori. 

Mercoledì, l'azienda ha annunciato un'espansione della sua tecnologia, comprese le funzionalità di automazione per risolvere le dipendenze, tra le altre cose, e "informazioni dettagliate su prestazioni e compatibilità da una flotta completa di 80+ obiettivi di implementazione" che includono una miriade di istanze di cloud pubblico da AWS, GCP e Azure e il supporto per diverse versioni di CPU - x86 e ARM - GPU, e NPU, da più fornitori. 

"Vogliamo ottenere un insieme molto più ampio di ingegneri del software per essere in grado di distribuire modelli su hardware mainstream senza alcuna conoscenza specializzata dei sistemi di apprendimento automatico", ha affermato Ceze.

Il codice è stato progettato per affrontare "una grande sfida nel settore", ha detto Ceze, vale a dire, "la maturità della creazione di modelli è aumentata un po', quindi, ora, gran parte del dolore sta cambiando. Ehi, ho un modello, e adesso?"

Il tempo medio per passare da un nuovo modello di apprendimento automatico è di dodici settimane, osserva Ceze, e la metà di tutti i modelli non viene implementata.

"Vogliamo accorciare le ore a ore", ha detto Ceze. 

Se fatta bene, ha detto Ceze, la tecnologia dovrebbe portare a una nuova classe di programmi chiamati "Applicazioni intelligenti", che OctoML definisce come "app che hanno un modello di ML integrato nelle loro funzionalità".

Gli strumenti di OctoML sono pensati per fungere da pipeline che astrae la complessità dell'acquisizione di modelli di apprendimento automatico e della loro ottimizzazione per una determinata piattaforma hardware e software di destinazione. 

Questa nuova classe di app "sta diventando la maggior parte delle app", ha detto Ceze, citando esempi dell'app Zoom che consente effetti di sfondo, o di un elaboratore di testi che esegue "NLP continuo" o elaborazione del linguaggio naturale. 

"Il ML sta andando ovunque, sta diventando parte integrante di ciò che usiamo", ha osservato Ceze, "dovrebbe essere in grado di essere integrato molto facilmente: questo è il problema che ci siamo prefissati di risolvere".

Lo stato dell'arte in MLOps, ha detto Ceze, è "fare in modo che un ingegnere umano capisca la piattaforma hardware su cui eseguire, scegliere le librerie giuste, lavorare con la libreria Nvidia, ad esempio, le primitive del compilatore Nvidia giuste e arrivare a qualcosa che possono eseguire.

"Automatizziamo tutto questo", ha detto della tecnologia OctoML. "Prendi un modello, trasformalo in una funzione e chiamalo", dovrebbe essere la nuova realtà, ha detto. "Si ottiene un modello Hugging Face, tramite un URL, e si scarica quella funzione".

La nuova versione del software fa uno sforzo particolare per integrarsi con il software del server di inferenza Triton di Nvidia. 

Nvidia ha dichiarato nelle osservazioni preparate che "la portabilità, la versatilità e la flessibilità di Triton lo rendono un compagno ideale per la piattaforma OctoML".

Alla domanda sul mercato indirizzabile per OctoML come azienda, Ceze ha indicato "l'intersezione tra DevOps e l'infrastruttura di intelligenza artificiale e ML". DevOps è "poco meno di cento miliardi di dollari" e l'infrastruttura di intelligenza artificiale e machine learning è un'attività annua di centinaia di miliardi di dollari.