La svolta quantistica di Google è "davvero notevole", ma c'è ancora molto da fare

L'addestramento dei modelli di Deep Learning è costoso e difficile, ma non tanto quanto la distribuzione e l'esecuzione in produzione. Deci vuole aiutare ad affrontare questo problema.

Il deep learning è probabilmente la forma più popolare di machine learning in questo momento. Sebbene non tutti i problemi si riducano a un modello di deep learning, in settori come la visione artificiale e l'elaborazione del linguaggio naturale il deep learning è prevalente.

Un problema chiave con i modelli di deep learning, tuttavia, è che sono affamati di risorse. Richiedono molti dati e calcolo per il training e molto calcolo per funzionare. Di norma, è noto che le GPU offrono prestazioni migliori delle CPU sia per l'addestramento che per l'inferenza, mentre alcuni modelli non possono essere eseguiti su CPU. Ora Deci vuole cambiare le cose.

Deci, un'azienda che mira a ottimizzare i modelli di deep learning, sta rilasciando una nuova famiglia di modelli per la classificazione delle immagini. Questi modelli superano le alternative più note sia in termini di precisione che di autonomia e possono essere eseguiti sulle popolari CPU Intel Cascade Lake.

Abbiamo incontrato il CEO e co-fondatore di Deci, Yonatan Geifman, per discutere dell'approccio di Deci e della pubblicazione di oggi.

Le prestazioni del deep learning comportano dei compromessi

Deci è stata cofondata da Geifman, Jonathan Elial e Ran El-Yaniv nel 2019. Tutti i fondatori hanno un background nell'apprendimento automatico, con Geifman ed El-Yaniv che hanno lavorato anche in Google. Hanno avuto l'opportunità di sperimentare in prima persona quanto sia difficile portare il deep learning nella produzione.

I fondatori di Deci si sono resi conto che rendere i modelli di deep learning più scalabili avrebbe aiutato a farli funzionare meglio negli ambienti di produzione. Hanno anche visto aziende di hardware cercare di costruire chip AI migliori per eseguire l'inferenza su larga scala.

La scommessa che hanno fatto con Deci è stata quella di concentrarsi sull'area di progettazione del modello per rendere il deep learning più scalabile ed efficiente, consentendo così loro di funzionare meglio negli ambienti di produzione. Utilizzano un approccio automatizzato per progettare modelli più efficienti nella loro struttura e nel modo in cui interagiscono con l'hardware sottostante in produzione.

La tecnologia proprietaria Automated Neural Architecture Construction (AutoNAC) di Deci viene utilizzata per sviluppare i cosiddetti DeciNets. I DeciNet sono modelli pre-addestrati che, secondo Deci, superano i modelli all'avanguardia noti in termini di accuratezza e prestazioni di runtime.

Per ottenere una migliore precisione nell'apprendimento profondo, è possibile prendere modelli più grandi e addestrarli per un po' più di tempo con un po' più di dati e si otterranno risultati migliori, ha detto Geifman. In questo modo, tuttavia, vengono generati modelli più grandi, che richiedono più risorse per l'esecuzione in produzione. Ciò che Deci promette è risolvere questo problema di ottimizzazione, fornendo una piattaforma e strumenti per costruire modelli accurati e veloci in produzione.

Risolvere questo problema di ottimizzazione richiede più della messa a punto manuale dell'architettura neurale esistente, e AutoNAC può progettare modelli specializzati per casi d'uso specializzati, ha detto Geifman. Ciò significa essere consapevoli dei dati e delle attività di apprendimento automatico a portata di mano, ma anche dell'hardware su cui verrà distribuito il modello.

Prestazioni di DeciNets per la classificazione delle immagini rispetto ad altri modelli di classificazione delle immagini di deep learning per le CPU Intel Cascade Lake. Immagine: Deci

I DeciNet annunciati oggi sono orientati alla classificazione delle immagini su CPU Intel Cascade Lake, che, come ha notato Geifman, sono una scelta popolare in molte istanze cloud. Deci definisce questi modelli "leader del settore", sulla base di alcuni benchmark che Geifman ha detto che saranno rilasciati per le terze parti per essere in grado di replicare.

Ci sono tre compiti principali nella visione artificiale: classificazione delle immagini, rilevamento di oggetti e segmentazione semantica. Geifman ha detto che Deci produce più tipi di DeciNet per ogni attività. Ogni DeciNet mira a un diverso livello di prestazioni, definito come il compromesso tra accuratezza e latenza.

Nei risultati pubblicati da Deci, le variazioni di DeciNet con diversi livelli di complessità (cioè il numero di parametri) vengono confrontate con le variazioni di altri modelli di classificazione delle immagini come EfficientNet di Google e lo standard industriale ResNet.

Secondo Geifman, Deci ha dozzine di modelli pre-ottimizzati per i clienti da utilizzare in un'offerta completamente self-service, che vanno da varie attività di visione artificiale a attività di NLP su qualsiasi tipo di hardware da implementare in produzione.

Lo stack di inferenza del deep learning

Tuttavia, qui c'è un problema. Poiché i DeciNet sono pre-addestrati, ciò significa che non funzioneranno necessariamente come necessario per il caso d'uso e i dati specifici di un cliente. Pertanto, dopo aver scelto il DeciNet che ha il compromesso ottimale tra accuratezza e latenza per i requisiti del caso d'uso, gli utenti devono ottimizzarlo per i propri dati.

Successivamente, segue una fase di ottimizzazione, in cui il modello addestrato viene compilato e quantizzato con la piattaforma di Deci tramite API o GUI. Infine, il modello può essere implementato sfruttando gli strumenti di distribuzione di Deci Infery e RTiC. Questa copertura end-to-end è un elemento di differenziazione per Deci, ha affermato Geifman. In particolare, i modelli esistenti possono anche essere trasferiti su DeciNets.

Quando si considera il ciclo di vita end-to-end, l'economia e i compromessi giocano un ruolo importante. L'idea alla base dell'offerta di Deci è che i modelli di addestramento, sebbene costosi, sono in realtà meno costosi dei modelli operativi in produzione. Pertanto, ha senso concentrarsi sulla produzione di modelli che costino meno da gestire, pur avendo precisione e latenza paragonabili ai modelli esistenti.

Lo stesso approccio pragmatico viene adottato quando si prende di mira l'hardware di distribuzione. In alcuni casi, quando l'obiettivo principale è ridurre al minimo la latenza, verrà scelto l'hardware più veloce possibile. In altri casi, ottenere una latenza inferiore a quella ottimale in cambio di una riduzione dei costi operativi può avere senso.

Per le implementazioni edge, potrebbe non esserci nemmeno una scelta da fare: l'hardware è quello che è e il modello da implementare dovrebbe essere in grado di funzionare sotto determinati vincoli. Deci offre uno strumento di raccomandazione e benchmarking che può essere utilizzato per confrontare la latenza, il throughput e i costi per varie istanze cloud e tipi di hardware, aiutando gli utenti a fare una scelta.

Deci è coinvolta in una partnership con Intel. Sebbene la versione odierna non sia stata realizzata in collaborazione con Intel, i vantaggi per entrambe le parti sono evidenti. Collaborando con Deci, Intel amplia la gamma di modelli di deep learning che possono essere implementati sulle sue CPU. Collaborando con Intel, Deci espande la sua portata sul mercato.

Deci punta all'ottimizzazione dell'inferenza del modello di deep learning su una varietà di obiettivi di implementazione. Immagine: Deci

Come ha notato Geifman, tuttavia, Deci si rivolge a un'ampia gamma di hardware, tra cui GPU, FPGA e acceleratori ASIC per scopi speciali, e ha anche partnership in atto con aziende del calibro di HPE e AWS. Deci sta inoltre lavorando a partnership con vari tipi di produttori di hardware, fornitori di cloud e OEM che vendono data center e servizi per l'apprendimento automatico.

L'approccio di Deci ricorda TinyML, tranne per il fatto che si rivolge a un insieme più ampio di obiettivi di implementazione. Discutendo di questo argomento, Geifman ha fatto riferimento allo stack di accelerazione dell'inferenza dell'apprendimento automatico. Secondo questa concettualizzazione, l'accelerazione può avvenire a diversi livelli dello stack.

Può accadere a livello hardware, scegliendo dove distribuire i modelli. Può accadere a livello di compilatore di runtime/grafico, dove vediamo soluzioni fornite da produttori di hardware come Tensor RT di Nvidia o OpenVino di Intel. Abbiamo anche l'open source ONNX supportato da Microsoft, così come soluzioni commerciali come Apache TVM commercializzate da OctoML.

Inoltre, abbiamo tecniche di compressione dei modelli come il pooling e la quantizzazione, che Geifman ha notato essere ampiamente utilizzate da varie soluzioni open source, con alcuni fornitori che lavorano alla commercializzazione. Geifman ha inquadrato Deci come un lavoro su un livello superiore a quelli, vale a dire il livello di ricerca dell'architettura neurale, aiutando i data scientist a progettare modelli per ottenere una migliore latenza mantenendo l'accuratezza.

La piattaforma di Deci offre un livello Community rivolto agli sviluppatori che desiderano migliorare le prestazioni e ridurre i tempi di sviluppo, nonché i livelli Professional ed Enterprise con più opzioni, incluso l'uso di DeciNets. L'azienda ha raccolto un totale di 30 milioni di dollari in due round di finanziamento e ha 40 dipendenti, per lo più con sede in Israele. Secondo Geifman, nell'immediato futuro verranno rilasciati altri DeciNet, concentrandosi sulle applicazioni NLP.