Dall•E 2 di OpenAI potrebbe significare che non avremo mai più bisogno di foto stock
Digitando una frase su uno scenario, ad esempio un utente Windows ansioso seduto alla scrivania che vede un avviso di patch, potrebbe fornire proprio l'immagine necessaria per accompagnare un articolo.
Dall•E 2 di OpenAI, che è diventato generalmente disponibile al pubblico questa settimana, può creare immagini in una varietà di generi e stili digitando una frase, in questo caso, "Foto di una persona con gli occhiali che fa un punto a diverse persone a un tavolo da conferenza in una sala riunioni".
Il regno delle cose false continua a essere perfezionato dall'intelligenza artificiale, con il testo falso che è stato padroneggiato un paio di anni fa con il programma di elaborazione del linguaggio naturale GPT-3 della startup OpenAI.
Ora le immagini, che avevano raggiunto una notevole falsificazione grazie a programmi come StyleGAN di Nvidia, introdotto da Tero Karras e colleghi di Nvidia nel 2019, hanno ricevuto una spinta quest'estate con l'annuncio da parte di OpenAI di un nuovo programma per la falsificazione delle immagini, DALL•E 2, che si basa sul primo DALL•E, rilasciato nel gennaio del 2021. Può prendere una frase digitata e convertirla in un'immagine, con molti modi per modellare l'immagine di output.
Questa settimana, OpenAI ha rimosso la lista d'attesa; chiunque può ora andare sul sito per fare un giro con DALL•E 2, purché sia disposto a creare un account sul sito Web di OpenAI con un indirizzo e-mail e un numero di telefono.
Il punto di forza di DALL•E 2, come il suo predecessore, è quello di creare immagini da un testo che una persona digita in un campo della pagina web. Digita la frase "un astronauta a cavallo in uno stile fotorealistico" e apparirà un'immagine più o meno in quella forma: una rappresentazione realistica di una figura di profilo in uniforme da astronauta, a cavallo di un cavallo che cammina contro quella che sembra un'immagine del cosmo.
Il lavoro è descritto in un documento di ricerca degli scienziati di OpenAI Aditya Ramesh e colleghi, "Hierarchical Text-Conditional Image Generation with CLIP Latents", pubblicato sul server di pre-stampa arXiv.
DALL•E 2 è il cosiddetto codificatore-decodificatore contrastivo. È costruito comprimendo le immagini e le loro didascalie in una sorta di rappresentazione astratta e combinata, e poi decomprimendole. Questa formazione sviluppa la capacità del programma di associare testo e immagine.
Il punto principale di Ramesh e colleghi è che il modo in cui avviene la compressione/decompressione consente di fare molto di più che semplicemente tradurre tra testo e immagine, consente di utilizzare frasi per modellare aspetti di un'immagine, come l'aggiunta del termine "fotorealistico", che produce qualcosa con un certo realismo.
Sebbene le immagini siano ancora un po' grezze, puoi vedere che DALL•E 2 ha il potenziale per sostituire molte illustrazioni commerciali e persino fotografie stock. Digitando una frase e uno stile, ad esempio "foto", è possibile produrre una varietà di immagini che possono essere adatte per illustrare gli articoli.
Puoi vederlo tu stesso provandolo. La maggior parte delle cose che saltano subito alla mente sono combo divertenti. Ad esempio, "Una balenottera azzurra e un gattino che fanno amicizia su una spiaggia, arte digitale" produce l'accattivante output in stile biglietto di auguri qui sotto.
"Una balenottera azzurra e un gattino che fanno amicizia su una spiaggia, arte digitale"
Alla volta vengono offerte quattro versioni e puoi scaricarle in formato PNG.
"Una balenottera azzurra e un gattino che fanno amicizia su una spiaggia, arte digitale"
Ma è anche possibile ottenere una serie di immagini più banali che si adattano a un contesto di fotografia stock. Digitando la frase "Uno scrittore che collabora a ZDNET che vede il futuro della tecnologia nei propri articoli su una montagna che si libra nello spazio" produce una sorta di immagine fantascientifica che si avvicina a ciò che potrebbe accompagnare un articolo.
"Uno scrittore collaboratore di ZDNET che vede il futuro della tecnologia nei propri articoli sul fianco di una montagna in bilico nello spazio"
Si può aggiungere la frase "immagine realistica" e ottenere qualcosa di un po' più lucido.
"Immagine realistica di uno scrittore che collabora con ZDNET che vede il futuro della tecnologia nei propri articoli da una montagna sospesa nello spazio."
L'uso della frase "Foto di un utente di computer molto ansioso che fissa il monitor del computer e vede un avviso di patch di Windows" ha prodotto una deliziosa serie di immagini di utenti di computer tipicamente timorosi.
"Foto di un utente di computer molto ansioso che fissa il monitor del computer e vede un avviso di patch di Windows"
La frase può essere amplificata con parole aggiuntive per ottenere risultati più specifici, come "Foto di un utente di computer molto ansioso alla scrivania che fissa il monitor del computer e vede un avviso di patch di Windows".
"Foto di un utente di computer molto ansioso alla scrivania che fissa il monitor del computer e vede un avviso di patch di Windows."
Una volta che inizi a soffermarti sulla fotografia stock, scoprirai che puoi inventare molti scenari da trasformare in un'immagine. Ad esempio, "Foto di una persona con gli occhiali che fa un punto a diverse persone a un tavolo da conferenza in una sala riunioni" produce una selezione piuttosto buona di quelle che a prima vista sembrano vere scene d'ufficio.
"Foto di una persona con gli occhiali che fa un punto a diverse persone a un tavolo da conferenza in una sala riunioni"
Ancora una volta, si possono ottenere attributi più specifici e mutevoli della scena con poche parole, come "Foto di una persona con gli occhiali in piedi accanto a una lavagna in una sala conferenze che spiega qualcosa ai propri colleghi".
"Foto di una persona con gli occhiali in piedi accanto a una lavagna in una sala conferenze che spiega qualcosa ai suoi colleghi"
Come si può notare, cose come i tratti del viso sono generalmente degradate nell'uscita DALL•E 2.
Applicando i termini degli artisti o dei media artistici o dello stile, si può spostare la stessa immagine dal regno della fotografia stock al regno dell'illustrazione, come nella frase "Francis Bacon che dipinge un gruppo di persone in una sala conferenze e una persona con gli occhiali in piedi accanto a una lavagna che spiega qualcosa".
"Francis Bacon dipinge un gruppo di persone in una sala conferenze e una persona con gli occhiali in piedi accanto a una lavagna che spiega qualcosa."
Una volta creato un account, OpenAI ti dà 50 "crediti", si tratta di richieste gratuite al sistema, dove ogni frase inserita conta come una richiesta. Una volta esauriti i 50, puoi aspettare un mese e ottenere i prossimi 15 crediti gratuiti, oppure puoi acquistare crediti. I crediti sono venduti in pacchetti da 115 per $15 dollari, o 13 centesimi per credito.
È possibile bloccare il programma. Alcune richieste possono essere troppo una fusione di reale e immaginario per essere rese in modo convincente. Ad esempio, una richiesta di "ratti con la pelliccia blu che prendono il controllo di Times Square" produce un primo tentativo decente, ma l'elemento della pelliccia conferisce all'immagine una qualità sciatta, irregolare che non funziona davvero.
"Topi con la pelliccia blu che conquistano Times Square"
Altre richieste possono inciampare in DALL•E 2 a causa della scelta di una singola parola.
La richiesta "una borsa di soldi seduta su una sedia da giardino su un portico con vista sul tramonto" ha generato immagini del tutto bizzarre, non correlate, come un primo piano di unghie dei piedi, e un'immagine ambigua che sembrava essere dei fiori incastrati all'interno di un tappeto.
"Una borsa di soldi seduta su una sedia da giardino su un portico con vista sul tramonto."
Sostituendo la parola "posizionato" con "seduto" ha permesso a DALL•E 2 di produrre un risultato soddisfacente in un'immagine su tre.
"Una borsa di soldi posta su una sedia da giardino su un portico con vista sul tramonto."
Può darsi che il programma non riesca a trovare una combinazione adeguata di elementi per quello che sembra essere un verbo attivo, seduto, quando combinato con un oggetto inanimato, un sacco.
In generale, il programma sembra avere difficoltà con gli aspetti del luogo, come "stare davanti a un cavalletto".
Frasi che non sono descrizioni, ma domande o interiezioni sembrano avviare il sistema in una modalità casuale. Ad esempio, "DALL•E 2 conosce il proprio nome?" è un'espressione che produce diverse immagini di fiori. Potrebbe essere una risposta poetica, ma sembra più un rifiuto della richiesta.
"DALL•E 2 conosce il proprio nome?"
Ci sono alcuni guardrail inseriti da OpenAI, enunciati nella politica dei contenuti pubblicati, e verranno utilizzati per eliminare automaticamente qualsiasi tentativo di verboten. Ad esempio, digitando "Il cofondatore di Microsoft Bill Gates fuma un sigaro in un appartamento squallido con mobili rotti" non verrà generato. Viene invece visualizzato un messaggio di errore che indica che la richiesta viola il criterio e ti indirizza alla pagina del criterio. Probabilmente, si tratta di un caso di violazione della regola "Non creare immagini di personaggi pubblici".
La stessa richiesta, che ha sostituito il personaggio pubblico meno noto Tiernan Ray, uno scrittore collaboratore di ZDNET, ha generato una selezione di immagini divertenti di persone che non sono Tiernan Ray.
"Tiernan Ray fuma un sigaro in un appartamento squallido con mobili rotti"
Inoltre, il testo protetto da copyright sembra essere protetto dalla violazione totale. La frase "un gruppo di persone che si aggirano davanti a McDonald's" produce una scena abbastanza adatta, ma ogni risultato offerto ha qualche leggera modifica di "McDonald's" per renderlo non proprio quella parola.
"Un gruppo di persone che si aggirano davanti a McDonald's"
Dove andranno le cose dopo? Il lavoro sull'approccio di base del text-to-image procede su numerosi fronti. Uno è l'aggiunta di una maggiore complessità lessicale al programma. Ad esempio, Chitwan Saharia e il team di Google Brain a maggio hanno pubblicato il loro lavoro su "Imagen", un programma che dicono abbia un "grado di fotorealismo senza precedenti". Il trucco è stato quello di utilizzare un corpus molto più ampio di materiali linguistici per addestrare la rete.
E c'è del lavoro che si sta facendo per ampliare la complessità dei tipi di cose che un programma può fare. Ad esempio, gli scienziati di Google Wenhu Chen e colleghi questo mese hanno creato un programma che estende Imagen di Sahari e del team, chiamato "Re-imagen", che combina l'idea di base di comprimere testo e immagine insieme a un terzo elemento, i risultati di ricerca.
Aggiungendo quello che chiamano "recupero", il programma è sviluppato non solo per trovare una combinazione "semantica" di parola e immagine, ma anche per cercare nei risultati di ricerca su Internet combinazioni che ottimizzeranno l'output. Sostengono che i risultati sono di gran lunga superiori a Imagen e DALL•E 2 nella gestione di frasi rare e oscure come "Il picarones viene servito con il vino", riferendosi al dessert di patate dolci peruviano.