Il nuovo strumento di intelligenza artificiale di Google può trasformare il testo in musica

Google ha recentemente annunciato di aver sviluppato un nuovo generatore di musica con intelligenza artificiale (AI) in grado di creare musica di qualsiasi genere con una descrizione testuale.

In un documento di ricerca pubblicato giovedì, i ricercatori di Google hanno introdotto lo strumento di intelligenza artificiale per la creazione di musica soprannominato "MusicLM" come modello che genera musica ad alta fedeltà da descrizioni testuali come "una rilassante melodia di violino sostenuta da un riff di chitarra distorto".

MusicLM definisce il processo di generazione condizionale della musica come un compito gerarchico di modellazione da sequenza a sequenza e "genera musica a 24 kHz che rimane coerente per diversi minuti. ”

Inoltre, lo strumento di intelligenza artificiale può produrre musica "originale" sia da messaggi di testo che da suggerimenti sonori per un massimo di 5 minuti da segnali testuali e uditivi. MusicLM è stato addestrato su un database composto da oltre 2.80.000 ore di musica in modo da imparare a generare canzoni coerenti per le descrizioni in qualsiasi genere desiderato.

"I nostri esperimenti dimostrano che MusicLM supera i sistemi precedenti sia in termini di qualità audio che di aderenza alla descrizione del testo. Inoltre, dimostriamo che MusicLM può essere condizionato sia dal testo che da una melodia in quanto può trasformare melodie fischiettate e canticchiate secondo lo stile descritto in una didascalia di testo", si legge nel documento.

Secondo il documento di ricerca, MusicLM potrebbe creare canzoni da didascalie riccamente scritte, come ad esempio:

La colonna sonora principale di un gioco arcade. È veloce e allegro, con un accattivante riff di chitarra elettrica. La musica è ripetitiva e facile da ricordare, ma con suoni inaspettati, come schianti di piatti o rulli di tamburi.

O

Attraverso la "modalità storia" dove l'audio è stato generato fornendo una sequenza di prompt testuali più brevi, tra cui:

• Tempo per meditare (0:00-0:15), tempo per svegliarsi (0:15-0:30), tempo per correre (0:30-0:45), tempo per dare il 100% (0:45-0:60)
• Canzone elettronica riprodotta in un videogioco (0:00-0:15), canzone di meditazione suonata vicino a un fiume (0:15-0:30), fuoco (0:30-0:45), fuochi d'artificio (0:45-0:60)

MusicLM di Google può anche generare clip musicali che catturano l'umore e l'atmosfera dei dipinti, in particolare dalle descrizioni di alcune delle opere d'arte più famose del mondo dell'arte, tra cui "L'urlo" di Edvard Munch e il famoso "La persistenza della memoria" di Salvador Dalì.

Puoi andare sulla pagina GitHub di Google per ascoltare alcuni dei brani musicali generati da MusicLM.

Per supportare la ricerca futura, Google ha già rilasciato MusicCaps, un set di dati composto da 5,5k coppie musica-testo, con descrizioni rich text fornite da esperti umani.

Tuttavia, non aspettarti che MusicLM sia disponibile al pubblico in futuro, poiché ci sono molte preoccupazioni che devono essere affrontate prima che venga rilasciato pubblicamente.

Secondo i ricercatori di Google, lo strumento di intelligenza artificiale ha dei limiti esistenti, che includono pregiudizi di programmazione che possono portare a mancanza di rappresentazione e appropriazione culturale, qualità vocale e problemi tecnologici, nonché l'uso di negazioni e l'ordinamento temporale utilizzati nei prompt di testo.

Infatti, durante un esperimento, i ricercatori di Google hanno scoperto che circa l'uno per cento degli esempi musicali creati da MusicLM sono stati copiati direttamente dalle canzoni su cui è stato addestrato sollevando problemi di copyright.

"Riconosciamo il rischio di potenziale appropriazione indebita di contenuti creativi associati al caso d'uso. Sottolineiamo con forza la necessità di un ulteriore lavoro futuro per affrontare questi rischi associati alla generazione musicale: non abbiamo in programma di rilasciare modelli a questo punto", afferma lo studio.