Con lo sviluppo di reti neurali e tecnologie di apprendimento automatico, anche l'ambito della loro applicazione si sta espandendo. Se le reti neurali precedenti venivano utilizzate esclusivamente per eseguire complessi calcoli matematici, medici, fisici e biologici e previsioni, ora queste tecnologie stanno guadagnando ampia popolarità in un ambiente più "banale" - nel campo dell'intrattenimento. Facendo solo i primi passi in questa direzione, sono già in grado di dimostrare risultati sorprendenti e talvolta anche eccezionali. Oggi analizzeremo alcuni esempi illustrativi.
Il processo di rimasterizzazione dei video è così complicato e richiede tempo che non avremmo mai visto molti capolavori dei classici mondiali con un'immagine nuova, moderna, chiara e succosa. Tuttavia, il mondo è pieno di fan e appassionati intelligenti che sono esperti nelle nuove tecnologie, e in particolare nelle reti neurali e nelle tecnologie di machine learning, con le quali è possibile ottenere risultati sorprendenti anche a casa. Ad esempio, l'utente di YouTube Stefan Rumen con lo pseudonimo di CaptRobau ha deciso di dimostrare alcune delle capacità delle reti neurali nell'elaborazione dei video di una vecchia serie di fantascienza.
Il suo lavoro precedente è Remako Mod, un "remake HD" del classico e popolarissimo gioco di ruolo giapponese Final Fantasy VII. Per fare ciò, ha utilizzato l'algoritmo AI AI Gigapixel, con l'aiuto del quale è stato in grado di ridimensionare l'immagine dell'immagine originale di 4 volte, convertendola in risoluzione HD senza modifiche significative nel design artistico originale. Quindi, mentre aspetti un altro decennio fino al momento in cui lo sviluppatore ed editore giapponese di giochi per computer Square Enix rilascia ufficialmente una rimasterizzazione di forse una delle parti migliori di questa serie di giochi, puoi provare tu stesso il mod di Stefan Rumen scaricandolo da questo sito.
A proposito, recentemente, le tecnologie di rete neurale per rimasterizzare vecchi giochi e portarli a un aspetto più rilevante e moderno senza cambiare il concetto originale generale sono diventate una vera tendenza tra i vari modder. Ad esempio, non molto tempo fa abbiamo parlato della tecnologia ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), che implementa tecnologie di ridimensionamento delle immagini con un aumento di qualità 2-8 volte. L'algoritmo “alimenta” l'immagine originale con una bassa risoluzione, dopodiché non solo aumenta la risoluzione originale di quest'ultima, ma migliora anche la qualità dell'immagine, dipingendo su dettagli realistici e rendendo le texture “più naturali”.
Confronto della qualità della trama: a sinistra c'è la trama originale del gioco Morrowind, a destra - elaborata dalla rete neurale.
Un personaggio di Doom (sinistra - era, destra - divenne).
Elaborazione in background in Resident Evil 3.
Video promozionale:
Comunque sia, negli intervalli tra la rimasterizzazione di "The Seventh Final" Stefan Rumen ha deciso di intraprendere un altro progetto: utilizzare la stessa tecnologia di machine learning, ma questa volta per elaborare i frame della classica serie di fantascienza degli anni '90. Rumen ha scelto Star Trek: Deep Space Nine come oggetto per i suoi esperimenti.
Il ridimensionamento di un'immagine dal vivo di una serie TV è molto diverso per complessità dal ridimensionare un'immagine pre-renderizzata di Final Fantasy VII, osserva l'autore, quindi il risultato finale, sebbene sembri notevolmente migliore rispetto ai materiali originali a bassa risoluzione, è ancora lontano dall'ideale su cui avresti potuto sognare da quando i primi lettori Blu-ray sono arrivati sul mercato. Di tanto in tanto, sullo schermo compaiono piccoli "artefatti". Ma, ancora una volta, in generale, tutto sembra più che degno. Ma, in generale, guarda tu stesso.
Per questo progetto, Rumen ha utilizzato anche l'algoritmo AI Gigapixel, addestrato per modificare le immagini sulla base di fotografie reali. L'autore osserva che la nuova immagine è stata ottenuta in 1080p e 4k, ma poiché Rumen non ha una TV o un monitor con risoluzione 4K nativa, non può valutare adeguatamente la versione 4K.
Sfortunatamente, non puoi guardare l'intera serie in qualità Full HD. Il processo di elaborazione di tutto il materiale originale avrebbe richiesto molto tempo, quindi Rumen ha utilizzato solo fotogrammi separati da serie diverse per la dimostrazione. Secondo lui, ha intrapreso questo progetto per un solo motivo: dimostrare che è davvero possibile. A suo avviso, un intero team di professionisti che lavorano in una grande società televisiva e che hanno a disposizione apparecchiature informatiche più adatte e potenti per tale lavoro saranno in grado di affrontare molto meglio questo compito.
L'utilizzo di reti neurali per semplificare il lavoro di elaborazione di vecchie immagini da videogiochi e film non sono le uniche aree in cui tali tecnologie sono in grado di mostrare il loro talento. Nel mondo moderno, dove le fotocamere panoramiche in grado di produrre a 360 gradi, così come le cuffie per la realtà virtuale, stanno guadagnando popolarità, gli sviluppatori hanno iniziato a esplorare attivamente il potenziale della fotografia panoramica.
Uno degli ultimi sviluppi in questa direzione è una rete neurale in grado di riprodurre immagini statiche panoramiche. È stato creato da esperti di machine learning delle università del Massachusetts, della Columbia University e della George Mason University.
L'algoritmo creato determina il tipo di ambiente e oggetti nella foto, quindi seleziona e organizza i suoni dal database utilizzato in base al calcolo spaziale della distanza dalle loro sorgenti in questa immagine. Grazie a ciò, l'immagine panoramica acquisisce un suono realistico e spazioso che consente di valutare l'immagine presentata in un modo completamente nuovo.
Secondo gli sviluppatori di questa rete neurale, la tecnologia potrebbe trovare interesse tra gli sviluppatori di contenuti VR (film e giochi). Quest'ultimo, in questo caso, non dovrà sovrapporre manualmente tutti i suoni all'immagine panoramica, la rete neurale sarà in grado di fare tutto da sola.
Nikolay Khizhnyak
