La creazione di algoritmi per lavorare con le immagini è sempre stata un compito piuttosto difficile, ma promettente. Quando stavo ancora scrivendo il mio progetto di laurea nel 1999, il tema del "riconoscimento dei modelli" era molto rilevante nei sistemi di controllo e gestione automatici.
Questo è quello che possono fare oggi. Gli sviluppatori indiani hanno presentato un sistema in grado di creare brevi video da immagini sfocate. L'algoritmo funziona sulla base di reti neurali convoluzionali e ricorrenti e consente di trasformare gli artefatti da movimento nelle immagini in video brevi (fino a dieci fotogrammi).
Più dettagli …
Quando si visualizza un'immagine sfocata, una persona può completare mentalmente un'immagine di ciò che sta accadendo. Ad esempio, vedere una fotografia di un uccello con ali sfocate suggerisce che la sfocatura dell'immagine è dovuta ad artefatti nel movimento delle ali durante l'acquisizione. Per i sistemi di visione artificiale, tuttavia, questo compito è più difficile e la maggior parte dei metodi conosciuti mira solo a rimuovere artefatti da movimento e smussare i fotogrammi.
Gli scienziati dell'Indian Institute of Technology, guidati da AN Rajagopalan, hanno suggerito che una singola immagine sfocata potrebbe essere utilizzata per creare un intero breve video: cioè ripristinare il movimento originale dai suoi artefatti nell'immagine. Per fare ciò, hanno sviluppato un algoritmo basato su reti neurali convoluzionali, che vengono utilizzate attivamente per attività relative al riconoscimento automatico delle immagini, nonché reti neurali ricorrenti.
Il modello viene addestrato su un gran numero di video, che vengono suddivisi in frame. Dopodiché, la rete neurale cerca un frame di questo tipo, gli artefatti sui quali corrispondono maggiormente gli artefatti del frame campione di addestramento. Dopodiché, il decodificatore "ripristina" gli artefatti del frame campione di addestramento in movimento acquisito nel video. Pertanto, il modello memorizza i dati sui possibili movimenti recuperati da ciascun fotogramma sfocato disponibile nel campione di addestramento.
Video promozionale:
Come risultato del lavoro, la rete neurale produce video, ricostruito dall'immagine sfocata, costituito da dieci fotogrammi. L'algoritmo sviluppato, secondo i creatori, sarà in grado di aiutare in futuro a migliorare non solo il ripristino delle immagini sfocate, ma anche i video stessi.
La rimozione degli artefatti da movimento nei singoli fotogrammi può anche migliorare lo streaming video. Finora, a questo scopo, vengono utilizzati principalmente algoritmi per adattare il bitrate in base alla velocità del video e al suo buffering.
Elizaveta Ivtushok
