| Font: Google. |
Recentment, investigadors de Google han desenvolupat una nova tècnica per sintetitzar una imatge borrosa en moviment, usant un parell d'imatges no borroses capturades successivament.
En el seu article, pre-publicat a arXiv , els investigadors van esbossar el seu enfocament i el van avaluar amb diversos mètodes de referència.
El desenfocament del moviment es produeix naturalment quan els objectes en una escena o la pròpia càmera es mouen a mesura que es pren una imatge. Això dóna lloc a que els objectes / objectes en moviment o la imatge sencera apareixin borrosa. En alguns casos, el desenfocament de moviment es pot utilitzar per indicar la velocitat d'un subjecte fotografiat o per separar-lo del fons.
El desenfocament de moviment és un signe valuós en el context de la comprensió de la imatge. Donada una sola imatge que conté un moviment borrós, es pot estimar la direcció relativa i la magnitud del moviment d'escena que va resultar en el desenfocament observat. Aquesta estimació de moviment pot ser semànticament significativa o pot ser utilitzada per un algoritme que es desprèn per sintetitzar una imatge nítida.
Investigacions recents han investigat l'ús d'algorismes d' aprenentatge profund per eliminar el desenfocament no desitjat de les imatges o per inferir la dinàmica de moviment d'una determinada escena. Per entrenar aquests algoritmes, els investigadors necessiten una gran quantitat de dades, que generalment es generen mitjançant imatges borroses sintètiques. Finalment, el grau en què un algoritme de deep-learning pot eliminar de manera efectiva el desenfocament de moviment en imatges reals, depèn molt del realisme de les dades sintètiques utilitzades per formar-lo.
 |
| Font:Newman |
L' arquitectura de la xarxa neuronal dissenyada per Brooks i Barron inclou una nova capa de "predicció de línia", que ensenya un sistema per tornar de parelles d'imatges preses consecutives a una imatge borrosa que s'estén al temps de captura d'aquestes dues imatges d'entrada. El seu model requereix una gran quantitat de dades de formació, de manera que els investigadors dissenyen i executen una estratègia que utilitza tècniques d'interpolació de marcs per generar un gran conjunt de dades sintètiques de imatges borroses en moviment, juntament amb els seus respectius insums.
Brooks i Barron també van capturar un conjunt d'assaigs d'alta qualitat d'imatges borroses de moviment real sintetitzades a partir de vídeos de càmera lenta i després van utilitzar això per avaluar el seu model contra les tècniques de referència. El seu model va aconseguir resultats molt prometedors, superant els plantejaments existents tant en precisió com en velocitat.
Aquest enfocament és ràpid, precís i utilitza imatges fàcilment disponibles a partir de vídeos o "explosions" com a entrada i, per tant, proporciona una ruta per a habilitar la manipulació del desenfocament del moviment en aplicacions de fotografies de consum i per a la síntesi de les dades de formació realistes necessàries per a l'estimació del desbloqueig o del moviment.
Tot i que elsexperimentats fotògrafs i els cinematògrafs sovint utilitzen el desenfocament del moviment com a efecte artístic, produir fotografies efectives de moviment borrós pot ser molt difícil. En la majoria dels casos, aquestes imatges són producte d'un llarg procés de prova i error, que requereix habilitats i equips avançats.
 |
| Font:wikimedia/commons |
Permetre que les imatges borroses de moviment es sintetitzin a partir de les imatges no-borroses convencionals que es capturen a les càmeres estàndard de consum, aquesta tècnica permet que els no experts creen imatges borroses de moviment en una configuració posterior a la captura.
En definitiva, l'enfocament ideat per Brooks i Barron podria tenir una sèrie d'aplicacions interessants. Per exemple, podria permetre el moviment artístic desenfocat pels fotògrafs amateurs, alhora que generarà imatges borroses en moviment més realistes per formar algorismes de deep-learning.
Cap comentari:
Publica un comentari a l'entrada