Epizód
Visual Dynamics: Probabilistic Future Frame Synthesis via Cross Convolutional Networks
nevű és Tianfan Xue
Azt a problémát tanulmányozzuk, hogy egy bemeneti képből valószínűleg több jövőbeli képkockát kell szintetizálni. Ellentétben a hagyományos módszerekkel, amelyek determinisztikus vagy nem parametrikus módon oldják meg ezt a problémát, új megközelítést javasolunk, amely valószínűség szerint modellezi a jövőbeli kereteket. A javasolt módszer így több lehetséges következő képkockát is képes szintetizálni ugyanazzal a modellel. A kihívást jelentő probléma megoldásához alacsony és magas szintű kép- és mozgásfelismerés szükséges a sikeres képszintézishez. Itt egy új hálózati struktúrát, nevezetesen egy konvolúciós kereszthálózatot javasolunk, amely a képeket funkciótérképekként és mozgásinformációkként konvolúciós kernelként kódolja a jövőbeli keretek szintetizálásához. A kísérletek során a modellünk jól teljesít mind a szintetikus adatokon, például a 2D alakzatokon és az animált játék spriteseken, mind a valós videóadatokon. Bemutatjuk, hogy modellünk alkalmazható olyan feladatokra is, mint a vizuális analógia-készítés, valamint a tanult hálózati reprezentációk jelenlegi elemzése.
Azt a problémát tanulmányozzuk, hogy egy bemeneti képből valószínűleg több jövőbeli képkockát kell szintetizálni. Ellentétben a hagyományos módszerekkel, amelyek determinisztikus vagy nem parametrikus módon oldják meg ezt a problémát, új megközelítést javasolunk, amely valószínűség szerint modellezi a jövőbeli kereteket. A javasolt módszer így több lehetséges következő képkockát is képes szintetizálni ugyanazzal a modellel. A kihívást jelentő probléma megoldásához alacsony és magas szintű kép- és mozgásfelismerés szükséges a sikeres képszintézishez. Itt egy új hálózati struktúrát, nevezetesen egy konvolúciós kereszthálózatot javasolunk, amely a képeket funkciótérképekként és mozgásinformációkként konvolúciós kernelként kódolja a jövőbeli keretek szintetizálásához. A kísérletek során a modellünk jól teljesít mind a szintetikus adatokon, például a 2D alakzatokon és az animált játék spriteseken, mind a valós videóadatokon. Bemutatjuk, hogy modellünk alkalmazható olyan feladatokra is, mint a vizuális analógia-készítés, valamint a tanult hálózati reprezentációk jelenlegi elemzése.
Visszajelzés küldene? Problémát itt küldhet be.