研究人員越來越多地使用AI將歷史鏡頭（例如阿波羅16號登月和1895年LumièreBrothers的電影“在La Ciotat站到達火車”）轉換為高分辨率，高幀率的視頻，看起來就像是用現(xiàn)代設備拍攝。對于保護主義者來說，這是一個福音，此外，可以將相同的技術應用于安全檢查，電視制作，電影制作和其他類似情況的錄像。為了簡化該過程，羅切斯特大學，東北大學和普渡大學的研究人員最近提出了一種框架，該框架可從低幀頻，低分辨率視頻生成高分辨率慢動作視頻。他們說他們的方法- 時空視頻超分辨率（STVSR） -不僅在質量和質量上都比現(xiàn)有方法更好，而且比以前的先進AI模型快三倍。
Honor 20 Pro：四鏡頭相機
在某些方面，它推動了Nvidia在2018年發(fā)布的工作，該工作描述了一種AI模型，該模型可以對任何視頻應用慢動作-無論視頻的幀頻如何。并且類似的高分辨率技術已經應用于視頻游戲領域。去年，《最終幻想》的粉絲們使用了一款售價100美元的名為AI Gigapixel的軟件來提高《最終幻想VII》背景的分辨率。
STVSR同時學習時間插值（即，如何在原始幀之間合成不存在的中間視頻幀）和空間超分辨率（如何從對應的參考幀及其相鄰支持幀中重建高分辨率幀）。此外，得益于伴隨的卷積長短期記憶模型，它能夠利用視頻上下文和時間對齊來從聚合特征中重建幀。
研究人員使用來自Vimeo的60,000多個7幀剪輯的數據集對STVSR進行了培訓，并使用單獨的評估語料庫劃分為快動作，中動作和慢動作集合，以測量各種條件下的性能。在實驗中，他們發(fā)現(xiàn)STVSR在快速動作的視頻上獲得了“顯著”的改進，包括那些具有挑戰(zhàn)性的動作（如籃球運動員在球場上快速移動）的視頻。此外，它展示了一種具有更精確圖像結構和更少模糊偽影的“視覺上吸引人”的幀重構的能力，同時又比基線模型小四倍，快至少兩倍。
“通過這種單階段設計，我們的網絡可以很好地探索任務中時間插值與空間超分辨率之間的內在聯(lián)系，” 預印本論文的合著者寫道?！八刮覀兊哪Ｐ湍軌蜻m應性學習以利用有用的本地和全局時間上下文來緩解大型運動問題。大量的實驗表明，我們的框架比現(xiàn)有網絡更有效，而且效率更高，并且所建議的特征時間插值網絡和可變形模型能夠處理非常具有挑戰(zhàn)性的快速運動視頻。”
本文由未艾信息（www.weainfo.net）編譯，
查看更多最新資訊，歡迎大家點擊閱讀原文登錄我們的AI社區(qū)。
關注我們的公眾號：為AI吶喊（weainahan），免費學習Python&人工智能！
