當50秒的無聲短片L'Arrivéed'un Train en gare de La Ciotat于1896年首映時,據報道,一些看戲的人為了安全而奔跑,認為一輛即將來臨的火車就在眼前沖破了銀幕。任何時候,都是Looney Tunes風格的??紤]到原始電影的模糊,低分辨率質量,這是一個瘋狂的想法。值得慶幸的是,那些驚慌失措的電影發(fā)燒友們從未見過Denis Shiryaev發(fā)行的AI增強版,或者說他們絕對會倒閉。
Shiryaev利用DAIN和Topaz Labs的Gigapixel AI兩個公開可用的增強程序,將原始素材轉換為4K 60FPS剪輯。根據Topaz Labs網站,Gigapixel AI使用專有的插值算法,可以“分析圖像并識別細節(jié)和結構并'完成'圖像”。實際上,Topaz教會了AI即使在將圖像放大多達600%之后也可以準確地銳化和澄清圖像。另一方面,DAIN可以想象并在現有視頻剪輯的關鍵幀之間插入幀。該概念與4K電視上的運動平滑功能相同,只有您的父母才能使用。但是,在這種情況下,它添加了足夠的幀以將速率提高到60 FPS。
這兩個都是升級技術的例子,自1998年第一臺高清電視投放市場以來,升級技術一直是廣播娛樂的重要組成部分。老式學校的標清電視以720x480分辨率顯示,可以一次顯示的內容總價值為345,600像素。高清晰度電視顯示的分辨率為1920×1080,即2,073,600總像素,是SD分辨率的六倍,而4K電視機(分辨率為3840x2160)則需要8,294,400像素。
您需要額外填充600萬像素以放大HD圖像以適合4K屏幕,因此升頻器必須弄清楚要顯示哪些像素。這就是內插過程的用處。內插基于周圍新像素的顯示來估計這些新像素中的每一個應顯示的內容。但是,有很多不同的方法可以用來衡量。
“最近鄰居”方法只是用與它們的最近鄰居相同的顏色填充空白像素(因此命名)。它簡單有效,但會產生鋸齒狀,明顯像素化的圖像。雙線性插值需要更多的處理能力,但它使電視能夠根據每個空白像素的兩個最近鄰居來分析每個空白像素,并在它們之間產生梯度,從而使圖像清晰。另一方面,雙三次插值從其16個最近鄰居中采樣。與原始圖像相比,通過結合雙線性和雙三次插值的結果,電視可以準確著色,但圖像仍然模糊,電視可以解決每個過程的缺陷,并生成光學質量下降(銳度和偶發(fā)偽像)損失最小的放大圖像。 。
由于插值過程本質上是一個猜謎游戲,為什么不讓AI做主呢?使用深度卷積神經網絡,諸如DAIN之類的程序可以分析和映射視??頻剪輯,然后在現有幀之間插入生成的填充圖像。
效果絕不是完美的。Engadget的視頻制作人Chris Schodt在仔細檢查后發(fā)現了許多視覺偽影,包括火車動蕩和行人融合。“簡而言之,它看起來像YouTube一樣大小,” Schodt告訴Engadget。“但是把它炸到全屏,我感覺前景物體和物體內部都還不錯,但是如果你看物體邊緣或背景物體,接縫會散開一些。”