人工智能學習梵高風格 泡製視頻動畫
20160511
東網電視
更多新聞短片
梵高的畫作《星夜》。
人工智能(AI)現在能學梵高做動畫了，而且想畫甚麼就畫甚麼。據《麻省理工科技評論》報道，近期德國研究人員利用深度神經網絡成功提取了知名畫家的藝術風格，並將這些風格應用至視頻。如果這項技術得到推廣，那麼普通人手機拍攝的視頻也可以被渲染為這些大師的風格。
報道指，大部分人都說不清藝術風格究竟是甚麼。但想想梵高的《星夜》、畢加索的立體主義，以及蒙克(Edward Munch)的《吶喊》，普通人可以很容易看出，這些作品有著各自不同的風格。
那麼機械能否知道，甚麼是藝術風格？隨著深度神經網絡的發展，機器識別世界、表達世界的方式也在改變。在對象識別和人臉識別等領域，機器的表現比人類更出色，而幾年前這還無法想像。
近期，機械已可以識別藝術風格，甚至重現這些藝術風格。這種技術有多麼強大？例如，這種技術能否將某幅畫作的藝術風格直接複製到一段視頻中，同時不留下矯揉造作的痕跡，破壞視覺體驗？
德國弗萊堡大學盧德(Manuel Ruder)和他的同事已經證明，這完全有可能。研究人員拿來了《星夜》和《吶喊》等知名畫作，將這些作品的風格整體移植至一系列視頻中。這些視頻來自《冰河時代》等電影和《馬普爾小姐探案》等電視劇。機器對這些視頻進行了重新渲染，這甚至能實現任何可以想到的藝術風格。
深度神經網絡由多層模擬神經元組成，每層都能從圖像中提取信息，並將數據傳遞給下一層。最初的幾層能提取泛意的模式，而更深的幾層能提取更多細節，從而實現對象識別。
更深幾層模擬神經元提取的信息很重要，這其中包括了圖像的細節，但除去了顏色和材質等環境信息。可以認為，這就像是計算機看到的素描畫。
去年，德國圖賓根大學蓋提斯(Leon Gatys)及其同事開始以這種方式來研究藝術風格。他們發現，對藝術風格的把握並非來自每層神經元獲得的信息，而是各層之間的相關性。某位藝術家畫肖像的方式與畫植物、馬匹和太陽的方式有一定的相關性。找出這樣的相關性就意味著找到了藝術風格。
不過，他們最重要的發現在於，畫面內容可以與藝術風格毫不相關。此外他們還發現，可以提取這樣的藝術風格，將其應用到畫面的內容之中。
基於這一概念，你可以找出俄羅斯藝術家康定斯基的風格，並將其應用在自己的小貓畫像上。這很有趣，但問題在於這項技術有多強大。
顯而易見的下一步研究在於，如何將某種藝術風格應用至連續的畫面，從而完成視頻渲染。這方面的問題是，在應用新的藝術風格後，連續幀之間的細微差別可能會被放大，這就導致視頻有很強的跳躍感，變得不連貫。尤其需要特別處理的是移動中，或是被擋住的物體邊緣。
目前，盧德和他的團隊已經解決了這一問題。他們表示：「在獲得一幅畫作之後，我們可以將其中的風格應用至整個視頻。」他們的方法是利用算法去分析連續幀之間的差別，避免差別被放大。與此同時，他們會忽略畫面中此前被擋住，但隨後逐步顯現的區域。他們表示：「這意味著重建被擋住的區域和扭曲的運動邊界，同時保持畫面其他部分的呈現方式。」
他們取得的成果令人滿意。該團隊利用算法提取了康定斯基、畢加索、馬蒂斯、蒙克和梵高等人作品的藝術風格。
隨後，他們對分辨率1024x436的視頻進行了逐幀處理，硬件為英偉達Titan X GPU以及用於並行處理的CPU。最開始，處理一幀需要8分鐘時間，但在經過優化後，處理一幀的時間可以降至3分鐘。因此整個過程需要大量的計算。
從完成的視頻中我們可以直觀地看到該團隊的成果。他們重新渲染了多部電影、動畫片，以及電視劇。這一技術目前仍有待優化。如果幀與幀之間有著很大的移動，那麼算法處理起來會很困難。此外，這一算法還可以通過優化去縮短計算時間。不過目前來看，這些問題都不會成為障礙。
目前尚不清楚，這一技術將會走向何方。不難想像，如果通過雲計算平台提供這項技術，那麼普通用戶就可以對手機內的視頻進行渲染。不過，是否有可能將《吶喊》的風格複製到三維空間，應用至虛擬現實環境？這完全有可能。
這將帶來電影拍攝的全新方式，同時也將變革藝術創作。當藝術風格變成通用商品，可以被隨意複製之後，藝術作品本身的意義將是什麼？可以想像，用戶可以編輯這些風格，甚至將多種風格組合在一起，例如魯本斯和畢加索的組合，或是沃霍爾和莫奈的組合。
─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─
「東網Money18」fb專頁：有討論、有分析，齊來FUN享，贏盡●你Like