繼在2019網(wǎng)絡春晚中出現(xiàn)的與撒貝寧十分相似的虛擬主持人“小小撒”之后，近期播出的《2019主持人大賽》也引入了一項虛擬形象生成技術——“在線大眾評審”。大賽主持人撒貝寧說，這個節(jié)目最大亮點是智能大眾評委席，通過個性化人工智能(Personal AI)，每位智能大眾評委身后都是一個真實的自己，即這些在線評審的虛擬形象均根據(jù)真人評審生成、在線完成評審。
個性化人工智能技術是如何實現(xiàn)的?科技日報記者近日采訪到獨家支持這項“黑科技”的相關負責人。
通過自拍圖片幾秒生成虛擬形象
在節(jié)目現(xiàn)場，400名在線大眾評審通過手機客戶端自拍，即能獲得屬于自己的三維虛擬形象，當大眾評審在線收看節(jié)目并對選手打分時，三維虛擬形象可代表其出現(xiàn)在千里之外的演播室大廳的虛擬觀眾席上，“觀看”時還會像真人一樣富有表情且輕微搖擺身體……
“目前我們可以實現(xiàn)通過一個人的單張自拍圖片，幾秒鐘即可生成三維虛擬人形象。”美國南加州大學博士、偶邦智能首席科學家王睿哲說。
據(jù)介紹，一般傳統(tǒng)算法試圖使用一個光學成像模型來反推可以解釋當前自拍的最佳人臉形狀，這種方法的弊端是：假設的光學成像模型過于簡單，無法真正模擬現(xiàn)實中人臉與光影交互的復雜情況;缺乏大量的三維人臉數(shù)據(jù)模型，很難有效訓練一個深度學習模型。
針對這種情況，“在算法上可以采用視覺特效技術，從一個較小的三維人臉數(shù)據(jù)庫，合成大量高精度的人臉自拍圖片用于訓練深度學習模型，然后利用遷移學習技術，把在數(shù)百萬張圖片上訓練的人臉識別網(wǎng)絡進一步精化訓練，接著利用基于對抗神經(jīng)網(wǎng)絡的圖片風格遷移技術，對自拍照去光影。”王睿哲說。
在效果上，這種單張自拍虛擬人生成技術可實現(xiàn)高相似度低面數(shù)的人臉幾何形狀，有效通過手機端形成高分辨率且去光影的人臉貼圖，可以在各種不同光影下進行融入場景的逼真渲染。
形成在線大眾評審的虛擬人像，除了建立及維護每位在線大眾評審的形象模型之外，技術團隊還利用了實時面部追蹤技術和面部識別技術保證評審的連線效果，并對現(xiàn)場形象各異的大眾評審3D形象進行實時渲染。
那么，如何做到讓虛擬人臉部如真人一樣富有生動表情和動作呢?王睿哲表示，可以通過面部動作捕捉技術實現(xiàn)。首先利用隨機森林算法實時在人臉定位特征點，即臉部輪廓，五官如眉毛、眼睛、鼻子和嘴角等，然后算法利用這些特征點進而逆向推導出一個通用面部肌肉運動模型參數(shù)，用于驅(qū)動用戶的虛擬人模型，實現(xiàn)虛擬人與真實人面部動作同步的效果。
催生新型互動生活消費模式
據(jù)介紹，為了實現(xiàn)數(shù)百個虛擬人的實時渲染效果，團隊對每個模型的服裝，頭發(fā)等進行大量減面數(shù)的優(yōu)化處理。還采用了陰影預處理技術減少實時渲染的負荷，不同細節(jié)技術即近景采用高細節(jié)渲染，遠景采用低細節(jié)渲染，以節(jié)省渲染運算成本。
“世界將因為人工智能技術變得更近更平。我們正在嘗試實現(xiàn)每個人都能擁有個人專屬的智能虛擬形象，仿佛在平行世界里擁有另一個智能化的自己。通過智能虛擬觀眾席的系統(tǒng)，即使是在世界各地的人，都可以出現(xiàn)在任何一個國家的電視、互聯(lián)網(wǎng)屏幕上，與當?shù)赜^眾進行沉浸式互動。不僅如此，那個虛擬數(shù)字形象的他(她)長得像用戶本人，還能在一定時間內(nèi)自我完善和進化，如在聲音特征上學習用戶，最終達到逼真的狀態(tài)。”偶邦智能CEO鄭毅表示。
據(jù)介紹，在電視節(jié)目中，除虛擬形象設計以外，人工智能在大眾娛樂行業(yè)的應用還包括內(nèi)容制作階段的選角、策劃、拍攝、剪輯，觀眾觀看階段的算法推送、面部識別、機器學習以及將影視娛樂產(chǎn)品變現(xiàn)階段的算法推送及分析等。
鄭毅說，智能虛擬人技術不僅可以通過AI技術驅(qū)動虛擬人的表情和動作，降低視頻內(nèi)容的制作成本，而且通過推出有人設的智能虛擬人，像虛擬主持人、虛擬主播、專屬的企業(yè)虛擬代言人等，可以延展工作時長，提高產(chǎn)能，創(chuàng)造新的數(shù)字經(jīng)濟價值。
比如，有相關證券機構已經(jīng)定制專屬的虛擬代言人，通過快速制作互動短視頻，為投資者提供投資者教育等服務。在5G和AI構建的數(shù)字經(jīng)濟里，智能虛擬人不但可以降低成本，更令人關注的是其正在催生新型互動生活消費模式的出現(xiàn)。
鄭毅表示，人機共生時代新互動生態(tài)體系的構建，讓生活變得更高效、有趣，為用戶帶來前所未有的虛擬社交體驗。AI虛擬形象不僅是用戶的高智能分身，可以幫忙打理各種事情，甚至在不久的將來，虛擬人或許能夠有助人們在人間留住已故親人或摯愛的生動形象，從某種意義上講，讓人類獲得“永生”。(華 凌)
