媒體報(bào)道 | 消費(fèi)級(jí)超寫實(shí)虛擬人，AI 時(shí)代的肉身
2023-07-14
消費(fèi)級(jí)虛擬人的“最后一公里”。
引言
畫面中心，一個(gè)身穿國(guó)風(fēng)服飾的女子從半空墜到幻境般的地面，一個(gè)男聲響起，“千年前，世人將你命名為天妤……”
這是去年4月發(fā)布的抖音和Tiktok短劇《千壁尋蹤》的開(kāi)場(chǎng)畫面，評(píng)論區(qū)的高贊評(píng)論是，“我愛(ài)這種眼妝！太美了！”
圖片天妤劇照
但天妤并不是一位美妝博主，而是中國(guó)首個(gè)出海的國(guó)風(fēng)超寫實(shí)虛擬數(shù)字人。以短劇女主角身份出道之后，天妤于今年年初成為壹心娛樂(lè)旗下“藝人”。她背后真正的創(chuàng)造者，則是近年專注于虛擬數(shù)字人賽道的上市公司天娛數(shù)科。
現(xiàn)在天娛數(shù)科想做的，是讓天妤這樣的超寫實(shí)虛擬人制作變得更便捷、成本更低，且能應(yīng)用到更廣泛的日常生活場(chǎng)景中。畢竟，不是每個(gè)人都能擁有3D掃描儀、基于計(jì)算機(jī)視覺(jué)或慣性動(dòng)作捕捉的專業(yè)級(jí)設(shè)備。
2023 年 7 月 4 日，天娛數(shù)科宣布與銀牛微電子成立合資公司。銀牛微電子以3D機(jī)器視覺(jué)和AI的底層硬件平臺(tái)實(shí)力見(jiàn)長(zhǎng)，天娛則在 AI 和軟件應(yīng)用層面有更豐富的積累，在軟硬件融合的背景下，雙方將共同研發(fā)面向元宇宙及空間計(jì)算應(yīng)用場(chǎng)景的便攜式 3D 視覺(jué)感知產(chǎn)品，以實(shí)現(xiàn)虛擬數(shù)字人低成本、短周期、批量化的生產(chǎn)制作，打造低延遲、高精度、沉浸式互動(dòng)體驗(yàn)，降低進(jìn)入元宇宙的門檻。
這也意味著，虛擬人從專業(yè)級(jí)完成消費(fèi)級(jí)的轉(zhuǎn)變，未來(lái)人人有一個(gè)自己的虛擬人數(shù)位分身，正加速成為現(xiàn)實(shí)。
當(dāng)“捏”一個(gè)虛擬人，就像拍照一樣簡(jiǎn)單
以傳統(tǒng)的底層架構(gòu)技術(shù)，打造一個(gè)超寫實(shí)的虛擬人耗時(shí)長(zhǎng)，過(guò)程也相對(duì)復(fù)雜，通常需要經(jīng)歷建模、驅(qū)動(dòng)和渲染三個(gè)主要階段。
天娛數(shù)科與銀牛微電子此次達(dá)成的戰(zhàn)略合作，初步規(guī)劃了三款產(chǎn)品，分別是 3D 深度相機(jī)、3D 攝像機(jī)和數(shù)字人 3D 數(shù)據(jù)采集系統(tǒng)。這三款產(chǎn)品，正好對(duì)應(yīng)了虛擬人制作的三個(gè)關(guān)鍵環(huán)節(jié)。
天娛數(shù)科旗下子公司元境科技創(chuàng)始人&CEO王智武早在 2016 年就入局了虛擬數(shù)字人賽道，他在 36 氪的直播訪談中表示，如果使用人工建模，考慮到中途反復(fù)修改等不確定因素，一般要花費(fèi)一兩個(gè)月甚至半年時(shí)間，成本也從幾十到上百萬(wàn)不等。天娛和銀牛共同開(kāi)發(fā)的這款 3D 深度相機(jī)，主要應(yīng)用于虛擬人掃描與自動(dòng)化建模，能優(yōu)化虛擬數(shù)字人的制作流程，降低生產(chǎn)周期，加速數(shù)字人低成本批量生產(chǎn)，為虛擬數(shù)字人的普及鋪平道路。
在半導(dǎo)體行業(yè)有著20年研發(fā)與管理經(jīng)驗(yàn)的銀牛微電子 CEO 錢哲弘談到，比起傳統(tǒng)相機(jī)掃描采集的 2D 數(shù)據(jù)，銀牛微電子自研的 3D 雙目立體視覺(jué)及多傳感器融合視覺(jué)處理的人工智能芯片，可以讓這款相機(jī)直接采集 3D 數(shù)據(jù)，節(jié)省了將 2D 轉(zhuǎn)為 3D 的算力資源和時(shí)間成本。
除了利好從業(yè)者，這款3D深度相機(jī)也將極大降低外行人的使用成本——無(wú)需學(xué)習(xí)操作界面復(fù)雜的三維軟件，像拍照一樣使用3D深度相機(jī)，“人人都可以成為建模師?！?/span>
回顧相機(jī)本身的發(fā)展歷程，從黑白到彩色，從膠卷時(shí)代到數(shù)碼時(shí)代，從低分辨率到高分辨率，再?gòu)?2D 到 3D，如今機(jī)器視覺(jué)能夠呈現(xiàn)的，早已不再是一張照片。AI 時(shí)代，3D 深度相機(jī)有望成為新的視覺(jué)前景。根據(jù) 36 氪此前的報(bào)道，工業(yè) 3D 視覺(jué)領(lǐng)域已有千億規(guī)模的市場(chǎng)。在智能升級(jí)的趨勢(shì)下，便攜、可手持的 3D 深度相機(jī)會(huì)出現(xiàn)更多非工業(yè)、生活化的場(chǎng)景應(yīng)用，譬如將 3D 深度相機(jī)集成到手機(jī)或消費(fèi)電子產(chǎn)品，幫助人們獲得更好的健身、游戲和娛樂(lè)體驗(yàn)。
更不用提未來(lái)的元宇宙，本就是一個(gè)天然的 3D 視覺(jué)互聯(lián)網(wǎng)。
跑向消費(fèi)級(jí)虛擬人的“最后一公里”
3D深度相機(jī)，只是天娛數(shù)科與銀牛微電子在虛擬人產(chǎn)業(yè)鏈發(fā)力的第一步。
在元境科技辦公區(qū)擺放的一排電腦顯示屏中，七八個(gè)主播正在直播間講解帶貨。如果不近前仔細(xì)辨別，甚至看不出他們是虛擬人。
和天妤這樣擁有“人設(shè)”的身份型虛擬人相比，直播間主播屬于服務(wù)型的虛擬人。最近幾年，時(shí)不時(shí)在手機(jī)上刷到個(gè)虛擬人不再令人驚奇。尤其是最近半年在生成式人工智能技術(shù)加持下，在直播、影視、時(shí)尚、傳媒、金融和文旅等領(lǐng)域，服務(wù)型虛擬人的身影開(kāi)始大量涌現(xiàn)，并有了比較成熟的商業(yè)化案例?！拔覀儜?yīng)用于電商直播場(chǎng)景的 AI 數(shù)字主播目前成本可控制在幾百元，真正幫助商家實(shí)現(xiàn)降本增效?！?王智武說(shuō)。
從1982年第一個(gè)虛擬偶像林明美誕生至今，虛擬人產(chǎn)業(yè)在 40 年間取得了巨大進(jìn)步，越來(lái)越多人都逐漸明確了虛擬人的巨大潛力，但它距離人人可用的“消費(fèi)級(jí)”似乎總差著最后一公里。
要想讓虛擬人在 C 端大規(guī)模應(yīng)用，除了低成本、短周期、能批量化生產(chǎn)，還要足夠好用和易用。天娛和銀牛共同開(kāi)發(fā)的 3D 攝像機(jī)，在“建模”、“驅(qū)動(dòng)”和應(yīng)用的便捷性上，進(jìn)一步提高了人們的想象空間。
“目前市面上已經(jīng)出現(xiàn)了一些 3D 設(shè)備，但難以普遍應(yīng)用，原因就在于還原度、分辨率和精度都不夠理想?！?銀牛微電子 CEO 錢哲弘表示，銀牛的技術(shù)可以保障3D圖像的高實(shí)時(shí)性、高分辨率和高精度。這次和天娛合作的3D 攝像機(jī)可以理解為是一款雙目攝像機(jī)，通過(guò)銀牛的自研芯片，做到延時(shí)小于1毫秒，分辨率高達(dá)1080p，并且精度達(dá)到亞毫米級(jí)。不同于傳統(tǒng)的2D轉(zhuǎn)3D的方式，這樣的技術(shù)可以使用戶在使用時(shí)能夠像人的雙眼一樣實(shí)時(shí)獲取完整的3D數(shù)據(jù)信息，時(shí)間成本呈幾何級(jí)數(shù)的下降，極大提升用戶體驗(yàn)。
銀牛3D點(diǎn)云直出與3D模型示意
錢哲弘還分享了動(dòng)漫行業(yè)的案例，“紅外相機(jī)的一個(gè)頭盔陣列基本在 10 萬(wàn)元左右，一個(gè)動(dòng)漫工作室可能只能買一套，一二十個(gè)動(dòng)漫師輪著用?！?借助銀牛的核心技術(shù)，可以做到僅用一顆功耗不超過(guò)1瓦的芯片，把3D 攝像機(jī)做成一個(gè)消費(fèi)端的手持式產(chǎn)品，并且能夠把成本降到數(shù)千元級(jí)別，對(duì) C 端用戶更加靈活友好，真正實(shí)現(xiàn)微型化、大眾化、低成本化數(shù)字人3D建模與表情實(shí)時(shí)驅(qū)動(dòng)設(shè)備的普及。
跟動(dòng)漫或游戲相比，超寫實(shí)虛擬人在表情、動(dòng)作和外形等細(xì)節(jié)所需的算力更多，而銀牛微電子已量產(chǎn)的自研核心芯片擁有3D視覺(jué)感知處理引擎，據(jù)其介紹，是目前全球唯一一款單芯片集成 3D 深度感知、AI（人工智能）、SLAM（實(shí)時(shí)定位與建模）的系統(tǒng)級(jí)芯片。得益于此，這款 3D深度傳感器在人臉識(shí)別、姿態(tài)、動(dòng)作和手勢(shì)識(shí)別方面，有很強(qiáng)的準(zhǔn)確度和細(xì)節(jié)捕捉能力。更重要的是，芯片和 3D 攝像機(jī)都能夠?qū)崿F(xiàn)批量化生產(chǎn)。
產(chǎn)品落地之后，不僅有助于提升相關(guān)產(chǎn)業(yè)的“人效比”，也將優(yōu)化原有行業(yè)的一些應(yīng)用場(chǎng)景——譬如中國(guó)數(shù)千萬(wàn)的游戲發(fā)燒友，可以通過(guò) 3D 攝像機(jī)將自己游戲時(shí)的表情、語(yǔ)音傳導(dǎo)到游戲角色中，獲得更沉浸的游戲體驗(yàn)。需要揣摩其他玩家神情、姿態(tài)的線上德?lián)?，便是一個(gè)典型案例。如果不愛(ài)玩德?lián)?，沒(méi)關(guān)系，在狼人殺或者劇本殺里你可能也用得著。
圖片從形似到神似，“AI+ 3D視覺(jué)+虛擬人”讓元宇宙更早到來(lái)
和生成式大模型需要大量高質(zhì)量的語(yǔ)料“喂養(yǎng)”類似，虛擬人完成從“形似”到“神似”的過(guò)渡，也需要大量的 3D 數(shù)據(jù)積累和訓(xùn)練，以實(shí)現(xiàn)數(shù)字人表情、動(dòng)作的智能生成，3D 數(shù)據(jù)采集系統(tǒng)的作用便在于此。
在規(guī)范的前提之下，用戶的動(dòng)作、表情等數(shù)據(jù)集，將形成天娛數(shù)科獨(dú)有的3D數(shù)據(jù)庫(kù)。并通過(guò)后續(xù)深度學(xué)習(xí)、訓(xùn)練，不斷豐富虛擬人的表情和動(dòng)作，避免出現(xiàn)市場(chǎng)上普遍存在的數(shù)字人形象呆板單一、同質(zhì)化，個(gè)性不鮮明等問(wèn)題。
元境科技創(chuàng)始人&CEO王智武表示，從互動(dòng)性看，目前虛擬人可分為三個(gè)階段：1.0 是靜態(tài)階段，生活在圖片或者視頻里；2.0，初步達(dá)到可交互形態(tài)；到 3.0 階段，進(jìn)入更全面的 AI 時(shí)代。和 2.0 時(shí)代相比，最近半年火熱的 AIGC 技術(shù)，加上天娛高質(zhì)量3D數(shù)據(jù)庫(kù)，能夠助推虛擬人在智能、互動(dòng)性的道路上更進(jìn)一步，更早地進(jìn)入 3.0 時(shí)代。
如果說(shuō)3D 相機(jī)和3D 攝影機(jī)這兩款產(chǎn)品，達(dá)成的是虛擬人與人之間的“形似”，那么天娛和銀牛研發(fā)的 3D 數(shù)據(jù)采集系統(tǒng)，完成的則是“神似”工程?！拔磥?lái)，兩款硬件設(shè)備都會(huì)內(nèi)嵌到元境科技現(xiàn)有的 MetaSurfing -元享智能云平臺(tái)。
MetaSurfing -元享智能云平臺(tái)虛擬人服務(wù)
當(dāng)技術(shù)的最后一點(diǎn)差距彌合之后，虛擬人從制作到應(yīng)用的每一個(gè)環(huán)節(jié)都將更加便利和敏捷。元享這樣的元宇宙平臺(tái)，除了推動(dòng)虛擬人走進(jìn)千行百業(yè)，還能讓每個(gè)人都能打造自己的虛擬人分身。把行為數(shù)據(jù)投喂給虛擬人，讓 ta 不斷理解你的需求，甚至幫你處理一些生活上的基本事物，比如家用電器的開(kāi)關(guān)、訂機(jī)票，陪自己或親朋聊天。而在天娛數(shù)科與銀牛微電子的強(qiáng)強(qiáng)聯(lián)合之下，錢哲弘表示，未來(lái)雙方在元宇宙社區(qū)的合作和開(kāi)發(fā)亦有廣闊的發(fā)展空間。
正如元境科技虛擬人Veena 日前在 36 氪直播間所說(shuō)，“未來(lái)的我可以作為虛擬化身出現(xiàn)在大家的 MR 眼鏡里，成為大家生活和工作的一部分。在書(shū)房里幫你找書(shū)，或者是在廚房的某個(gè)角落，提醒你今天要吃得健康。幫助每一個(gè)更好地實(shí)現(xiàn)自己的目標(biāo)和愿望?！?/span>
到那時(shí)，現(xiàn)實(shí)與元宇宙，顯然已經(jīng)不再那么涇渭分明。
小結(jié)
元宇宙最終要實(shí)現(xiàn)的，就是不同的個(gè)體在虛擬世界的交互。
隨著便攜式的 3D 視覺(jué)設(shè)備普及，元宇宙平臺(tái)級(jí)產(chǎn)品生態(tài)逐漸完善，擁有一個(gè)屬于自己的虛擬人數(shù)位分身，就會(huì)像擁有一個(gè)電腦或智能手機(jī)一樣稀松平常。
而當(dāng)你成為了自己的“中之人”，第二分身除了真的能替你做些工作之外，或許也會(huì)讓你發(fā)現(xiàn)另一個(gè)自己。