中央廣播電視總臺自成立以來,緊緊圍繞5G+4K/8K+AI戰(zhàn)略布局積極構(gòu)建媒體融合生產(chǎn)平臺,在底層技術(shù)方面建立了5G云平臺,主要包括總臺的新聞云和CMG媒體云,應(yīng)對不同的業(yè)務(wù)。4K/8K超高清技術(shù),在高清以前(含高清),我們都是跟隨美國、日本、歐洲,到了超高清時代,尤其是近幾年8K的發(fā)展,我們已經(jīng)開始引領(lǐng)超高清整個產(chǎn)業(yè)和行業(yè)發(fā)展。除了視頻之外,還有最新推出的三維菁彩聲。2023年7月,正式推出了央視聽媒體類大模型,這也是我們現(xiàn)在AI的底座?;谧猿闪⒁詠矶嗄甑姆e累,現(xiàn)在庫里面大概有148萬個小時的數(shù)字資產(chǎn),這些構(gòu)成了我們的技術(shù)底座。
在AI類領(lǐng)域的應(yīng)用包括兩大類,第一類是從2019年開始到2023年,針對判別式AI,像語音轉(zhuǎn)寫、視頻修復(fù),我們修復(fù)了很多經(jīng)典的老片,比如《紅樓夢》《西游記》。應(yīng)對體育的戰(zhàn)術(shù)分析系統(tǒng)、智能剪輯系統(tǒng)。第二類是自2023年大模型出現(xiàn)之后,開始傾向于AIGC,生成式AI的發(fā)展,在今年年初推出了中國首部AI動畫片《千秋詩頌》,針對文本類、動畫類、視音頻類的AIGC產(chǎn)品。第三類是在虛擬類,包括XR、AR、VR,基于XR之上推出了VP。在立體視覺類有6DoF自由視角、全息、大場景掃描、裸眼3D、云渲染等。
首先為大家介紹總臺超高清的發(fā)展??赡艽蠹彝ㄟ^電視屏幕、各類新媒體都已經(jīng)觀看到了,現(xiàn)在有全系列端到端自主研發(fā)的超高清制播系統(tǒng),成功支撐了各大晚會,包括新中國成立70周年閱兵、建黨100周年、北京冬奧會、總臺春晚,都是用的總臺自主研發(fā)的全流程超高清制播系統(tǒng)。
除了這些耳熟能詳?shù)膱鼍爸?,今天要給大家隆重介紹的是一個非常有意思的、有特殊場景的應(yīng)用,是我們跟中國載人航天工程辦公室聯(lián)合設(shè)計的中國空間站超高清影像系統(tǒng)。該系統(tǒng)主要包括兩部分,一是針對空間艙的艙內(nèi)和艙外進行超高清2D、3D、VR全系列全流程拍攝。二是以此為基礎(chǔ)構(gòu)建的數(shù)字影像資產(chǎn)庫,成功運用到總臺的《飛向月球》《你好火星》等一系列紀錄片制作,目前有更多的紀錄片正在制作當中。
科技+文化的結(jié)合是未來總臺努力的方向。用虛擬制片技術(shù)跟臺里的很多IP結(jié)合,這是《尋古中國》做的一系列嘗試。
XR最新的嘗試,在今年的春晚中跟虛擬特效+實時渲染的合成,舞蹈演員的整個軌跡、位置信息都可以通過大屏同步展示出來。還有跟VR的融合,可以在空間去作畫,這也是春晚當中的節(jié)目。XR現(xiàn)在已經(jīng)成為總臺在虛擬類最重要的技術(shù)。
這些技術(shù)怎么跟文化或文旅結(jié)合?XR可以做成簡短的小系統(tǒng),可以形成BOX,在著名的打卡點去布置,適合打卡。像VR類的線下大空間體驗,如把李白放到長安城,與現(xiàn)場觀眾互動。在VR大會中,我們跟江西文旅合作,發(fā)布了《王勃歸來》,圍繞王勃這個人物去打造IP形象,通過超寫實數(shù)字人和XR制作、大場景三維掃描復(fù)原了滕王閣,復(fù)原了王勃,構(gòu)建了一個文化元宇宙體系。
如何通過AI去完成一部動畫電影的制作?總臺現(xiàn)在正在制作中國首部AIGC動畫電影,里面主要解決3個問題。一是統(tǒng)一性,整場動畫當中得保證每一個人物是一致的。通過建立對象模型庫進行微調(diào),確保統(tǒng)一性。二是穩(wěn)定性。在使用AI過程中大家會發(fā)現(xiàn)AI生成非常不穩(wěn)定,我們通過大量的數(shù)據(jù)訓(xùn)練,形成了專屬的角色動作庫,實現(xiàn)了角色的演繹。三是整體的連貫性、敘事性問題。解決整場多鏡頭切換當中連貫性的問題。解決了這三個問題之后就對整個傳統(tǒng)動畫電影制作進行了重構(gòu)。我們知道動畫電影制作流程大概分13個環(huán)節(jié),用了AI之后減少到7個環(huán)節(jié),從原來的線性流程進展到并行協(xié)作,原來必須先做劇本創(chuàng)作再做角色設(shè)計,現(xiàn)在是劇本創(chuàng)作之后所有的中間流程都可以同步進行。
我們認為未來需要AGI(通用人工智能),當然更需要PAI,垂直領(lǐng)域的專業(yè)大模型,總臺已經(jīng)打造了央視聽媒體大模型,目前已經(jīng)試用了,包括四大模塊,包含文本、圖像、視頻和利用多智能體協(xié)同打造的自媒體庫,這是垂直領(lǐng)域的生成工具。