近日,網(wǎng)易互娛AI Lab與廣東省知名報(bào)刊媒體《羊城晚報(bào)》攜手,正式推出了《羊城晚報(bào)》“真人AI合成主播”——羊小晚(女)和羊小派(男),他們也是廣東媒體首個(gè)視頻類真人AI合成新聞主播。

《羊城晚報(bào)》的兩位AI合成主播都是以媒體記者的真人形象為原型,他們不僅容貌高度還原真人,口型也能夠與輸入的音頻精準(zhǔn)匹配。而在這堪比專業(yè)主播的表現(xiàn)力背后,匯集了網(wǎng)易互娛AI Lab在虛擬人制作方面一系列前沿的人工智能技術(shù)。首先,網(wǎng)易互娛AI Lab通過面部運(yùn)動(dòng)捕捉、三維人臉模型重建、延遲神經(jīng)渲染等技術(shù),快速生成與真人形象無異的數(shù)字人模型;再結(jié)合語(yǔ)音、圖像等多模態(tài)信息聯(lián)合進(jìn)行建模訓(xùn)練,就能讓AI合成主播的唇動(dòng)與語(yǔ)音完美契合,實(shí)現(xiàn)自然流暢的新聞播報(bào)。該系統(tǒng)還能適配中、英、日、韓等多種語(yǔ)言情境,滿足國(guó)際化內(nèi)容輸出的多樣化需求。

憑借網(wǎng)易互娛AI Lab在虛擬人形象定制和內(nèi)容智能化生產(chǎn)方面的領(lǐng)先技術(shù),該系統(tǒng)只需輸入文本或音頻,即可在幾分鐘內(nèi)快速生成AI合成主播的新聞播報(bào)視頻,在降低制作成本、豐富傳播形式的同時(shí),極大地提升了新聞內(nèi)容的生產(chǎn)效率。此外,該系統(tǒng)可以24小時(shí)運(yùn)作,不受體力、時(shí)間和空間的限制,能確保播讀時(shí)不出錯(cuò),提高了報(bào)道的時(shí)效性與質(zhì)量。

隨著互聯(lián)網(wǎng)與信息技術(shù)的發(fā)展,新聞業(yè)正發(fā)生著顛覆性的變化,不論從新聞傳遞的及時(shí)性還是表現(xiàn)形式的差異化等方面,新聞生產(chǎn)都面臨著更高的要求與挑戰(zhàn)。AI主播的出現(xiàn),在為傳統(tǒng)紙媒讀者們帶來全新視聽體驗(yàn)的同時(shí),將以更加高效智能的內(nèi)容自動(dòng)化生產(chǎn)方式替代過去主要依賴人力來完成的新聞制作環(huán)節(jié),助力傳統(tǒng)媒體融合轉(zhuǎn)型,推動(dòng)新聞生產(chǎn)的智慧化變革。

此次與《羊城晚報(bào)》聯(lián)合推出AI合成主播,只是網(wǎng)易互娛AI Lab虛擬人技術(shù)的眾多落地案例之一,其相關(guān)技術(shù)早在虛擬主播、虛擬主持等多個(gè)應(yīng)用場(chǎng)景開花結(jié)果,例如2021浙江衛(wèi)視跨年晚會(huì)過場(chǎng)動(dòng)畫中的虛擬助手、2021 N.Game游戲?qū)W院峰會(huì)虛擬主持以及《第五人格》嗶哩嗶哩禿禿杯虛擬主播等背后,都有網(wǎng)易互娛AI Lab的技術(shù)支持。

除了完善的虛擬人技術(shù),網(wǎng)易互娛AI Lab作為游戲行業(yè)領(lǐng)先的人工智能實(shí)驗(yàn)室,在游戲AI、語(yǔ)音語(yǔ)言處理研究和計(jì)算機(jī)視覺和3D視覺研究領(lǐng)域也擁有豐富的產(chǎn)品和落地成果。同時(shí),他們也深耕學(xué)術(shù)研發(fā)與創(chuàng)新,不僅橫掃了ACCV、INTERSPEECH、IJCAI等國(guó)際人工智能頂會(huì)的冠軍,其研究成果還被SIGGRAPH、AAAI、GDC等國(guó)際頂級(jí)學(xué)術(shù)會(huì)議或行業(yè)大會(huì)收錄。未來,隨著落地經(jīng)驗(yàn)的不斷累積和技術(shù)的突破創(chuàng)新,網(wǎng)易互娛AI Lab也會(huì)不斷致力于將AI技術(shù)與傳媒、文娛、教育、金融等更廣泛領(lǐng)域的融合,為智慧化生活的未來場(chǎng)景開辟新的空間。

關(guān)鍵詞： 語(yǔ)音 人工智能 視頻 Lab 真人