當(dāng)AI擁有“想象力”是一種什么樣的體驗(yàn)?

像左上角這樣，只給出一個(gè)凳子的椅座部分，AI就很快就腦補(bǔ)出了一張完整的三維椅子模型：

類似的，當(dāng)面對(duì)經(jīng)典的“用PS讓大象轉(zhuǎn)身”的甲方需求，我們拿到了這樣一張汽車屁股的照片：

AI也可以根據(jù)已有的局部信息，迅速推斷出缺失部分，并最終建模得到一個(gè)3D汽車模型。

這項(xiàng)研究成果來自深圳大學(xué)黃慧教授帶領(lǐng)的研究團(tuán)隊(duì)，其論文最近剛剛被計(jì)算機(jī)視覺領(lǐng)域的頂級(jí)會(huì)議CVPR 2022接收，論文的第一作者為深圳大學(xué)視覺計(jì)算中心的研究助理閆星光。

接下來，就來一起看看一張局部照片是如何一步一步變?yōu)檎w建模的。

一個(gè)完整的三維建模的形狀通常是通過相機(jī)探測和表面取樣獲得的，而局部照片就意味著只能從物體的可見部分獲得信息，導(dǎo)致了不同的采樣密度和缺失。

那么這時(shí)，就要通過觀察已有數(shù)據(jù)中的非局部的提示，使用各種形式的先驗(yàn)知識(shí)推斷出缺失部分。

于是，作者首先提出了一種矢量量化(Vector Quantization)的深度隱式函數(shù)(Deep Implicit Function)，VQDIF。

這是一種三維表示方法，可以將表面形狀洗漱地編碼為離散的二元組序列，每個(gè)序列代表一個(gè)局部特征的位置和內(nèi)容，也就是這樣一個(gè)過程：

其次，作者提出了一個(gè)基于Transformer的自回歸模型，ShapeFormer，基于上一步中生成的二元組序列，順序地預(yù)測出完整序列的分布。

這里的Transformer是2014年的一個(gè)模型，能夠利用注意力機(jī)制(Attention)來提高模型訓(xùn)練速度，最初一經(jīng)推出就在自然語言理解領(lǐng)域(NLP)取得了突破性進(jìn)展，近幾年也有不少將其應(yīng)用在計(jì)算機(jī)視覺領(lǐng)域(CV)的跨界研究。

而通過對(duì)上一步所預(yù)測出的分布進(jìn)行抽樣，可以得到不同的預(yù)測結(jié)果。

除了像桌椅這種平面形狀，AI也在訓(xùn)練中學(xué)會(huì)了對(duì)稱性、空心、填充等不少技能，因此也可以生成像是茶壺或水壺這樣的三維模型。

作者也在論文中表示，比起已有的許多三維圖像生成方法，ShapeFormer產(chǎn)生的結(jié)果可以保留更多的原圖細(xì)節(jié)。

同時(shí)，這種AI的“想象力”也極為豐富，比如面對(duì)人類這樣一個(gè)姿勢具有極大不確定性的生成目標(biāo)，作者從完整的模型中隨機(jī)選擇一小部分，而AI在保持觀察到身體部位的姿勢的前提下，還生成了多種可能的姿勢。

關(guān)鍵詞： AI想象力恐怖如斯 AI擁有想象力 AI擁有想象力是一種什么樣的體驗(yàn) AI想象力是什么