8月30日，由微新創(chuàng)想主辦的2023AIGC技術(shù)應(yīng)用大會在深圳舉行。本屆大會以“元載萬物·智啟新界”為主題，旨在聚焦AIGC技術(shù)的創(chuàng)新應(yīng)用，打造深入探索AIGC產(chǎn)業(yè)落地的交流平臺。

會上，加拿大工程院外籍院士、HiDream.ai創(chuàng)始人兼CEO梅濤先生發(fā)表《AIGC 掀起未來創(chuàng)意無限可能》主題演講，精彩觀點如下：

1. 我們用AI輔助動漫生成，并非想取代電影工業(yè)，而是希望通過 AI 的手段激發(fā)創(chuàng)作者的潛力和想象力，提高生產(chǎn)力，進一步降低成本。

2. 預(yù)計在 2025 年到 2026 年之間， AI 輔助創(chuàng)作的圖片和視頻的數(shù)量將會超過人類自己創(chuàng)作出的數(shù)量，這也就意味整個數(shù)字創(chuàng)意會被AIGC 所賦能。

3. 類似于自動駕駛，我們將AIGC的視覺創(chuàng)作能力可以分為5個檔次，目前仍處于從 L2 邁進 L3 的關(guān)鍵階段，未來還有很大發(fā)展空間。

4. 在AIGC涌現(xiàn)的時代，我們希望和有勇氣的創(chuàng)業(yè)者一起，構(gòu)建良好的生態(tài)，推動行業(yè)的發(fā)展。

以下為演講/對話內(nèi)容，由微新創(chuàng)想整理：

非常榮幸參加微新創(chuàng)想的活動，我今天將與大家探討生成式人工智能在數(shù)字創(chuàng)意方面的可能性及技術(shù)發(fā)展趨勢。

首先，我展示一部短片，這部短片是我們與北京電影學(xué)院的老師共同合作，其中所有的視頻、畫面、運鏡都是由我們HiDream.ai 的創(chuàng)作工具Pixeling 生成的，沒有用到任何第三方軟件。

用人工智能生成一部影片，大概分為以下幾步：腳本–分鏡–關(guān)鍵幀–鏡頭生成–視頻合成。相比于人工，借助AI工具制作影片的優(yōu)勢非常明顯，一個人一到兩個星期就可以完成；而若單純依靠人工制作這樣一部作品，從選角、場景到導(dǎo)演等環(huán)節(jié)，則至少需要一個月的時間。

AIGC重塑創(chuàng)意世界

我們用AI輔助動漫生成，并非想取代電影工業(yè)，而是希望可以提高效率、降低成本、提升創(chuàng)作體驗。今天聚焦視覺AIGC話題，我首先和大家分享兩個故事。

第一個故事是，一張AIGC生成的圖片，曾在去年登上美國一家著名的時尚雜志封面。在這張照片中，“在浩瀚的宇宙中，一位女性宇航員在火星上，昂首闊步地走向一個廣角鏡頭”所有關(guān)鍵詞都被完美展現(xiàn)出來，而人類繪制一張這樣的圖，至少要花費一兩個星期的時間。

另一個大家耳熟能詳?shù)墓适率牵环扇斯ぶ悄芄ぞ呱傻挠彤嬜髌罚@得了柯羅拉多州州立美術(shù)大獎，盡管引起了很多爭議。

以上兩個故事都在傳遞一個信號：AI 賦能藝術(shù)創(chuàng)作是大勢所趨。下圖所展示的數(shù)據(jù)也做出了預(yù)測↓

文藝復(fù)興時期，人類創(chuàng)造了幾十萬幅繪畫作品，但是留存下來的作品數(shù)量不到十萬。現(xiàn)在，人類每天在社交平臺上傳的圖片和視頻的數(shù)量超過十億。

在 2025 年到 2026 年之間， AI 輔助創(chuàng)作的圖片和視頻的數(shù)量將會超過人類自己創(chuàng)作出的數(shù)量，這也就意味整個數(shù)字創(chuàng)意會被AIGC 所賦能。

以世界名畫《戴珍珠耳環(huán)的少女》為例，17 世紀荷蘭畫家約翰內(nèi)斯·維米爾花了很長時間來創(chuàng)作這樣一幅作品。但在今天，AI 可以將這位少女置身于廚房、咖啡店、沙灘等不同場景，大大豐富了原作之外的畫面想象力。

生成式人工智能藝術(shù)創(chuàng)作的發(fā)展現(xiàn)狀及未來

類似于自動駕駛，我們將AIGC視覺能力和創(chuàng)作能力分為5個檔次：純?nèi)斯ぞ庉嫛鷦?chuàng)意創(chuàng)作工具→部分生產(chǎn)力創(chuàng)作工具→完全生產(chǎn)力創(chuàng)作工具→設(shè)計大師。目前我們仍處于從 L2 邁進 L3 的關(guān)鍵階段，未來還有很大發(fā)展空間。

事實上，從創(chuàng)意素材產(chǎn)生到進入整個工作流，還有很長的路要走。視覺生成領(lǐng)域要想創(chuàng)造出令人驚艷的作品，還面臨很多挑戰(zhàn)。

首先，在細節(jié)方面，我們經(jīng)常會遇到“恐怖谷效應(yīng)”，特別是手指，剛才在短片中，如果大家仔細觀察，會發(fā)現(xiàn)手指控制其實并不理想。

第二個難題是，究竟應(yīng)該用什么樣的prompt 才能發(fā)揮大模型的威力。

第三個難題是可控性問題，包括IP可控、人物可控和SKU可控。此外，在視頻制作中，還面臨不同鏡頭之間的連續(xù)性問題等諸多挑戰(zhàn)。

那么，視覺AIGC未來的想象空間到底有多大？有預(yù)測稱，GPT-4可能已經(jīng)達到了1.2萬億個參數(shù)，而GPT-5可能會更大。如果機器學(xué)習(xí)技術(shù)能夠在未來幾年，吸收和理解人類產(chǎn)生的高質(zhì)量語言數(shù)據(jù)，這種增長可能會迎來一個新的天花板。

圖片中紅色部分是視覺AIGC能力表現(xiàn)，無論是Imagen還是Stable Diffusion，模型參數(shù)基本在幾十億，處于GPT-2的時代。我們想突破這個瓶頸，探索一個基于視覺的多模態(tài)底層大模型，能讓視覺 AIGC從GPT-2時代進入到GPT-3時代。目前，我們自研的基礎(chǔ)模型的數(shù)據(jù)量級已經(jīng)達到60億，我相信，很快也將達到百億模型的目標(biāo)。

Pixeling：掀起未來創(chuàng)意無限可能

HiDream的產(chǎn)品Pixeling工具基于自研的生成式視覺多模態(tài)基礎(chǔ)模型而打造，支持各種不同模態(tài)之間的轉(zhuǎn)換，不僅支持文生圖、文生視頻、視頻編輯，還將支持圖片編輯、圖生視頻、圖生 3D 等功能。以圖片素材的生產(chǎn)的為例，涵蓋品牌調(diào)性、版權(quán)圖片、材質(zhì)特寫、模特換裝、商品攝影等多種類型，目前有 16 種不同的圖片風(fēng)格可供選擇。

Pixeling還支持文本生成視頻以及圖片生成視頻，包括大家在影片中看到的最難場景是一個宇航員在月球上行走的全景畫面，他還能夠轉(zhuǎn)一個彎，這其實是有難度的。除了背景運動外，我們還實現(xiàn)前景運動、人物運動和運鏡。此外，我們的產(chǎn)品最近在學(xué)習(xí)鏡頭語言，包括鏡頭構(gòu)圖、運鏡和剪輯等，希望為從業(yè)者提供一個更加節(jié)省時間，提升效率的創(chuàng)作工具。

在電商領(lǐng)域，Pixeling 能夠根據(jù)用戶提供的 SKU 圖片，結(jié)合給定的 prompt 和背景圖生成與背景無縫銜接的商品圖片；如果用戶沒有給定背景圖，我們也可以根據(jù)給定的 SKU 圖片結(jié)合輸入的多種 prompt 生成對應(yīng)的商品圖，幾秒鐘就可以完成。

產(chǎn)品問世不久，我們參加了香港中文大學(xué)發(fā)布的 HPS v2的文生圖模型客觀評測。該評測把包含繪畫風(fēng)格、概念藝術(shù)、動漫風(fēng)格以及真實圖片在內(nèi)的 3200個prompt分別放在不同文生圖模型里去驗證。Pixeling1.0版本的模型上線和模型訓(xùn)練僅用了大約三個月時間，經(jīng)過我們的測試，目前在該數(shù)據(jù)集的文生圖模型中排名第二。

當(dāng)然，Pixeling1.0版本現(xiàn)在的表現(xiàn)與最好的競品還是稍遜一籌，但它終究是三個月的baby，我相信它未來一定會成長得更好。十分贊同其他嘉賓提到的AIGC“落地為王”觀點，這也是我們今后努力的方向。

在AIGC涌現(xiàn)的時代，我們希望和有勇氣的創(chuàng)業(yè)者一起，構(gòu)建良好的生態(tài)，推動行業(yè)的發(fā)展。

再次感謝大家！