圖：7月8日，2021世界人工智能大會開幕，超過300家企業(yè)的眾多前沿人工智能技術(shù)與產(chǎn)品集中亮相。\新華社

　　從檢索圖像、描述視頻，到吟詩作賦、續(xù)寫文章，再到識別語音、雙語翻譯，虛擬人“小初”日前亮相2021世界人工智能大會，賦詩贊美天宮，解說火箭視頻，意會太空遨游，展示了圖、文、音三種模態(tài)的智能轉(zhuǎn)換和生成。這得益于一個名為“紫東太初”的跨模態(tài)通用人工智能平臺。該平臺由中國科學(xué)院自動化研究所研發(fā)，基于國產(chǎn)化基礎(chǔ)軟硬件，僅采用一個大模型，有效地提升機器的理解和生成能力，讓AI接近人類智力。

　　“小初，請以天宮為主題作首詩吧?”“天宮生殿開成，萬花垂露照初。稠云不掩國志，飛天當(dāng)觸明霞。”“你能看懂這個視頻嗎?”“視頻中，火箭正在發(fā)射。”“小初，圖片中航天員正在干什么?”

　　“航天員正穿著航天服站在機械臂上遨游太空。”……7月9日，在2021世界人工智能大會(WAIC2021)上，中國科學(xué)院自動化研究所所長徐波發(fā)布了自動化所研發(fā)的跨模態(tài)通用人工智能平臺──“紫東太初”。

　　圖文音全場景應(yīng)用 自動學(xué)習(xí)

　　“紫東太初”平臺是跨模態(tài)通用人工智能平臺，以多模態(tài)大模型為核心，基于全棧國產(chǎn)化基礎(chǔ)軟硬件平臺，可支撐全場景AI應(yīng)用。“所謂跨模態(tài)是指它可以理解語音、文字和圖片等多種模態(tài)信息;所謂全棧國產(chǎn)化是指這個平臺的底層算力、模型、框架等都是自主研發(fā)的。”徐波解釋道。

　　多種模態(tài)預(yù)訓(xùn)練模型被廣泛認(rèn)為是從限定領(lǐng)域的弱人工智能邁向通用人工智能路徑的探索。依托面向超大規(guī)模的高效分布式訓(xùn)練框架，自動化所構(gòu)建了具有業(yè)界領(lǐng)先性能的中文預(yù)訓(xùn)練模型、語音預(yù)訓(xùn)練模型、視覺預(yù)訓(xùn)練模型，并開拓性地通過跨模態(tài)語義關(guān)聯(lián)實現(xiàn)了視覺、文本、語音三種模態(tài)統(tǒng)一表示，構(gòu)建了三模態(tài)預(yù)訓(xùn)練大模型，賦予跨模態(tài)通用人工智能平臺多種核心能力。

　　徐波介紹，“紫東太初”兼具跨模態(tài)理解和生成能力。與單模態(tài)和圖片、文字兩種模態(tài)相比，“紫東太初”采用一個大模型就可以靈活支撐圖片、文字以及語音的全場景AI應(yīng)用，具有了在無監(jiān)督情況下多任務(wù)聯(lián)合學(xué)習(xí)、并快速遷移到不同領(lǐng)域數(shù)據(jù)的強大能力。

　　“引入語音模態(tài)后的多模態(tài)預(yù)訓(xùn)練模型，可實現(xiàn)共性圖片、語音和文字的空間表征和利用，并突破性地直接實現(xiàn)三模態(tài)的統(tǒng)一表示。”徐波說，特別值得強調(diào)的是，該平臺首次讓“以圖生音”和“以音生圖”成為現(xiàn)實，對更廣泛、更多樣的下游任務(wù)提供模型基礎(chǔ)支撐，讓AI能夠在視頻配音、語音播報、標(biāo)題摘要、海報創(chuàng)作等更多場景實現(xiàn)應(yīng)用。

　　改變單一范式 探AI研發(fā)新路徑

　　“‘紫東太初’跨模態(tài)通用人工智能平臺包括三大關(guān)鍵技術(shù)和六大核心能力。”徐波說，三大關(guān)鍵技術(shù)分別是多模態(tài)理解與生成多任務(wù)統(tǒng)一建模、面向國產(chǎn)化軟硬件的高效訓(xùn)練與部署、多模態(tài)預(yù)訓(xùn)練模型架構(gòu)設(shè)計與優(yōu)化。六大核心能力則體現(xiàn)為多模態(tài)統(tǒng)一表示與語義關(guān)聯(lián)、跨模態(tài)內(nèi)容轉(zhuǎn)化與生成、預(yù)訓(xùn)練模型網(wǎng)絡(luò)架構(gòu)設(shè)計、標(biāo)注受限自監(jiān)督模型學(xué)習(xí)、模型適配與分布式訓(xùn)練、模型輕量化與推理加速。徐波表示，“大數(shù)據(jù)+大模型+多模態(tài)”將改變當(dāng)前單一模型對應(yīng)單一任務(wù)的人工智能研發(fā)范式，多模態(tài)大模型將成為不同領(lǐng)域的共性平臺技術(shù)，是邁向通用人工智能路徑的探索，具有廣闊的應(yīng)用前景。