實驗教學在高校教學中占有非常重要的地位，但在教學過程中存在危險性實驗(例如：濃硫酸稀釋)、儀器昂貴(例如：高精度顯微鏡)、三維結構不易觀察(例如：心臟模型、物質的分子模型、數學幾何模型)等問題，使得實驗教學不易進行或被視頻及PPT所代替。為了解決實驗教學中存在的問題，科研人員將人機交互與虛擬現實技術用于實驗教學中，打造虛擬實驗教學系統(tǒng)。目前，多數用于實驗教學的系統(tǒng)存在智能性不足、交互不自然及實驗操作體驗感不足的問題。

　　王智杰是虛擬現實(VR)技術領域的杰出研究者，他專注于VR與多模態(tài)學習(Multimodal learning)交互技術的創(chuàng)新與應用，他的研究涵蓋了多模態(tài)融合方法、用戶意圖感知以及智能交互系統(tǒng)。多年來，他一直致力于通過自然交互提升虛擬現實體驗的沉浸感和智能性。面對當前在實驗教學中存在的問題，王智杰提出使用多模態(tài)融合方法感知用戶的意圖，極大地提升了虛擬現實系統(tǒng)的自然性和智能化水平。

　　王智杰認為，手勢識別作為多模態(tài)信息之一在交互過程中具有重要的作用，因此，提高手勢的識別率就是一個非常重要的科學問題。為此，他提出一種KEM動態(tài)手勢識別算法。該算法首先使用K-means聚類算法進行聚類，將高維數據進行降維。然后，將降維后的數據放入基于歐幾里得度量的模板匹配方法進行匹配，得到與所有模板匹配的距離。最后，根據匹配得到的距離識別出對應的手勢。使用該方法對常用的13種手勢進行測試，手勢識別率達到99.42%。他將該算法應用在數學立體幾何教學場景中，經測試，能夠達到較好的識別與交互效果。

圖：數據手套節(jié)點圖

圖：王智杰提出的模板匹配方法

　　在人機交互的過程中，以人為本是一項重要的設計原則，即以用戶為中心。因此，從用戶的行為表象中分析提取用戶大腦中的意圖就具有重要的科學意義。多模態(tài)信息相比于單一模態(tài)擁有更多的語義，與此同時也會產生大量的冗余。因此，建立多模態(tài)融合意圖感知模型就非常重要。王智杰提出兩個多模態(tài)融合模型用于解決意圖感知問題，即基于監(jiān)聽序列的多模態(tài)融合意圖感知方法(簡稱MF-GVM算法)和基于SVM和集合論的多模態(tài)融合意圖感知方法(簡稱MSSN算法)。與MF-GVM算法相比，MSSN算法能夠進一步感知用戶更為復雜的操作意圖，并且能夠更好的支持雙意圖的感知，因此其能夠較好的適用于操作更加復雜的實驗場景。

　　為了增強虛擬現實系統(tǒng)的智能性和沉浸感，王智杰還提出了基于監(jiān)聽序列的多模態(tài)融合意圖感知方法的生物實驗系統(tǒng)(簡稱MF-GVM系統(tǒng))。該系統(tǒng)支持用戶通過手勢與語音融合的方式與系統(tǒng)進行自然交互，使用戶擺脫了鼠標鍵盤及手柄的束縛，增強了虛擬現實的沉浸感。此外，該系統(tǒng)使用了基于監(jiān)聽序列的多模態(tài)融合算法，能夠識別用戶較為簡單的交互意圖，從而彌補了虛擬實驗系統(tǒng)智能性不足的缺陷，使用戶獲得更便捷和更自然的交互體驗。

圖：實驗效果顯示交互體驗優(yōu)良

　　為了進一步感知用戶更加復雜的操作意圖并進一步提高實驗的真實操作感，王智杰提出基于SVM和集合論的多模態(tài)融合意圖感知方法的化學實驗系統(tǒng)(簡稱MSSN系統(tǒng))。該系統(tǒng)首先能夠通過其核心的MSSN算法感知用戶較為復雜的意圖，從而進一步提升系統(tǒng)的智能性。然后，其為用戶提供一套實驗仿真設備，用戶可以使用這套實驗仿真設備進行實驗。這種實驗方法最大程度的還原真實實驗，既避免了危險實驗的危害，又能夠培養(yǎng)用戶的動手能力，達到實驗教學的目的。最后，多模態(tài)自然交互方式能夠帶給用戶更強的體驗感，導航式交互模式能夠在實驗全程對用戶進行引導，因此能夠更好的支持探究性實驗并提高用戶的實驗效率。

　　王智杰認為，通過多模態(tài)意圖感知方法，不但能彌補虛擬試驗智能性不足的問題，而且能夠通過自然交互的方式擺脫鼠標鍵盤及手柄的束縛，還原人手強大的功能。此外，在融入基于實驗仿真設備的觸覺模態(tài)信息后，還能夠極大的增強用戶的實驗操作感，培養(yǎng)用戶的動手能力。盡管王智杰團隊已在這一領域取得了重要進展，但他也指出，現有方法仍有改進空間，特別是在數據庫和知識庫的設計上。未來的工作應進一步探尋對數據庫和知識庫依賴更少、算法性能更優(yōu)的多模態(tài)融合方法并努力將多模態(tài)融合意圖感知算法應用于更多的實驗教學學科中。 (文/林龍青)