人們不僅可以通過觸屏、語音，而是可以使用手勢、肢體等多種模態與機器（如手機、AR眼鏡等）進行交互。而機器的輸出更是現實和虛擬的疊加融合。
AR技術的逐漸成熟，帶來了AR應用市場的繁榮，特別在手機這一相對成熟的載體上，各類基於AR互動的應用層出不窮，給人們帶來了全新的交互體驗。然而，伴隨視覺上二維到三維的轉換，交互方式從點觸到手勢，交互對象從人-機二者互動到人-機-環境三者融合，給人們嘗試和持續使用AR應用造成了門檻，為AR交互的體驗也帶來了影響。為此，如何降低用戶使用門檻、填補認知空白、優化使用初體驗，成為當前階段AR交互設計的關鍵。
百度AI交互設計院聯合百度AR團隊，推出《手機端空間級AR交互設計指南》，在2019年7月4日剛剛結束的Create2019百度開發者大會AR公開課上發佈要點，以下刊載全文。
本指南適用於AR設計師、產品與技術人員。
研究導讀
01 AR交互的分類
02 AR交互用戶體驗地圖研究
03 AR交互用戶體驗地圖解讀
04 整體建議
01 AR交互的分類
按照交互硬件及交互距離兩個維度，AR交互可作以下分類。如圖1：
按照AR交互的硬件設備分為手機端AR和頭戴式AR。手機端AR指用戶以手機屏幕為交互界面，進行AR交互體驗。頭戴式AR目前以AR眼鏡為主要載體，以及少量紙盒AR及AR頭盔。
按照AR場景中人與虛擬模型距離的遠近與交互內容的差異，AR交互可分為三類，分別調用了不同的底層技術。具體為：
1.人體級AR
定義：用戶與人臉/人體相關對象進行AR體驗與內容交互。包括人臉特效、肢體特效、手勢特效等。如圖2。
應用舉例：如各類相機貼紙類應用。
2.空間級AR
定義：用戶可在其所處空間內的場景/物體進行AR交互。比如在桌面、地面放置物體、傢具、模型、人物/動物等，並與之交互。由於其交互內容的多元性和具備一定的空間拓展性，可以生成的AR交互模式很多，因此也是目前應用最為廣泛的AR應用。
應用舉例：如教育知識類展示型AR、遊戲互動型AR、家居測距等功能型AR等，如圖3。
3.環境級AR
定義：用戶可與物理世界裡的大場景進行AR體驗與內容交互。
應用舉例：百度地圖-圓明園大水法復原。如圖4。
02 AR交互用戶體驗地圖研究
上述兩種分類維度可交叉出多種AR交互類型，其中手機端AR因無須用戶購買專業AR設備，僅需在手機上下載app便可體驗，且場景內容豐富，可玩性較高，成為用戶接觸AR的敲門磚。
與此同時，廣大開發者紛紛投入此領域進行開發。但是，伴隨視覺上二維到三維的轉換，交互方式從點觸到手勢，交互對象從人-機二者互動到人-機-環境三者融合，目前的AR交互體驗良莠不齊，存在設計粗糙、用戶認知門檻高、易出錯等問題。為此，如何降低用戶使用門檻、填補認知空白、優化使用初體驗，成為當前階段AR交互設計的關鍵。
基於此，百度AI交互設計院與百度AR團隊合作，圍繞手機端空間級AR開展了包括認知走查、專家訪談、用戶可用性測試、用戶體驗地圖等多維度的研究，輸出體驗地圖，並基於體驗地圖當中每個體驗要素的設計建議，輔助案例進行解釋說明。
03 AR交互用戶體驗地圖解讀
AR交互可總結為7大環節，包括內容引導、模型選擇、模型加載、環境識別、模型放置、模型調整、模型互動等，共24個體驗要素，如圖5。
下文將詳細解析每個環節下的體驗要點以及設計指南。
環節一：內容引導
內容引導也可以稱為初始引導或啟動引導。作為AR體驗的第一個環節，起着將用戶帶入AR體驗情境，為用戶建立預期，填補用戶認知空白等重要作用。此環節以引導用戶開啟攝像頭，作為標誌性結束。
1.體驗要點
這個環節用戶所需的操作和其它手機app類似，需要逐步點擊瀏覽。
在這個過程中，用戶會受手機端APP操作習慣的影響，習慣性快速點擊跳過或直接關閉，不看引導。
對於有特殊空間要求，如需要空間比較大，或針對特定人群（如兒童）的AR應用，空間提醒和安全警告是必要的。而對於AR的新手用戶，引導還起到用戶教育、培養預期的作用。用戶如果在此環節沒有建立起合理預期，就會對AR交互需要調用手機攝像頭存在疑惑，或在後續使用中出現遮擋攝像頭的情況。
2.設計指南
此環節有引導內容、引導形式2個體驗要素，涉及5條設計指南。
①幫助用戶了解應用的目標和功能
讓用戶對AR應用的總體目標和功能有大致了解，互動類應用可簡單交代故事背景；具體操作引導可以在後續環節中詳細介紹。
②為新用戶設置專門的新手引導
對於新手用戶，需進行較為詳細的引導，並設置可以跳過的選項；經驗用戶則直接快速進入正式的AR體驗。
③若需要用戶較大幅度移動，應告知場地需求和安全須知
用戶認為所需場地的提醒和安全警告有必要存在，尤其對於特殊人群（老人、小孩）。
④使用圖文結合內容引導，讓用戶更容易理解
避免使用純文字進行引導，用戶認為該形式的引導不夠直觀、簡潔。
⑤可以通過音效烘托氣氛，增強代入感
音效提前烘托AR場景氣氛，幫助用戶代入體驗場景。
環節二：模型選擇
模型選擇是用戶在AR體驗中第一次與虛擬模型的建立聯繫的環節。
1 體驗要點
用戶需要做的操作是：點擊模型選擇入口、瀏覽、點擊選中模型。
如果用戶沒有在內容引導環節建立起操作預期（且如果這個環節的操作引導不足），可能出現兩種問題。一是自行嘗試性點擊，比如會點最顯眼的按鈕。但在很多案例中，屏幕底部中間最大的操作按鈕實際是拍照按鈕，導致用戶常常發生錯誤。二是直接操作模型，把模型直接拖到屏幕中央，卻不成功。這是因為對於AR交互來說，用戶需要先讓手機進行環境識別後才能放置物體。為此，在此環節的操作引導，仍然十分關鍵。
2 設計指南
此環節包括操作引導、選擇形式2個體驗要素，涉及3條設計指南。
①讓用戶能夠快速找到模型選擇的入口
用明顯的入口圖示，讓用戶能夠快速準確找到模型選擇頁面的入口；避免使用難以理解的入口標識。
②對支持AR功能的模型進行特殊標識
若只有部分模型支持AR功能，應對支持AR的模型進行清晰的標識，或在模型選擇頁設置相應的AR專區。
③模型較多時，選擇頁應分類明確，提升搜索效率
為方便用戶快速找到目標模型，聚合頁的分類應該清晰明確。
環節三：模型加載
模型加載是後台運算環節，但這個環節，仍然會有交互體驗問題，設計時需要注意。
1 體驗要點
此環節用戶唯一需要做的事情就是等待。但是加載過慢、加載動效表意不明等，會導致用戶重複點擊。
在其它手機app上，用戶重複點擊一般不會造成問題，但在AR交互體驗中，用戶重複點擊可能會導致模型的重複加載，或者對後面環節發生誤點擊，導致放置異常。
2 設計指南
此環節有加載時長、加載形式2個體驗要素，涉及3條設計指南。
①避免加載時間過長，或減少用戶對加載時長的感知通過和場景結合的動效、靜默式加載等，讓用戶對加載時長無感知/弱感知。
②使用用戶熟悉的加載圖示，來表示模型的加載
圖示應直觀表示模型加載的進度，圖示語義清晰易理解。
環節四：環境識別
環境識別是基於對真實環境的特徵感知，建立虛擬坐標系與真實環境之間聯繫的過程。雖然是技術環節，但需要用戶的動作配合來進行特徵點的檢測。環境識別是AR特色，這讓它顯著區別於其它應用，成為用戶在交互體驗中的門檻。
1 體驗要點
該環節需要用戶傾斜手機、對準地面、左右移動手機。
但由於多數用戶對這個環節存在認知空白，無法建立合理預期，包括該環節要實現什麼目標，每一個操作會有什麼反饋等，進而無法建立引導內容和操作之間的聯繫。所以即使簡單清晰的圖示，用戶也會產生困惑，並嘗試一些錯誤操作，集中表現為各種嘗試性點擊。
2 設計指南
此環節包括目標引導、操作引導、狀態反饋、異常引導等4個體驗要素，涉及7條設計指南。
①幫助用戶理解環境識別的整體目標
提前告知用戶該環節的目的，即「通過相機，找到一個可以放置物體的平面」。
②圖文結合的引導，能讓用戶更快上手操作
圖示和文字內容能夠相輔相承，更容易讓用戶理解所需的操作，比純文字/純圖示的效果更好。相較於靜態圖示，動態圖示更容易幫助用戶理解手機的移動方式。
③引導圖示表意清楚，一看即懂
引導圖示語義清晰，避免用戶的理解歧義。
④告知用戶手機應有的朝向和移動方式
讓用戶明確手機需要朝向平面，並左右移動手機，移動速度適中。
⑤避免多餘的引導元素干擾用戶完成操作
過多的引導信息會增加用戶的認知負荷，分散注意力，干擾用戶完成正常操作。
⑥在識別中、識別成功時，給予用戶狀態反饋
識別過程中，將識別狀態可視化，讓用戶理解當前狀態為正在檢測；識別成功過後，通過將識別成功的平面可視化或其他形式，告知用戶已識別成功。
⑦發生識別異常時，及時給予針對性的引導
明確提示用戶具體的異常原因（如光線過暗、平面紋理不足、移動速度不合適），並給出可操作的改善建議（調亮光線、換一塊平面、改變移動速度等）。
環節五：模型放置
模型放置是環境識別後，將虛擬模型放置在完成識別的虛擬平面上的過程，可分為自動放置及手動放置。
1 體驗要點
自動放置無須用戶做出任何操作，手動放置通常需要用戶點擊特定位置或屏幕任意位置。
在前四個環節用戶無論如何困惑或出錯，都容易通過嘗試性點擊進入下一步，但到了放置環節，失敗及問題屢屢發生。因為這個環節完整體現了前序環節的完成質量。放置位置、大小不符合預期，模型過遠、過大、過小，都是經常發生的問題。
另外，用戶通常會在放置后模型不符合預期時進行調整，但其實對於一些對放置位置和大小要求高的應用，在交互設計上會包含模型預覽及放置前調整環節，這種情況下要做好環節提示和操作引導，因為此時如果用戶不能進行調整或返回操作，會帶來失望和挫敗情緒，導致任務放棄，甚至用戶流失。
2 設計指南
此環節有初始大小、初始位置、放置方式、操作引導、異常引導等5個體驗要素，涉及6條設計指南。
①初始大小適中，可以看到模型全貌
避免模型初始出現時（包括放置前預覽、放置時）過大和過小，應讓用戶看到模型全貌。
②模型應有合適的默認初始位置，任意門類應用避免模型過遠
模型初始出現時（包括模型預覽、放置時），應出現在平面上合適的位置（居中、避免與障礙物重疊）。任意門類應用應避免模型離用戶過遠，導致用戶無法進入門內。
③若對放置位置要求較高，應讓用戶自主選擇放置位置
若應用對放置位置的要求較高，應避免採用自動放置的方式，並在放置時給予用戶選擇位置的提示。
④若放置前需要用戶調整模型，應有調整方式的引導
部分應用需要用戶盡量在放置前對模型進行調整，但用戶通常不知道可調整，因此需要引導用戶進行調整操作。
⑤放置操作的引導圖示表意清楚，最好輔助文字說明
圖示和文字應清晰告知用戶所需的操作，避免產生歧義；任意門類應用告知用戶放置前豎起手機，避免模型出屏。
⑥給用戶提供刪除/重置功能，並加以引導
在模型放置異常且不能恢復正常的情況下，用戶需要重新放置。但目前，用戶普遍對各產品中重置按鈕的認知模糊，不清楚其功能，主要問題是不理解圖示含義。
環節六：模型調整
模型調整是用戶對模型進行大小、位置調整的過程。
1 體驗要點
此環節用戶包括三個常見的核心操作：位移、放縮和旋轉。
在這個環節最讓用戶困惑的體驗為模型根本無法調整，但沒有任何操作提示。此外，有些AR應用需要點擊選中模型后再進行相關調整操作，為此用戶可能出現未選中直接調整模型的問題，這種情況用戶通常可以快速自行糾錯。
而對於提供了模型調整功能的AR交互，用戶也可能使用錯誤手勢進行操作。在AR的三維空間坐標軸下，用戶存在不區分Z軸的遠近移動和放縮操作的情況，這對於偏展示的AR應用問題不大，但對於偏互動的AR，尤其是與現實環境結合緊密的應用，如任意門、檯球等應用，用戶對距離的誤判會影響後續互動。
除此之外，調整的靈敏度、調整範圍的限制及調整的手勢熱區，會影響用戶的掌控感及交互體驗。
2 設計指南
此環節有操作引導、調整方式、調整靈敏度、調整範圍、手勢熱區等5個體驗要素，涉及5條設計指南。
①教會用戶如何調整模型，尤其是對於旋轉等特殊手勢
目前產品普遍缺少模型調整的相關操作引導，尤其是對於旋轉等特殊手勢（雙指擰、雙指划），用戶難以通過自由體驗發現正確的操作方式。
②盡量讓用戶通過手勢直接對模型進行調整操作
用戶喜歡直接對模型進行操作，通過控件等形式對模型調整會降低操控感和真實感。
③設定合適的調整步幅，避免過於靈敏/遲鈍
調整過程中的靈敏度應適中，過於靈敏/遲鈍均會影響用戶的操控感。
④模型調整熱區應適當增加，更易手勢操控
應適當的增加部分模型周圍的手勢操作熱區；如果熱區範圍僅限於模型本身的邊界，在模型較小時難以操作。
⑤對模型的放縮、位移，限制模型調整範圍
避免放縮時的誤操作導致模型過大或過小；若能識別平面邊界，也應限定位移的範圍在平面邊界範圍內。
環節七：模型互動
當經過重重關卡，用戶終於真正與AR模型進行互動。該環節是AR交互體驗的主體環節，包含每個AR應用的核心內容線，會因為每個AR應用的目的不同，在內容和互動方式上呈現較大差異。
1 體驗要點
在這個環節用戶通過多種輸入方式，包括觸屏、隔空手勢，語音，肢體等，與虛擬模型發生交互。當成功到達這一環節，用戶會願意更多探索、對更多元互動方式有更多期待，操作有效性反而不那麼影響用戶情緒。
儘管體驗到了AR交互的樂趣，但此環節也仍會出現體驗問題。如需要肢體互動的應用類型上，如任意門、檯球等，用戶不知道通過實際走動來進行互動，而是直接操作虛擬模型，如反覆嘗試點擊、縮放、拖拽模型等。即使是具備AR經驗的用戶，第一時間也想不到肢體互動，這仍是一種需要更多用戶教育和引導的互動方式。
但不論是用戶自己探索還是經提醒，用戶成功與AR互動后，都體現出了較高的滿意情緒。相信在AR更多普及和體驗優化之後，相信會有更多用戶熱愛通過AR的方式進行互動，但當前階段，還需為用戶做好操作上的引導。
2 設計指南
此環節有模型真實感、互動方式、操作引導、狀態反饋、異常引導等5個體驗要素，涉及7條設計指南。
①儘可能讓模型看起來真實，提升用戶的沉浸體驗
模型的立體程度、光影效果、精細程度、是否穩定、是否有漂浮感、與環境的融合度，以及有無音效都會影響模型的真實感。真實感越強，用戶的沉浸體驗越好。
②增加趣味性/實用性，提高用戶的互動參與度
用戶認為，如果能帶來有趣的互動，或者實用的功能，他們才願意使用。
③聲音的引入可以讓互動更有趣，提升沉浸感
相較於點擊、移動的互動形式，聲音（語音、音效）的互動對於用戶而言較為新穎，可以增加互動的趣味性；若有音效，需要增加音效的開關。
④盡量讓用戶通過手勢直接對模型進行互動操作
用戶喜歡直接對模型進行互動，通過控件等形式對模型調整會降低互動的真實感。
⑤循序漸進地讓用戶學會如何互動
多數新手用戶在初次使用AR時，很多互動形式較為陌生（如移動），因此需要時刻給予用戶明確的互動引導，增加過程中的掌控感；較為複雜的操作，可以給予詳細的新手引導，減少用戶的「摸索」成本。
⑥在用戶完成互動后，給予用戶成功反饋
讓用戶感知到互動效果，給予用戶明顯的反饋（動效、聲音、振動等）激發互動意願，避免用戶輸入后沒有任何反應。
⑦模型出屏/丟失時，指引用戶找回模型，或提供重置功能
互動過程中經常出現模型出屏的情況，用戶需要明確的指引找回模型位置；或至少提供重置功能。
04 整體建議
最後，分享幾點整體建議。來源於對行為及認知的整體梳理，滿意度和使用意願的訪談。
首先，產品設計之初要充分考慮AR適用性，避免『強行AR』
用戶在評價AR體驗的滿意度和使用意願時通常會考慮它有沒有做成AR的必要，AR功能是否實用。如果把虛擬物體融入環境，並且在現實環境中互動，可以帶來體驗增益，那麼用戶會表示更加用戶會表示滿意以及樂於使用。
第二，找准認知盲區，建立目標引導
在恰當時機給予貼心引導是所有app的設計通則。在AR設計中要特別注意找准認知盲區，建立目標引導。對用戶來說，環境識別是最大的認知盲區，造成目標迷惑、操作不明、並引發後續異常等系列等問題。
第三，考慮物理空間的影響
AR區別於其它應用，需要用戶在物理世界中行動。空間便利性會影響用戶的使用意願；互動的便利和舒適會影響用戶體驗。
第四，讓應用實用、有趣，更能吸引用戶使用
用戶表達影響使用意願的因素中，提及最多的是趣味性和實用性。如果應用有趣，或者功能實用，他們願意更多使用。反之，用戶的使用意願也很薄弱。
第五，儘可能提升真實感，它是具備AR屬性的重要體驗要素
在用戶的滿意度評價中，真實感是提及最多的關鍵詞。互動的真實感、模型本身的真實感、模型和場景融合的真實感，都會影響用戶對應用的整體滿意度評價。
小結
本次研究對手機端空間級AR進行了全流程的梳理，基於用戶實際使用情況為依據輸出設計建議。作為AR敲門磚的手機端應用，打好用戶體驗的基礎至關重要。期望本文可以為AR從業者提供參考和啟發。
親愛的讀者，在開發、設計或使用AR過程中，還有什麼問題或者發現，也歡迎與我們一起互動討論！
