《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
圖3. 三高斯落點分佈模型示意圖(圖片由黃進提供)
這個模型在移動目標獲取任務中研究落點分佈問題,它將“速度-準確性”權衡推廣到動態交互內容當中,填補了動態用戶界面中不確定性建模的空缺,如圖4所示。從該模型的表達式看出,移動目標選擇的落點分佈標準差與目標移動速度正相關,即當目標大小一定時,目標速度越大越難選中。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
圖3. 三高斯落點分佈模型示意圖(圖片由黃進提供)
這個模型在移動目標獲取任務中研究落點分佈問題,它將“速度-準確性”權衡推廣到動態交互內容當中,填補了動態用戶界面中不確定性建模的空缺,如圖4所示。從該模型的表達式看出,移動目標選擇的落點分佈標準差與目標移動速度正相關,即當目標大小一定時,目標速度越大越難選中。
圖4. 三高斯落點分佈模型與其它現存理論模型間的關係(圖片由黃進提供)
一維到二維:三高斯落點分佈模型的拓展
三高斯落點分佈模型的核心思想其實很簡單:它假設用戶在選擇移動目標時,其選擇落點分佈受到目標大小、目標速度與絕對準確度這三個方面因素影響。這三方面因素產生了三個相互獨立的高斯隨機變量,最終的落點分佈則是這三個高斯隨機變量的和,這些落點分佈服從高斯分佈,如圖5所示。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
圖3. 三高斯落點分佈模型示意圖(圖片由黃進提供)
這個模型在移動目標獲取任務中研究落點分佈問題,它將“速度-準確性”權衡推廣到動態交互內容當中,填補了動態用戶界面中不確定性建模的空缺,如圖4所示。從該模型的表達式看出,移動目標選擇的落點分佈標準差與目標移動速度正相關,即當目標大小一定時,目標速度越大越難選中。
圖4. 三高斯落點分佈模型與其它現存理論模型間的關係(圖片由黃進提供)
一維到二維:三高斯落點分佈模型的拓展
三高斯落點分佈模型的核心思想其實很簡單:它假設用戶在選擇移動目標時,其選擇落點分佈受到目標大小、目標速度與絕對準確度這三個方面因素影響。這三方面因素產生了三個相互獨立的高斯隨機變量,最終的落點分佈則是這三個高斯隨機變量的和,這些落點分佈服從高斯分佈,如圖5所示。
圖5. 三高斯落點分佈模型原理與表達式(圖片由黃進提供)
三高斯落點分佈模型在一維情況下被驗證之後,中國科學院軟件研究所人機交互實驗室的科研人員立刻開始嘗試將其拓展到二維空間和其它更復雜的場景之下。2019年,該團隊提出了二維三高斯落點分佈模型(2D Ternary-Gaussian Model),實現了二維移動目標選擇落點分佈的準確預測,為更為廣泛的動態用戶界面目標選擇場景的交互設計提供指導。
他們在多種交互設備中探討移動目標獲取不確定性的通用特點與建模問題,提出了二維三高斯落點分佈模型,實現了跨設備、多場景下的二維目標獲取的不確定性建模,如圖6所示。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
圖3. 三高斯落點分佈模型示意圖(圖片由黃進提供)
這個模型在移動目標獲取任務中研究落點分佈問題,它將“速度-準確性”權衡推廣到動態交互內容當中,填補了動態用戶界面中不確定性建模的空缺,如圖4所示。從該模型的表達式看出,移動目標選擇的落點分佈標準差與目標移動速度正相關,即當目標大小一定時,目標速度越大越難選中。
圖4. 三高斯落點分佈模型與其它現存理論模型間的關係(圖片由黃進提供)
一維到二維:三高斯落點分佈模型的拓展
三高斯落點分佈模型的核心思想其實很簡單:它假設用戶在選擇移動目標時,其選擇落點分佈受到目標大小、目標速度與絕對準確度這三個方面因素影響。這三方面因素產生了三個相互獨立的高斯隨機變量,最終的落點分佈則是這三個高斯隨機變量的和,這些落點分佈服從高斯分佈,如圖5所示。
圖5. 三高斯落點分佈模型原理與表達式(圖片由黃進提供)
三高斯落點分佈模型在一維情況下被驗證之後,中國科學院軟件研究所人機交互實驗室的科研人員立刻開始嘗試將其拓展到二維空間和其它更復雜的場景之下。2019年,該團隊提出了二維三高斯落點分佈模型(2D Ternary-Gaussian Model),實現了二維移動目標選擇落點分佈的準確預測,為更為廣泛的動態用戶界面目標選擇場景的交互設計提供指導。
他們在多種交互設備中探討移動目標獲取不確定性的通用特點與建模問題,提出了二維三高斯落點分佈模型,實現了跨設備、多場景下的二維目標獲取的不確定性建模,如圖6所示。
圖6. 二維三高斯落點分佈模型在鼠標、筆和手指觸摸三種不同的輸入方式上的落點分佈擬合結果(圖片由黃進提供)
該團隊還提出一個問題:當用戶被要求在一個特定時間段內選擇一個移動目標時,選擇錯誤率該如何建模?他們把該情況取名為“時空移動目標選擇”,如圖7所示。該工作給出了一個這種任務的一維抽象範式,並嘗試將三高斯落點分佈模型與一個時機任務模型結合,對選擇錯誤率實現了精準預測。
此外,科研人員還發現了“速度-準確性”權衡在時空移動目標選擇任務中的表現,即當時間距離和時間寬度都較短時,移動目標的空間選擇準確度降低;反之,如果速度較大時,移動目標的時間選擇準確度也受到影響。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
圖3. 三高斯落點分佈模型示意圖(圖片由黃進提供)
這個模型在移動目標獲取任務中研究落點分佈問題,它將“速度-準確性”權衡推廣到動態交互內容當中,填補了動態用戶界面中不確定性建模的空缺,如圖4所示。從該模型的表達式看出,移動目標選擇的落點分佈標準差與目標移動速度正相關,即當目標大小一定時,目標速度越大越難選中。
圖4. 三高斯落點分佈模型與其它現存理論模型間的關係(圖片由黃進提供)
一維到二維:三高斯落點分佈模型的拓展
三高斯落點分佈模型的核心思想其實很簡單:它假設用戶在選擇移動目標時,其選擇落點分佈受到目標大小、目標速度與絕對準確度這三個方面因素影響。這三方面因素產生了三個相互獨立的高斯隨機變量,最終的落點分佈則是這三個高斯隨機變量的和,這些落點分佈服從高斯分佈,如圖5所示。
圖5. 三高斯落點分佈模型原理與表達式(圖片由黃進提供)
三高斯落點分佈模型在一維情況下被驗證之後,中國科學院軟件研究所人機交互實驗室的科研人員立刻開始嘗試將其拓展到二維空間和其它更復雜的場景之下。2019年,該團隊提出了二維三高斯落點分佈模型(2D Ternary-Gaussian Model),實現了二維移動目標選擇落點分佈的準確預測,為更為廣泛的動態用戶界面目標選擇場景的交互設計提供指導。
他們在多種交互設備中探討移動目標獲取不確定性的通用特點與建模問題,提出了二維三高斯落點分佈模型,實現了跨設備、多場景下的二維目標獲取的不確定性建模,如圖6所示。
圖6. 二維三高斯落點分佈模型在鼠標、筆和手指觸摸三種不同的輸入方式上的落點分佈擬合結果(圖片由黃進提供)
該團隊還提出一個問題:當用戶被要求在一個特定時間段內選擇一個移動目標時,選擇錯誤率該如何建模?他們把該情況取名為“時空移動目標選擇”,如圖7所示。該工作給出了一個這種任務的一維抽象範式,並嘗試將三高斯落點分佈模型與一個時機任務模型結合,對選擇錯誤率實現了精準預測。
此外,科研人員還發現了“速度-準確性”權衡在時空移動目標選擇任務中的表現,即當時間距離和時間寬度都較短時,移動目標的空間選擇準確度降低;反之,如果速度較大時,移動目標的時間選擇準確度也受到影響。
圖7. 一維時空移動目標選擇任務示意圖(圖片由黃進提供)
在未來,該團隊還計劃將三高斯落點分佈模型對更廣泛的交互任務進行建模,其中包括三維空間中的目標選擇任務,軌跡任務、穿越選擇任務等。
三高斯落點分佈模型的應用:目標選擇輔助、界面設計優化等
有了這樣的落點分佈模型,但它怎麼才能應用於實際用戶界面當中呢?
移動目標輔助選擇技術
研究人員提出了一種“隱式”移動目標選擇技術——BayesPointer。它將三高斯落點分佈模型模型以似然函數的方式嵌入貝葉斯決策公式中,當觀察到一個落點之後,利用貝葉斯法則即可決定用戶最有可能選擇的目標(意圖目標)。
如圖8所示,兩個具有不同移動速度和大小的一維移動目標出現在界面中,不妨假設藍色的目標為意圖目標,因為感知運動系統的延遲,用戶最終選擇目標的落點出現在藍色目標的後面,恰好落到了灰色目標內部。
在這個例子中,傳統的目標獲取技術會錯誤地將灰色目標作為用戶的意圖目標,而BayesPointer通過比較兩個目標的似然函數(落點分佈概率),發現藍色目標的概率更大,而最終正確地將藍色目標作為這此選擇的意圖目標。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
圖3. 三高斯落點分佈模型示意圖(圖片由黃進提供)
這個模型在移動目標獲取任務中研究落點分佈問題,它將“速度-準確性”權衡推廣到動態交互內容當中,填補了動態用戶界面中不確定性建模的空缺,如圖4所示。從該模型的表達式看出,移動目標選擇的落點分佈標準差與目標移動速度正相關,即當目標大小一定時,目標速度越大越難選中。
圖4. 三高斯落點分佈模型與其它現存理論模型間的關係(圖片由黃進提供)
一維到二維:三高斯落點分佈模型的拓展
三高斯落點分佈模型的核心思想其實很簡單:它假設用戶在選擇移動目標時,其選擇落點分佈受到目標大小、目標速度與絕對準確度這三個方面因素影響。這三方面因素產生了三個相互獨立的高斯隨機變量,最終的落點分佈則是這三個高斯隨機變量的和,這些落點分佈服從高斯分佈,如圖5所示。
圖5. 三高斯落點分佈模型原理與表達式(圖片由黃進提供)
三高斯落點分佈模型在一維情況下被驗證之後,中國科學院軟件研究所人機交互實驗室的科研人員立刻開始嘗試將其拓展到二維空間和其它更復雜的場景之下。2019年,該團隊提出了二維三高斯落點分佈模型(2D Ternary-Gaussian Model),實現了二維移動目標選擇落點分佈的準確預測,為更為廣泛的動態用戶界面目標選擇場景的交互設計提供指導。
他們在多種交互設備中探討移動目標獲取不確定性的通用特點與建模問題,提出了二維三高斯落點分佈模型,實現了跨設備、多場景下的二維目標獲取的不確定性建模,如圖6所示。
圖6. 二維三高斯落點分佈模型在鼠標、筆和手指觸摸三種不同的輸入方式上的落點分佈擬合結果(圖片由黃進提供)
該團隊還提出一個問題:當用戶被要求在一個特定時間段內選擇一個移動目標時,選擇錯誤率該如何建模?他們把該情況取名為“時空移動目標選擇”,如圖7所示。該工作給出了一個這種任務的一維抽象範式,並嘗試將三高斯落點分佈模型與一個時機任務模型結合,對選擇錯誤率實現了精準預測。
此外,科研人員還發現了“速度-準確性”權衡在時空移動目標選擇任務中的表現,即當時間距離和時間寬度都較短時,移動目標的空間選擇準確度降低;反之,如果速度較大時,移動目標的時間選擇準確度也受到影響。
圖7. 一維時空移動目標選擇任務示意圖(圖片由黃進提供)
在未來,該團隊還計劃將三高斯落點分佈模型對更廣泛的交互任務進行建模,其中包括三維空間中的目標選擇任務,軌跡任務、穿越選擇任務等。
三高斯落點分佈模型的應用:目標選擇輔助、界面設計優化等
有了這樣的落點分佈模型,但它怎麼才能應用於實際用戶界面當中呢?
移動目標輔助選擇技術
研究人員提出了一種“隱式”移動目標選擇技術——BayesPointer。它將三高斯落點分佈模型模型以似然函數的方式嵌入貝葉斯決策公式中,當觀察到一個落點之後,利用貝葉斯法則即可決定用戶最有可能選擇的目標(意圖目標)。
如圖8所示,兩個具有不同移動速度和大小的一維移動目標出現在界面中,不妨假設藍色的目標為意圖目標,因為感知運動系統的延遲,用戶最終選擇目標的落點出現在藍色目標的後面,恰好落到了灰色目標內部。
在這個例子中,傳統的目標獲取技術會錯誤地將灰色目標作為用戶的意圖目標,而BayesPointer通過比較兩個目標的似然函數(落點分佈概率),發現藍色目標的概率更大,而最終正確地將藍色目標作為這此選擇的意圖目標。
圖8. BayesPointer在一維移動目標選擇中的用戶意圖推理(圖片由黃進提供)
利用嵌入了三高斯落點分佈模型的BayesPointer移動目標指點技術,玩家點擊遊戲中快速移動物體的速度將較普通選擇技術而言提高五成,選擇精準度提高八成!
它將在不對原有界面進行任何修改或者要求額外操作的情況下發揮作用。而且,理論上,不論這些物體再小或者是移動得再快,你將一如既往地保持這樣的速度和精準度。這樣,普通玩家也能擁有電競選手一樣的手速和精準操控了!
題外話:
可能有人要說遊戲作弊的問題了,筆者的觀點是,是否作弊是相對而言的,只要所有玩家都使用同樣的輔助技術,在同一標準下競技,就沒有作弊一說。例如,可能很多人還不知道,Windows原生指針就帶有輔助技術(在指針選項“提高指針精確度”中開啟或關閉),它通過動態地調整指針的CD比(Control-display ratio),使得鼠標在移動時更快,點選時更準。
界面設計指導
三高斯落點分佈模型還能用於動態界面的設計指導中。以計算機遊戲為例,目標選擇是遊戲中大量存在的一類任務,選中目標的難度如何在有些遊戲中是極其影響遊戲體驗和快感的指標之一,也可能是遊戲平衡的重要因素,如圖9所示。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
圖3. 三高斯落點分佈模型示意圖(圖片由黃進提供)
這個模型在移動目標獲取任務中研究落點分佈問題,它將“速度-準確性”權衡推廣到動態交互內容當中,填補了動態用戶界面中不確定性建模的空缺,如圖4所示。從該模型的表達式看出,移動目標選擇的落點分佈標準差與目標移動速度正相關,即當目標大小一定時,目標速度越大越難選中。
圖4. 三高斯落點分佈模型與其它現存理論模型間的關係(圖片由黃進提供)
一維到二維:三高斯落點分佈模型的拓展
三高斯落點分佈模型的核心思想其實很簡單:它假設用戶在選擇移動目標時,其選擇落點分佈受到目標大小、目標速度與絕對準確度這三個方面因素影響。這三方面因素產生了三個相互獨立的高斯隨機變量,最終的落點分佈則是這三個高斯隨機變量的和,這些落點分佈服從高斯分佈,如圖5所示。
圖5. 三高斯落點分佈模型原理與表達式(圖片由黃進提供)
三高斯落點分佈模型在一維情況下被驗證之後,中國科學院軟件研究所人機交互實驗室的科研人員立刻開始嘗試將其拓展到二維空間和其它更復雜的場景之下。2019年,該團隊提出了二維三高斯落點分佈模型(2D Ternary-Gaussian Model),實現了二維移動目標選擇落點分佈的準確預測,為更為廣泛的動態用戶界面目標選擇場景的交互設計提供指導。
他們在多種交互設備中探討移動目標獲取不確定性的通用特點與建模問題,提出了二維三高斯落點分佈模型,實現了跨設備、多場景下的二維目標獲取的不確定性建模,如圖6所示。
圖6. 二維三高斯落點分佈模型在鼠標、筆和手指觸摸三種不同的輸入方式上的落點分佈擬合結果(圖片由黃進提供)
該團隊還提出一個問題:當用戶被要求在一個特定時間段內選擇一個移動目標時,選擇錯誤率該如何建模?他們把該情況取名為“時空移動目標選擇”,如圖7所示。該工作給出了一個這種任務的一維抽象範式,並嘗試將三高斯落點分佈模型與一個時機任務模型結合,對選擇錯誤率實現了精準預測。
此外,科研人員還發現了“速度-準確性”權衡在時空移動目標選擇任務中的表現,即當時間距離和時間寬度都較短時,移動目標的空間選擇準確度降低;反之,如果速度較大時,移動目標的時間選擇準確度也受到影響。
圖7. 一維時空移動目標選擇任務示意圖(圖片由黃進提供)
在未來,該團隊還計劃將三高斯落點分佈模型對更廣泛的交互任務進行建模,其中包括三維空間中的目標選擇任務,軌跡任務、穿越選擇任務等。
三高斯落點分佈模型的應用:目標選擇輔助、界面設計優化等
有了這樣的落點分佈模型,但它怎麼才能應用於實際用戶界面當中呢?
移動目標輔助選擇技術
研究人員提出了一種“隱式”移動目標選擇技術——BayesPointer。它將三高斯落點分佈模型模型以似然函數的方式嵌入貝葉斯決策公式中,當觀察到一個落點之後,利用貝葉斯法則即可決定用戶最有可能選擇的目標(意圖目標)。
如圖8所示,兩個具有不同移動速度和大小的一維移動目標出現在界面中,不妨假設藍色的目標為意圖目標,因為感知運動系統的延遲,用戶最終選擇目標的落點出現在藍色目標的後面,恰好落到了灰色目標內部。
在這個例子中,傳統的目標獲取技術會錯誤地將灰色目標作為用戶的意圖目標,而BayesPointer通過比較兩個目標的似然函數(落點分佈概率),發現藍色目標的概率更大,而最終正確地將藍色目標作為這此選擇的意圖目標。
圖8. BayesPointer在一維移動目標選擇中的用戶意圖推理(圖片由黃進提供)
利用嵌入了三高斯落點分佈模型的BayesPointer移動目標指點技術,玩家點擊遊戲中快速移動物體的速度將較普通選擇技術而言提高五成,選擇精準度提高八成!
它將在不對原有界面進行任何修改或者要求額外操作的情況下發揮作用。而且,理論上,不論這些物體再小或者是移動得再快,你將一如既往地保持這樣的速度和精準度。這樣,普通玩家也能擁有電競選手一樣的手速和精準操控了!
題外話:
可能有人要說遊戲作弊的問題了,筆者的觀點是,是否作弊是相對而言的,只要所有玩家都使用同樣的輔助技術,在同一標準下競技,就沒有作弊一說。例如,可能很多人還不知道,Windows原生指針就帶有輔助技術(在指針選項“提高指針精確度”中開啟或關閉),它通過動態地調整指針的CD比(Control-display ratio),使得鼠標在移動時更快,點選時更準。
界面設計指導
三高斯落點分佈模型還能用於動態界面的設計指導中。以計算機遊戲為例,目標選擇是遊戲中大量存在的一類任務,選中目標的難度如何在有些遊戲中是極其影響遊戲體驗和快感的指標之一,也可能是遊戲平衡的重要因素,如圖9所示。
圖9. 玩家技巧、遊戲難度與玩家體驗的關係(圖片由黃進提供)
基於三高斯落點分佈模型與高斯分佈累積函數,研究人員推導出了基於三高斯落點分佈模型的目標選擇錯誤率預測模型。在目標獲取任務中,錯誤率被定義為所有目標選擇嘗試中的失敗的比例。
如圖10所示,對於一個一維的目標,圖中的黑色豎線是它的左右邊界,如果我們知道了其落點的概率分佈(藍色曲線),則很容易計算出紅色區域落點佔整體落點的比例,即錯誤率。這種錯誤率的預估技術可以用於調整遊戲中的難度曲線。
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
圖3. 三高斯落點分佈模型示意圖(圖片由黃進提供)
這個模型在移動目標獲取任務中研究落點分佈問題,它將“速度-準確性”權衡推廣到動態交互內容當中,填補了動態用戶界面中不確定性建模的空缺,如圖4所示。從該模型的表達式看出,移動目標選擇的落點分佈標準差與目標移動速度正相關,即當目標大小一定時,目標速度越大越難選中。
圖4. 三高斯落點分佈模型與其它現存理論模型間的關係(圖片由黃進提供)
一維到二維:三高斯落點分佈模型的拓展
三高斯落點分佈模型的核心思想其實很簡單:它假設用戶在選擇移動目標時,其選擇落點分佈受到目標大小、目標速度與絕對準確度這三個方面因素影響。這三方面因素產生了三個相互獨立的高斯隨機變量,最終的落點分佈則是這三個高斯隨機變量的和,這些落點分佈服從高斯分佈,如圖5所示。
圖5. 三高斯落點分佈模型原理與表達式(圖片由黃進提供)
三高斯落點分佈模型在一維情況下被驗證之後,中國科學院軟件研究所人機交互實驗室的科研人員立刻開始嘗試將其拓展到二維空間和其它更復雜的場景之下。2019年,該團隊提出了二維三高斯落點分佈模型(2D Ternary-Gaussian Model),實現了二維移動目標選擇落點分佈的準確預測,為更為廣泛的動態用戶界面目標選擇場景的交互設計提供指導。
他們在多種交互設備中探討移動目標獲取不確定性的通用特點與建模問題,提出了二維三高斯落點分佈模型,實現了跨設備、多場景下的二維目標獲取的不確定性建模,如圖6所示。
圖6. 二維三高斯落點分佈模型在鼠標、筆和手指觸摸三種不同的輸入方式上的落點分佈擬合結果(圖片由黃進提供)
該團隊還提出一個問題:當用戶被要求在一個特定時間段內選擇一個移動目標時,選擇錯誤率該如何建模?他們把該情況取名為“時空移動目標選擇”,如圖7所示。該工作給出了一個這種任務的一維抽象範式,並嘗試將三高斯落點分佈模型與一個時機任務模型結合,對選擇錯誤率實現了精準預測。
此外,科研人員還發現了“速度-準確性”權衡在時空移動目標選擇任務中的表現,即當時間距離和時間寬度都較短時,移動目標的空間選擇準確度降低;反之,如果速度較大時,移動目標的時間選擇準確度也受到影響。
圖7. 一維時空移動目標選擇任務示意圖(圖片由黃進提供)
在未來,該團隊還計劃將三高斯落點分佈模型對更廣泛的交互任務進行建模,其中包括三維空間中的目標選擇任務,軌跡任務、穿越選擇任務等。
三高斯落點分佈模型的應用:目標選擇輔助、界面設計優化等
有了這樣的落點分佈模型,但它怎麼才能應用於實際用戶界面當中呢?
移動目標輔助選擇技術
研究人員提出了一種“隱式”移動目標選擇技術——BayesPointer。它將三高斯落點分佈模型模型以似然函數的方式嵌入貝葉斯決策公式中,當觀察到一個落點之後,利用貝葉斯法則即可決定用戶最有可能選擇的目標(意圖目標)。
如圖8所示,兩個具有不同移動速度和大小的一維移動目標出現在界面中,不妨假設藍色的目標為意圖目標,因為感知運動系統的延遲,用戶最終選擇目標的落點出現在藍色目標的後面,恰好落到了灰色目標內部。
在這個例子中,傳統的目標獲取技術會錯誤地將灰色目標作為用戶的意圖目標,而BayesPointer通過比較兩個目標的似然函數(落點分佈概率),發現藍色目標的概率更大,而最終正確地將藍色目標作為這此選擇的意圖目標。
圖8. BayesPointer在一維移動目標選擇中的用戶意圖推理(圖片由黃進提供)
利用嵌入了三高斯落點分佈模型的BayesPointer移動目標指點技術,玩家點擊遊戲中快速移動物體的速度將較普通選擇技術而言提高五成,選擇精準度提高八成!
它將在不對原有界面進行任何修改或者要求額外操作的情況下發揮作用。而且,理論上,不論這些物體再小或者是移動得再快,你將一如既往地保持這樣的速度和精準度。這樣,普通玩家也能擁有電競選手一樣的手速和精準操控了!
題外話:
可能有人要說遊戲作弊的問題了,筆者的觀點是,是否作弊是相對而言的,只要所有玩家都使用同樣的輔助技術,在同一標準下競技,就沒有作弊一說。例如,可能很多人還不知道,Windows原生指針就帶有輔助技術(在指針選項“提高指針精確度”中開啟或關閉),它通過動態地調整指針的CD比(Control-display ratio),使得鼠標在移動時更快,點選時更準。
界面設計指導
三高斯落點分佈模型還能用於動態界面的設計指導中。以計算機遊戲為例,目標選擇是遊戲中大量存在的一類任務,選中目標的難度如何在有些遊戲中是極其影響遊戲體驗和快感的指標之一,也可能是遊戲平衡的重要因素,如圖9所示。
圖9. 玩家技巧、遊戲難度與玩家體驗的關係(圖片由黃進提供)
基於三高斯落點分佈模型與高斯分佈累積函數,研究人員推導出了基於三高斯落點分佈模型的目標選擇錯誤率預測模型。在目標獲取任務中,錯誤率被定義為所有目標選擇嘗試中的失敗的比例。
如圖10所示,對於一個一維的目標,圖中的黑色豎線是它的左右邊界,如果我們知道了其落點的概率分佈(藍色曲線),則很容易計算出紅色區域落點佔整體落點的比例,即錯誤率。這種錯誤率的預估技術可以用於調整遊戲中的難度曲線。
圖10. 將三高斯落點分佈模型用於預測錯誤率(圖片由黃進提供)
三高斯落點分佈模型還可應用於交互設備可用性評價當中。此外,三高斯落點分佈模型也有可能用於改進移動目標選擇時間預測的準確率,因為落點分佈情況描述出了一個更為準確目標在用戶實際操作下的形狀,它可能比用戶看到的目標大小更大。
目前,移動目標選擇在人機交互中的研究和應用才剛剛開始受到關注,關於選擇不確定性的研究還有很多方面沒有涉及,例如目標的形狀、用戶年齡、手部功能、情緒、視覺刺激強度、多通道線索等對不確定性的影響,這些方面還需要研究人員在今後很長一段時間內進一步深入探索。
來源:中國科學院軟件研究所
"《英雄聯盟》相信很多童鞋都玩過吧,要想在召喚師峽谷中大顯身手,手速和準確選中目標非常重要。英雄聯盟中包含大量的移動目標選擇任務:根據敵方英雄的走位精準攻擊,非指向性技能的預判釋放,以及團戰中優先選擇攻擊敵方C位。玩家只有在極短的時間內,出色地完成一次次的移動目標選擇,在一定時間內打出更高的傷害,才能不斷擊敗對手,贏下最終勝利。
圖1. 英雄聯盟已經成為當今最受歡迎的電子競技遊戲之一(圖片由黃進提供)
除了英雄聯盟,很多場合也需要捕捉移動目標
其實,移動目標選擇在人機交互中的應用遠不止電子遊戲。在視頻監視系統中,視頻中也會存在大量的移動目標,例如快速移動的車輛、球場上奔跑的球員等;
在醫療、教育領域,也存在著大量動態的可交互物,例如虛擬手術中需要切除的腫瘤,天文教學中模擬太空裡的行星等;
在工業、科研領域,質檢工人需要在觸屏設備監控的流水線裡快速挑選出次品,海洋生物科學家通過觸屏控制機械臂捕捉轉瞬即逝的新物種等。
可以說,在未來只要有用戶界面的地方,就少不了移動目標選擇,它甚至可能比靜止目標選擇任務(如點擊按鈕、菜單選擇等)更為常見,應用更為廣泛。
圖2. 移動目標選擇可能的應用場景(圖片由黃進提供)
想準確抓住這些移動目標?不簡單
人類天生對移動目標的選擇存在困難。一般用戶不會有電競選手一樣驚人的手速與點擊準確度,甚至在很多要求相對較低的場景(目標較大、速度較小)中也很容易出現選擇錯誤。
從人機交互研究的角度講,這種現象叫做交互中的不確定性。事實上,任何交互任務都存在不確定性,例如打字時可能輸錯字母、手機中向某一方向滑屏時可能錯誤地觸發其他方向的滑動操作等。
而移動目標選擇任務中,這種不確定性同樣存在,並且在一些情況下要比很多其它任務都大得多。試想一下,如果要求用戶用鼠標點選一個非常小而且在屏幕中快速移動的目標,這將是一個很難完成的任務。
為了消除這種不確定性,科研人員想出了一些辦法,比如暫停畫面來輔助選擇,但這樣就影響了與動態內容進行交互的連貫性,在一些實時系統中也無法做到;另一些技術則降低目標速度或者放大目標,但這樣會改變了原有用戶界面的外觀,給用戶帶來認知負荷或者影響系統的外觀表現。
三高斯落點分佈模型:解決“不確定性”
中國科學院軟件研究所人機交互實驗室的科研人員認為,從人機交互基礎建模的角度出發,分析用戶交互運動的本質特徵,建立交互任務屬性與不確定性之間的映射關係,這樣才能很好理解這種不確定性。
2018年,以目標選擇落點分佈作為具體研究對象,研究人員在人機交互界開始移動目標選擇中的不確定性問題的研究。研究人員提出了目標選擇落點的不確定性由目標大小、目標速度及絕對準確性三個高斯成分組成的“三高斯”假設,並由此推導出三高斯落點分佈模型。
圖3. 三高斯落點分佈模型示意圖(圖片由黃進提供)
這個模型在移動目標獲取任務中研究落點分佈問題,它將“速度-準確性”權衡推廣到動態交互內容當中,填補了動態用戶界面中不確定性建模的空缺,如圖4所示。從該模型的表達式看出,移動目標選擇的落點分佈標準差與目標移動速度正相關,即當目標大小一定時,目標速度越大越難選中。
圖4. 三高斯落點分佈模型與其它現存理論模型間的關係(圖片由黃進提供)
一維到二維:三高斯落點分佈模型的拓展
三高斯落點分佈模型的核心思想其實很簡單:它假設用戶在選擇移動目標時,其選擇落點分佈受到目標大小、目標速度與絕對準確度這三個方面因素影響。這三方面因素產生了三個相互獨立的高斯隨機變量,最終的落點分佈則是這三個高斯隨機變量的和,這些落點分佈服從高斯分佈,如圖5所示。
圖5. 三高斯落點分佈模型原理與表達式(圖片由黃進提供)
三高斯落點分佈模型在一維情況下被驗證之後,中國科學院軟件研究所人機交互實驗室的科研人員立刻開始嘗試將其拓展到二維空間和其它更復雜的場景之下。2019年,該團隊提出了二維三高斯落點分佈模型(2D Ternary-Gaussian Model),實現了二維移動目標選擇落點分佈的準確預測,為更為廣泛的動態用戶界面目標選擇場景的交互設計提供指導。
他們在多種交互設備中探討移動目標獲取不確定性的通用特點與建模問題,提出了二維三高斯落點分佈模型,實現了跨設備、多場景下的二維目標獲取的不確定性建模,如圖6所示。
圖6. 二維三高斯落點分佈模型在鼠標、筆和手指觸摸三種不同的輸入方式上的落點分佈擬合結果(圖片由黃進提供)
該團隊還提出一個問題:當用戶被要求在一個特定時間段內選擇一個移動目標時,選擇錯誤率該如何建模?他們把該情況取名為“時空移動目標選擇”,如圖7所示。該工作給出了一個這種任務的一維抽象範式,並嘗試將三高斯落點分佈模型與一個時機任務模型結合,對選擇錯誤率實現了精準預測。
此外,科研人員還發現了“速度-準確性”權衡在時空移動目標選擇任務中的表現,即當時間距離和時間寬度都較短時,移動目標的空間選擇準確度降低;反之,如果速度較大時,移動目標的時間選擇準確度也受到影響。
圖7. 一維時空移動目標選擇任務示意圖(圖片由黃進提供)
在未來,該團隊還計劃將三高斯落點分佈模型對更廣泛的交互任務進行建模,其中包括三維空間中的目標選擇任務,軌跡任務、穿越選擇任務等。
三高斯落點分佈模型的應用:目標選擇輔助、界面設計優化等
有了這樣的落點分佈模型,但它怎麼才能應用於實際用戶界面當中呢?
移動目標輔助選擇技術
研究人員提出了一種“隱式”移動目標選擇技術——BayesPointer。它將三高斯落點分佈模型模型以似然函數的方式嵌入貝葉斯決策公式中,當觀察到一個落點之後,利用貝葉斯法則即可決定用戶最有可能選擇的目標(意圖目標)。
如圖8所示,兩個具有不同移動速度和大小的一維移動目標出現在界面中,不妨假設藍色的目標為意圖目標,因為感知運動系統的延遲,用戶最終選擇目標的落點出現在藍色目標的後面,恰好落到了灰色目標內部。
在這個例子中,傳統的目標獲取技術會錯誤地將灰色目標作為用戶的意圖目標,而BayesPointer通過比較兩個目標的似然函數(落點分佈概率),發現藍色目標的概率更大,而最終正確地將藍色目標作為這此選擇的意圖目標。
圖8. BayesPointer在一維移動目標選擇中的用戶意圖推理(圖片由黃進提供)
利用嵌入了三高斯落點分佈模型的BayesPointer移動目標指點技術,玩家點擊遊戲中快速移動物體的速度將較普通選擇技術而言提高五成,選擇精準度提高八成!
它將在不對原有界面進行任何修改或者要求額外操作的情況下發揮作用。而且,理論上,不論這些物體再小或者是移動得再快,你將一如既往地保持這樣的速度和精準度。這樣,普通玩家也能擁有電競選手一樣的手速和精準操控了!
題外話:
可能有人要說遊戲作弊的問題了,筆者的觀點是,是否作弊是相對而言的,只要所有玩家都使用同樣的輔助技術,在同一標準下競技,就沒有作弊一說。例如,可能很多人還不知道,Windows原生指針就帶有輔助技術(在指針選項“提高指針精確度”中開啟或關閉),它通過動態地調整指針的CD比(Control-display ratio),使得鼠標在移動時更快,點選時更準。
界面設計指導
三高斯落點分佈模型還能用於動態界面的設計指導中。以計算機遊戲為例,目標選擇是遊戲中大量存在的一類任務,選中目標的難度如何在有些遊戲中是極其影響遊戲體驗和快感的指標之一,也可能是遊戲平衡的重要因素,如圖9所示。
圖9. 玩家技巧、遊戲難度與玩家體驗的關係(圖片由黃進提供)
基於三高斯落點分佈模型與高斯分佈累積函數,研究人員推導出了基於三高斯落點分佈模型的目標選擇錯誤率預測模型。在目標獲取任務中,錯誤率被定義為所有目標選擇嘗試中的失敗的比例。
如圖10所示,對於一個一維的目標,圖中的黑色豎線是它的左右邊界,如果我們知道了其落點的概率分佈(藍色曲線),則很容易計算出紅色區域落點佔整體落點的比例,即錯誤率。這種錯誤率的預估技術可以用於調整遊戲中的難度曲線。
圖10. 將三高斯落點分佈模型用於預測錯誤率(圖片由黃進提供)
三高斯落點分佈模型還可應用於交互設備可用性評價當中。此外,三高斯落點分佈模型也有可能用於改進移動目標選擇時間預測的準確率,因為落點分佈情況描述出了一個更為準確目標在用戶實際操作下的形狀,它可能比用戶看到的目標大小更大。
目前,移動目標選擇在人機交互中的研究和應用才剛剛開始受到關注,關於選擇不確定性的研究還有很多方面沒有涉及,例如目標的形狀、用戶年齡、手部功能、情緒、視覺刺激強度、多通道線索等對不確定性的影響,這些方面還需要研究人員在今後很長一段時間內進一步深入探索。
來源:中國科學院軟件研究所