AI模型可預(yù)測人們在打字時如何移動眼睛和手指

來源：aalto

編譯：在赤道的熊貓

眾所周知，觸摸屏很難打字。

由于無法感覺到按鍵，我們依靠視覺將手指移至正確的位置并檢查錯誤，這是我們無法在同一時間進行一系列動作。

為了真正理解人們在觸摸屏上的打字方式，Aalto University和芬蘭人工智能中心FCAI的研究人員創(chuàng)建了第一個人工智能模型，該模型可以預(yù)測人們在打字時如何移動眼睛和手指。

這個AI模型可以模擬人類如何在任何鍵盤上鍵入任何句子。它產(chǎn)生錯誤，發(fā)現(xiàn)錯誤（雖然并不總是立即發(fā)現(xiàn)），并像人類一樣糾正它們。該模擬還可以預(yù)測人們?nèi)绾芜m應(yīng)交替的環(huán)境，例如當(dāng)他們開始使用新的自動校正系統(tǒng)或鍵盤設(shè)計時，他們的寫作風(fēng)格會如何變化。

‘以前，人們主要是從手指移動的角度來理解觸摸屏打字的。基于AI的方法為這些運動提供了新的思路：我們發(fā)現(xiàn)了決定何時何地看哪里的重要性。

現(xiàn)在，我們可以對人們在手機或平板電腦上的打字方式做出更好的預(yù)測?！撠?zé)這項工作的Jussi Jokinen博士說。

這項研究將于5月12日在ACM CHI上發(fā)表，為開發(fā)更好甚至個性化的文本輸入解決方案奠定了基礎(chǔ)。

Jokinen解釋說：“現(xiàn)在，我們已經(jīng)對人在觸摸屏上的打字方式進行了逼真的模擬，優(yōu)化鍵盤設(shè)計以實現(xiàn)更好的打字應(yīng)該容易得多，這意味著更少的錯誤，更快的打字速度，并且對我來說最重要的是，減少了挫敗感。”

除了預(yù)測普通人將如何打字之外，該模型還能夠考慮不同類型的用戶，例如運動障礙的用戶，并可用于開發(fā)針對這些人群而設(shè)計的打字輔助工具或界面。對于那些沒有特殊挑戰(zhàn)的人，可以從個人寫作風(fēng)格中得出結(jié)論（例如，注意到在文本和電子郵件中反復(fù)出現(xiàn)的錯誤），哪種鍵盤或自動校正系統(tǒng)最適合一個用戶。

可視化鍵入時用戶指向和查看的位置。綠色表示眼睛位置，藍色表示手指。深色代表更長或更頻繁的掃視或移動。左：按模型模擬；右：用戶的觀察。

這種新穎的方法建立在該小組較早的實證研究的基礎(chǔ)上，該研究為人類如何進行認知模式提供了基礎(chǔ)。然后，研究人員產(chǎn)生了能夠獨立打字的生成模型。這項工作是在芬蘭人工智能中心的一個較大的交互式AI項目中完成的。

作為經(jīng)典的機器學(xué)習(xí)方法（強化學(xué)習(xí)）的基礎(chǔ)， 研究人員將其擴展為模擬人類。強化學(xué)習(xí)通常用于教導(dǎo)機器人通過反復(fù)試驗來解決任務(wù)。團隊發(fā)現(xiàn)了一種使用此方法來產(chǎn)生與人類行為非常相近的行為的新方法，包括錯誤，糾正和所有錯誤。

‘我們賦予模型與人類一樣的能力和界限。當(dāng)我們要求它有效地鍵入內(nèi)容時，它便找到了如何最好地利用這些功能的方法。最終結(jié)果非常類似于人類的打字方式，而無需使用人類數(shù)據(jù)來教授模型。’Jokinen說。

與人類打字數(shù)據(jù)的比較證實了該模型的預(yù)測是準(zhǔn)確的。將來，該小組希望模擬慢速和快速打字技術(shù)，例如，為想要提高打字效率的人們設(shè)計有用的學(xué)習(xí)模塊。

相關(guān)報道：

https://www.aalto.fi/en/news/ai-learns-to-type-on-a-phone-like-humans