傳感器數(shù)據(jù)融合：提升增強(qiáng)游戲、導(dǎo)航和虛擬現(xiàn)實用戶體驗的關(guān)鍵組件

作者：Kaustubh Gandhi，Bosch Sensortec軟件產(chǎn)品經(jīng)理，與Bosch Sensortec傳感器數(shù)據(jù)融合軟件系統(tǒng)工程師Amithash Kankanallu Jagadish合著

簡介

無論是智能手機(jī)、可穿戴設(shè)備、虛擬現(xiàn)實耳機(jī)，還是機(jī)器人吸塵器，當(dāng)今用戶都期望并要求這些設(shè)備始終按照指令運行，并平穩(wěn)、準(zhǔn)確地適應(yīng)不斷變化的周圍環(huán)境。這需要精確的感測俯仰、滾轉(zhuǎn)和航向方向，而這些則是通過從設(shè)備內(nèi)置的加速度計、陀螺儀和磁力計收集的數(shù)據(jù)融合實現(xiàn)的。

通常在現(xiàn)實世界中，事物永遠(yuǎn)不會像其看起來那么簡單，例如，準(zhǔn)確確定航向（觀測）方向便是一項巨大挑戰(zhàn)，因為磁力計測量受到附近多個物體的負(fù)面影響。這些干擾性磁場影響，通常稱為硬鐵和軟鐵扭曲，可能由位于設(shè)備本身內(nèi)的各種元件和用戶周圍環(huán)境中的外部磁性物體引起。

本文旨在深入洞察和理解在當(dāng)今電子消費設(shè)備中獲得可靠傳感器數(shù)據(jù)所需的有效設(shè)計技術(shù)和軟件解決方案，并提高用戶對最終產(chǎn)品的滿意度。本文將提供強(qiáng)大傳感器數(shù)據(jù)融合技術(shù)的示例，例如基于在標(biāo)準(zhǔn)使用期間獲得的陀螺儀信號，對估算磁力計偏移加以利用，及其對用戶相關(guān)特征（例如行人和頭部跟蹤）的影響。

磁力挑戰(zhàn)

您是否曾由于智能手機(jī)導(dǎo)航應(yīng)用程序給出了錯誤的指示，而找錯了環(huán)島出口？使用虛擬現(xiàn)實耳機(jī)時，您是否經(jīng)歷過突然的眩暈？或者您的“智能”機(jī)器人吸塵器是否一再被卡在角落里？這些問題中的大多數(shù)，至少部分，是由不精確的慣性傳感器數(shù)據(jù)融合導(dǎo)出的不正確航向信息所造成的。那么，為什么最先進(jìn)的高精度傳感器仍然會記錄不準(zhǔn)確的信息，并且產(chǎn)生如此大的偏差？

在實驗室外，所謂的地球恒定磁場的剛性磁線不斷被各種物體修改，如門框、桌子、椅子和其他金屬物品?；谄涮囟ù盘匦?，這些物體通過稱為硬鐵和軟鐵扭曲的現(xiàn)象改變其周圍的磁場。 

圖1：羅盤誤差的來源：外部磁場

諸如NdFeB、AlNiCo等硬磁材料（“硬鐵”）引起高殘余B場或“磁記憶”，而軟磁材料（“軟鐵”）則通常是諸如鐵（Fe）、鎳（Ni）等材料及其合金。

當(dāng)磁力計用于設(shè)備中時，硬鐵扭曲由產(chǎn)生磁場的物體造成，例如揚聲器內(nèi)的磁鐵，由此導(dǎo)致傳感器輸出中稱為“恒定偏移”的偏差，然后需要對其進(jìn)行補(bǔ)償。另一方面，軟鐵扭曲則是由“被動”影響或扭曲其周圍磁場但自身不一定產(chǎn)生磁場的物體造成的，例如存儲卡插槽、電池、無線天線、門窗框架和各種其他周圍環(huán)境中的標(biāo)準(zhǔn)對象。這種類型的扭曲改變了磁球的實際形狀，并且很大程度上取決于材料相對于傳感器和磁場的定位。

如圖2所示，在典型的室內(nèi)區(qū)域，由于一般物體引起的磁場扭曲，羅盤方向變化很大，即羅盤的紅色“北”針指向各個方向。

圖2：典型室內(nèi)區(qū)域傳感器讀數(shù)（磁力計）的變化

因此，補(bǔ)償硬鐵和軟鐵扭曲對于獲得有意義的磁力計讀數(shù)至關(guān)重要。這種補(bǔ)償需要在設(shè)備設(shè)計期間進(jìn)行復(fù)雜的程序，并且在實際使用期間將結(jié)果結(jié)合到傳感器的軟件中，如下文中的進(jìn)一步描述。

接受扭曲

以下系統(tǒng)方法可用于補(bǔ)償影響磁力計讀數(shù)的失真：

·使用軟鐵矩陣在設(shè)計階段進(jìn)行補(bǔ)償

·通過標(biāo)準(zhǔn)“八字形動作”在使用中校準(zhǔn)軟件

·通過“自然使用動作”智能校準(zhǔn)軟件 

使用軟鐵矩陣在設(shè)計階段進(jìn)行補(bǔ)償

來自位于終端設(shè)備（例如智能手機(jī)）內(nèi)部部件的軟鐵扭曲是恒定的，因此可以通過使用一次性解決方案來補(bǔ)償。這種補(bǔ)償需要所謂的“軟鐵補(bǔ)償矩陣”（SIC Matrix），對此，設(shè)計者在設(shè)備中具有更廣泛的布局選項。這些補(bǔ)償后傳感器的讀數(shù)具有明顯更高的精度，與未補(bǔ)償讀數(shù)相比達(dá)±2°，其中誤差范圍可以輕松達(dá)到±10°。校準(zhǔn)通過3D線圈系統(tǒng)（亥姆霍茲線圈）進(jìn)行，該線圈系統(tǒng)由在同一軸上對中的兩個螺線管電磁鐵組成，可抵消這些干擾性外部磁場，以提供“清潔”的磁環(huán)境。帶有慣性傳感器的設(shè)備被放置在此清潔環(huán)境中，并接受測量，以創(chuàng)建磁力計的原始數(shù)據(jù)記錄，然后將其輸入數(shù)據(jù)驅(qū)動工具，生成SIC矩陣。之后，該SIC矩陣將合并至軟件驅(qū)動器中，并永久補(bǔ)償影響磁力計數(shù)據(jù)的設(shè)備內(nèi)軟鐵扭曲。

這種方法可以在實驗室條件下估算軟鐵效應(yīng)，當(dāng)然，使用過程中的變化和附加設(shè)備的影響無法得到補(bǔ)償。盡管如此，這依然是一種非常有效的設(shè)備內(nèi)部件校準(zhǔn)技術(shù)，強(qiáng)烈建議于設(shè)計階段在傳感器制造商專家的幫助下準(zhǔn)確生成SIC矩陣并加以應(yīng)用。

圖3：3D（亥姆霍茲）線圈，用于設(shè)備內(nèi)磁力計校準(zhǔn)

遺憾的是，在通常情況下，當(dāng)應(yīng)用于實際PCB時，實驗室校準(zhǔn)結(jié)果無法準(zhǔn)確工作，因為其中會生成被稱為“禁區(qū)”的區(qū)域，使這些裝置的準(zhǔn)確性極度降低，以致完全無法使用。

Bosch Sensortec的3D軟鐵補(bǔ)償技術(shù)大大減少了這一“禁區(qū)”現(xiàn)象。例如，如果在距離NFC天線僅9mm處測量傳感器數(shù)據(jù)失真，在補(bǔ)償之前，最大航向誤差為8°，而在補(bǔ)償之后，所有海拔高度的最大誤差僅為1.5°。

圖4：沒有軟鐵補(bǔ)償?shù)拇徘?/p>

圖5：有軟鐵補(bǔ)償?shù)拇徘?/p>

通過“八字形動作”在使用中進(jìn)行校準(zhǔn)

此方法并非實驗室密集型，但只需通過在已知的磁性清潔環(huán)境中移動設(shè)備（例如智能手機(jī)）便可收集大量有價值的數(shù)據(jù)。理想的動作是指沿最大定位范圍測量磁性的運動，由此幫助估算所有情況下的磁偏差。因此，該技術(shù)通常使用覆蓋所有三個軸向的八字形運動來執(zhí)行。 

圖6：令智能手機(jī)在3D空間中以八字形圖案移動

該圖案可描繪出由磁性扭曲而變形的磁球部分。從獲得的坐標(biāo)可以非常精確地估算磁球變形，以導(dǎo)出所需的校準(zhǔn)系數(shù)。使用該方法估算的偏移將用于補(bǔ)償來自外部環(huán)境的硬鐵扭曲。 

圖7：沒有偏移補(bǔ)償?shù)膫鞲衅鲾?shù)據(jù)

圖8：有偏移補(bǔ)償?shù)膫鞲衅鲾?shù)據(jù)

相當(dāng)多的智能手機(jī)設(shè)備和操作系統(tǒng)制造商仍然依賴于這種八字形校準(zhǔn)技術(shù)。出于校準(zhǔn)目的，當(dāng)今的智能手機(jī)經(jīng)常提示最終用戶使用地圖應(yīng)用程序在空間中進(jìn)行八字形動作。但是，通過在3D空間中移動設(shè)備來創(chuàng)建此模式可能需要10秒以上，并且如果用戶將其手機(jī)用于較為緊急的目的（例如玩動作游戲），或執(zhí)行對安全性要求較高的任務(wù)（例如在汽車內(nèi)使用智能手機(jī)導(dǎo)航），那么暫停游戲會讓玩家十分掃興，而將注意力從駕駛汽車轉(zhuǎn)至校準(zhǔn)設(shè)備則會造成安全風(fēng)險。

盡管如此，還是通常建議用戶使用這種方法，因為它可以提供可靠的結(jié)果。但是，只有當(dāng)用戶實際上能夠花時間重新校準(zhǔn)設(shè)備，并且物理上允許通過在3D空間中以八字形移動設(shè)備時，此方法才適用。

通過“自然使用動作”進(jìn)行智能校準(zhǔn)

盡管八字形動作非常適合智能手機(jī)，但在物理上也許并不可行，并且可能對其他類型的設(shè)備來說，執(zhí)行起來會比較困難或奇怪，例如腕部可穿戴設(shè)備、增強(qiáng)/虛擬現(xiàn)實耳機(jī)、入耳式可穿戴設(shè)備和機(jī)器人吸塵機(jī)。

磁力計校準(zhǔn)背后的基本理念在于通過估算磁球與地球磁場矢量的偏差作為半徑來估算磁力計的偏移。為了降低校準(zhǔn)所需的時間并以更小、更自然的運動校準(zhǔn)設(shè)備，可使用陀螺儀信號輔助磁場傳感器的校準(zhǔn)。

校正后的陀螺儀信號相對于最后磁場值定義其旋轉(zhuǎn)。一旦確定了新的磁場值，便會將其饋入擴(kuò)展卡爾曼濾波器（EKF）。EKF估計磁力計偏移和磁場矢量的大?。ò霃剑?。磁強(qiáng)計干擾檢測基于卡爾曼濾波器的殘差。 

由于這些快速傳統(tǒng)型磁力計校準(zhǔn)器利用陀螺儀數(shù)據(jù)，因此在重新校準(zhǔn)過程中被校準(zhǔn)的設(shè)備必須處于靜止?fàn)顟B(tài)，即陀螺儀本身在校準(zhǔn)期間不會漂移。然而，對于較新的“體戴式”裝置而言，這并不可行，因為這些時刻、并且是在較長的時間段內(nèi)處于使用和運動中。

定義了這個問題后，Bosch Sensortec專注于通過開發(fā)“自然使用型”快速磁力計校準(zhǔn)軟件來迎接挑戰(zhàn)。該軟件針對每種不同類型設(shè)備的典型用途獲得配置，即使這些處于恒定運動中。其目標(biāo)在于確保即使用戶不必做出任何特定、有意的動作，設(shè)備中的慣性傳感器也可以自動且準(zhǔn)確地校準(zhǔn)，以實現(xiàn)在變化環(huán)境中的使用。

以下將介紹可穿戴設(shè)備、控制器和耳機(jī)的幾個示例：

腕部可穿戴設(shè)備

對于佩戴腕表或健身追蹤器的人來說，經(jīng)常瀏覽設(shè)備、查看計算的步數(shù)或燃燒的卡路里、閱讀消息通知，或只是查看時間再自然不過了。由于大多數(shù)用戶不知道自己位于會影響其磁力計的材料附近，或者甚至在其設(shè)備中安裝了磁力計，因此設(shè)備需要在不知情的情況下在后臺執(zhí)行校準(zhǔn)。此外，如果用戶必須在空中揮手以校準(zhǔn)“智能腕表”，看起來會很奇怪。因此，Bosch Sensortec磁力計校準(zhǔn)器可在后臺靜音工作，無論何時用戶查看手腕，都可以補(bǔ)償磁力計偏移。

統(tǒng)計學(xué)已經(jīng)證明，只需做出兩三個“查看”設(shè)備的動作，這種用于可穿戴設(shè)備的快速磁力計校準(zhǔn)器便可估算出偏移，而且以典型且較低的數(shù)據(jù)速率運行。 

圖9：腕部可穿戴設(shè)備中航向誤差的系統(tǒng)消除 

該校準(zhǔn)程序?qū)κ覂?nèi)和室外導(dǎo)航應(yīng)用都很有效。例如，使用九軸慣性傳感器估算用戶位置和步行軌跡的PDR（行人航位推算）應(yīng)用程序在激活校準(zhǔn)器時具有相當(dāng)高的精度。下面的例子清楚地表明，雖然兩個軌跡估算都是從0.0開始，但在約為2x200m的短行走距離中未校準(zhǔn)設(shè)備的累積航向誤差導(dǎo)致的位置誤差超過43％。

圖10：沒有磁力計重新校準(zhǔn)的PDR軌跡

圖11：有磁力計重新校準(zhǔn)的PDR軌跡

虛擬和增強(qiáng)現(xiàn)實耳機(jī)

與此類似，現(xiàn)實中無法要求虛擬現(xiàn)實耳機(jī)的用戶經(jīng)常以八字形運動移動其頭部，尤其是佩戴耳機(jī)時。特別是對于耳機(jī)，由于大腦會記錄用戶實際運動和在屏幕上看到的視覺圖像之間的對準(zhǔn)偏差，即使相對較小的航向和水平傾斜偏差也可能導(dǎo)致非常不愉快的眩暈癥狀。

Bosch Sensortec的耳機(jī)磁力計校準(zhǔn)器校準(zhǔn)磁力計，同時用戶可自然地將頭部繞頸部軸線移動。校準(zhǔn)的積極效果已明顯地在頭部跟蹤算法和多個AR/VR子使用案例中的關(guān)鍵性能定位結(jié)果中得到證明。 

圖12：AR/VR耳機(jī)——帶磁力計校準(zhǔn)的動態(tài)運動

游戲控制板，VR/TV遙控器

隨著定向傳感器滲透到越來越多的電視遙控器中，以及VR遙控器和游戲控制板向應(yīng)用程序開發(fā)者提供越來越復(fù)雜的服務(wù)，收集準(zhǔn)確可靠的航向數(shù)據(jù)并使真北與內(nèi)容顯示設(shè)備彼此協(xié)調(diào)變得至關(guān)重要。這一問題尤其體現(xiàn)在，當(dāng)用戶手持控制裝置時，盡管他們的手靜止，但依然看到光標(biāo)在前進(jìn)中漂移，或光標(biāo)朝著與其實際手部動作不同的方向移動。

同樣，Bosch Sensortec的磁力計校準(zhǔn)器考慮到遙控器或游戲控制板的自然運動，并大大減少了航向偏差，如下面的實際數(shù)據(jù)所示。 

圖13：游戲控制板/VR遙控精度與磁力計校準(zhǔn)

綜述

3D線圈和數(shù)據(jù)驅(qū)動工具的組合可用于創(chuàng)建和利用SIC矩陣，此外，通過借助用戶界面通知用戶進(jìn)行八字形動作，和集成自然使用型快速磁力計校準(zhǔn)器軟件，九軸傳感器數(shù)據(jù)融合的可靠性如今獲得大幅提升。這一點非常重要，因為磁力計精度和傳感器數(shù)據(jù)融合是智能手機(jī)、可穿戴設(shè)備、AR/VR耳機(jī)和控制單元，甚至機(jī)器人真空吸塵器等各種設(shè)備的重要組成部分。

Bosch Sensortec的3D軟鐵補(bǔ)償將“禁區(qū)”減少了70％，為設(shè)計師和布局工程師提供了更大的靈活性和準(zhǔn)確性保證，并顯著降低了對產(chǎn)品再原型設(shè)計的需求。

此外，使用中校準(zhǔn)以及智能校準(zhǔn)技術(shù)通過降低現(xiàn)代環(huán)境中普遍存在的硬鐵扭曲，大大提高了航向精度。雖然使用中校準(zhǔn)依賴于用戶在三維空間中進(jìn)行八字形動作，但Bosch Sensortec開發(fā)的智能校準(zhǔn)器可以巧妙地融合設(shè)備自然使用期間收集的傳感器數(shù)據(jù)，以實現(xiàn)相同的結(jié)果。例如，對于智能腕表等可穿戴設(shè)備，軟件通過傳感器數(shù)據(jù)融合提高了行人跟蹤的可靠性。與此類似，通過分析耳機(jī)用戶的各種典型動作，例如躲避、低頭和彎腰、跳躍和坐下等，Bosch Sensortec比市面上其他類似的傳統(tǒng)型解決方案實現(xiàn)了更高的傳感器數(shù)據(jù)融合精度。

雖然航向精度的提高只是傳感器數(shù)據(jù)融合如何改善最終用戶體驗的一個例子，但Bosch Sensortec的傳感器數(shù)據(jù)融合軟件中還包含其他多種算法，可以幫助設(shè)備制造商令自己的設(shè)備脫穎而出，并大大改善終端用戶體驗。

您希望了解有關(guān)傳感器數(shù)據(jù)融合的更多信息，或進(jìn)行嘗試嗎？