蘋果專利分享：在低光條件下的AR/VR手部交互追蹤操作方案

在低光條件下操作電子設備

低光條件會對XR設備造成影響，例如手勢識別和追蹤。所以在名為“Electronic device with a display for low light conditions”的專利申請中，蘋果就介紹了一種針對低光條件的應對方法。

圖5顯示了在低光條件下操作電子設備的示例過程。在510，與亮度標準相關聯(lián)的媒體項可選地顯示在朝內(nèi)顯示器。例如，可以在朝內(nèi)顯示器顯示電影，并且電影與代表暗閾值亮度的亮度標準相關聯(lián)。

在520，朝外照明模塊接收指示顯示設備的環(huán)境照明條件的信息。指示環(huán)境照明條件530的信息包括指示環(huán)境照明條件亮度的亮度信息535和指示環(huán)境照明條件顏色的顏色信息540。例如，亮度信息535可包括亮度等級，顏色信息540可包括色溫。

在550，朝外照明模塊確定環(huán)境照明條件是否滿足與在510中顯示的媒體項目相關聯(lián)的亮度標準。朝外照明模塊可將亮度信息535與亮度判據(jù)進行比較，以確定是否滿足亮度判據(jù)。

確定560中的像素集可以任選地包括塊565和/或570。在565，朝外照明模塊可以基于來自注視點追蹤用戶界面的指示器來確定感興趣的區(qū)域。

在570，朝外照明模塊可以基于基于手勢的用戶界面的輸入?yún)^(qū)域確定感興趣區(qū)域。例如，基于手勢的用戶界面可以提供輸入?yún)^(qū)域的指示器。

在580，朝外照明模塊可以以亮度585和顏色540驅(qū)動在560中確定的一組像素，以改善環(huán)境感興趣區(qū)域的照明。驅(qū)動580中的像素集可以任選地包括590，其中，朝外照明模塊可以以亮度585驅(qū)動在560中確定的像素集，使得滿足與在510中顯示的媒體項目相關聯(lián)的亮度標準。

由于環(huán)境照明信息530包含顏色信息540，所以朝外照明模塊165可以以匹配的顏色540驅(qū)動顯示器中的像素集，從而使得用戶體驗到環(huán)境更舒服的照明。另外，朝外照明模塊可以確定最小亮度585，以使得環(huán)境照明的亮度535和顯示設備的亮度585的組合滿足亮度標準，而不會導致環(huán)境中的顏色感知為“褪色”。

圖6顯示了執(zhí)行圖5示例過程500的電子設備。顯示設備210包括朝外顯示設備210A和朝內(nèi)顯示設備210B，以及光學傳感器220。

所述朝內(nèi)顯示設備210B和所述朝外顯示設備210A的定位使得來自所述朝內(nèi)顯示設備210B的投影和來自所述朝外顯示設備210A的投影不相交。即朝內(nèi)顯示設備210B和朝外顯示設備210A在環(huán)境中面向不同的方向。

在示例性操作環(huán)境600中，朝內(nèi)顯示設備210B朝向用戶250，朝外顯示設備210A遠離用戶250朝向環(huán)境。朝內(nèi)顯示設備210B可以顯示與特定亮度標準相關聯(lián)的媒體項目，例如用于黑暗電影院環(huán)境的電影媒體項目和相關亮度標準。

盡管與電影媒體項目相關聯(lián)的亮度標準可以對應于黑暗的電影院，但基于手勢的用戶界面可以具有代表閾值亮度的相關亮度標準，低于所述閾值亮度則無法識別手勢。

朝外照明模塊可沿朝外顯示設備210A的底部驅(qū)動一組像素，以照亮基于手勢的用戶界面的輸入?yún)^(qū)域660和用戶250的手260。作為另一個示例，注視追蹤界面可以確定用戶250的注視650指向表桌子10之上的感興趣對象620。

然后，朝外照明模塊165可以驅(qū)動朝外顯示設備210A的一組像素來照亮感興趣對象620。作為進一步的示例，顯示設備210可以包括在頭顯中。

朝內(nèi)顯示設備210B可用于向用戶250顯示內(nèi)容，朝外顯示設備210A可用于向用戶250附近的人顯示信息。

頭顯同時可以包括眼動追蹤系統(tǒng)，以追蹤用戶250的注視650和位于朝外顯示設備210A相同表面的外部攝像頭或其他傳感器220，以確定朝外顯示設備210A的環(huán)境照明條件。

朝外照明模塊165可根據(jù)來自頭顯內(nèi)眼動追蹤系統(tǒng)的信息確定注視650指向桌子610的感興趣對象620，并驅(qū)動朝外顯示設備210A的一組像素照亮感興趣對象620。

圖7示出了在低光條件下操作電子設備中的進一步示例過程。流程圖從710開始，其中朝外照明模塊接收指示朝外顯示設備的環(huán)境照明條件的信息。

在710，指示環(huán)境照明條件的接收信息可任選地包括715和/720。在715，包含朝外攝像頭的光學傳感器220捕獲環(huán)境圖像，并且朝外照明模塊165可以基于從光學傳感器220捕獲的圖像確定環(huán)境照明條件。

或者，環(huán)境照明模塊170可以根據(jù)從光學傳感器220捕獲的圖像確定環(huán)境照明條件，并向朝外照明模塊165提供指示環(huán)境照明條件的信息。

在720，朝外照明模塊165接收指示環(huán)境的多個區(qū)域的環(huán)境照明條件的信息。例如，朝外照明模塊165可以接收指示環(huán)境中四個象限中的每個象限的環(huán)境照明條件的信息。

在730，朝外照明模塊確定環(huán)境照明條件是否滿足亮度標準。在包括720的實施例中，步驟730包括確定每個區(qū)域是否滿足亮度標準。例如，房間一角的一盞燈照亮了環(huán)境中四個象限中的三個。四個象限中的三個象限的環(huán)境照明條件滿足亮度標準，但第四象限不滿足。根據(jù)一個或多個區(qū)域不滿足亮度標準的確定，朝外照明模塊165可以確定與環(huán)境中感興趣區(qū)域相對應的朝外顯示設備210中的一組像素。

確定在740的像素集可以任選地包括745和/750-755。在745，朝外照明模塊165基于不滿足亮度標準的環(huán)境的一個或多個特定區(qū)域確定感興趣的區(qū)域。例如，當感興趣的區(qū)域不包括在特定區(qū)域中時，朝外照明模塊165可以確定感興趣的區(qū)域需要更少的額外照明并且在像素集中包括更少的像素。

在750，朝外照明模塊165確定顯示設備210的位置變化，并根據(jù)755中的位置變化確定像素集。例如，包含在傳感器145中的加速度計可以確定用戶250持有顯示設備210已從坐姿移動到站立位置。

然后，朝外照明模塊165可以確定感興趣的區(qū)域是地面和預期用戶250將沿著的路徑。朝外照明模塊165確定與感興趣的區(qū)域相對應的像素集，并照亮用戶250腳前的地面。

在760，朝外照明模塊165驅(qū)動一組像素在一個特定的亮度，以提高在感興趣的區(qū)域照明。770，在顯示設備210進一步包括向內(nèi)顯示設備的實施例中，媒體項可以基于像素集和確定的位置變化任選地顯示在朝內(nèi)顯示設備。

圖9顯示了確定環(huán)境照明條件的示例過程900。在910，朝外照明模塊165以顏色序列中的特定顏色驅(qū)動朝外顯示設備210。

在920，朝外照明模塊165使諸如光學傳感器220的朝外攝像頭捕獲與在910驅(qū)動的顏色序列中所述顏色相對應的環(huán)境圖像。在930時，朝外照明模塊165確定顏色序列中是否有剩余的顏色。如果顏色序列中有剩余顏色，則朝外照明模塊165返回到910，并以顏色序列中的另一種顏色驅(qū)動朝外顯示設備210。

當捕獲到與顏色序列中的每一種顏色相對應的圖像時，朝外照明模塊165可以根據(jù)940中的圖像集選擇確定感興趣的環(huán)境顏色。例如，朝外照明模塊165可確定所述環(huán)境中環(huán)境照明的色溫、所述環(huán)境中對象的顏色范圍等。

在950，朝外照明模塊165確定環(huán)境照明條件是否滿足亮度標準。根據(jù)環(huán)境照明條件不滿足亮度標準的確定，朝外照明模塊165可以確定對應于感興趣區(qū)域的一組像素。然后，朝外照明模塊165以特定亮度驅(qū)動所述像素集，以改善在感興趣區(qū)域中的照明。

相關專利：Apple Patent | Electronic device with a display for low light conditions

https://www.nweon.com/

名為“Electronic device with a display for low light conditions”的蘋果專利申請最初在2023年3月提交，并在日前由美國專利商標局公布。

來源：映維網(wǎng)