人臉表情識別的技術(shù)特征及其教育應(yīng)用場景分析

人臉表情識別技術(shù)已成為近年來模式識別和人工智能相關(guān)領(lǐng)域的研究熱點問題之一。人臉表情在人類的內(nèi)心情感世界中起著傳遞媒介的作用，通過人臉表情識別可以獲得個體的各種即時情緒情感狀態(tài)，從而使個體的學(xué)習(xí)過程充滿各種即時性信息。如今，伴隨著“互聯(lián)網(wǎng)+教育”時代到來，人臉表情識別同樣也可以應(yīng)用于教育領(lǐng)域中，強(qiáng)大的人臉表情識別技術(shù)支持使得課堂教學(xué)和在線教學(xué)更加有序高效。人臉表情識別技術(shù)應(yīng)用于課堂教學(xué)和在線教學(xué)中，教師可通過觀察學(xué)生臉部表情變化及時了解學(xué)生的真實心理活動，進(jìn)而能準(zhǔn)確掌握學(xué)生對知識點的理解，并采取有效的手段來提高教學(xué)效果，使教學(xué)活動過程變得更加有趣和高效。

1 人臉表情識別的技術(shù)特征分析^[1]

1.1 產(chǎn)生與發(fā)展

人類語言可劃分為兩大類：自然語言與形體語言，人臉表情是形體語言中的一部分，一般是由人的眼部肌肉、口部肌肉與臉部肌肉等通過運動而形成。表情往往是人的情感變化可通過面部而觀察出的一種情緒表現(xiàn)，是人類情緒的一種客觀外顯行為。人臉表情識別廣泛應(yīng)用于社會情感分析、醫(yī)療診斷、安全駕駛、交通出行、商業(yè)宣傳與刑事案件偵破等領(lǐng)域。人臉表情識別是在人臉表情的基礎(chǔ)之上進(jìn)行的，人臉表情識別的發(fā)展可大致分為4個階段。第1階段可追溯到20 世紀(jì)70 年代，研究人員根據(jù)人臉的五官特征來識別不相同的人臉，采用基于幾何結(jié)構(gòu)特征的算法和基于模板匹配的算法進(jìn)行人臉識別。第2階段，Belhumeur 等人在人臉識別的實踐中加入Fisher準(zhǔn)則，采用隱馬爾可夫法和基于Fisher 的線性判別法進(jìn)行人臉識別的研究。第3 階段，人臉識別研究更加具有參考性和現(xiàn)實意義，Gabor 小波變換特征提取等算法的出現(xiàn)使得人臉識別的研究更加精準(zhǔn)。第4階段，大數(shù)據(jù)時代的到來，人臉識別的數(shù)據(jù)庫不斷壯大，CNN 卷積神經(jīng)網(wǎng)絡(luò)等算法的涌現(xiàn)不斷地推動著人臉識別的發(fā)展。

1.2 技術(shù)特征

1.2.1 人臉表情識別的要素

在20 世紀(jì)70 年代中期，著名美國心理學(xué)家Ekman通過實驗將人臉面部表情劃分為6 類: 高興(Happy)、悲傷(Sad)、害怕(Fear)、生氣(Angry)、厭惡(Disgust)和驚訝(Surprise)^[1]。人臉表情可傳達(dá)人類的特定情感信息，比如高興通常指聽到好消息或者見到想見的人，一般會通過舒展眉頭、眼存笑意與嘴角上揚來表達(dá)?；诖?，人們不斷的優(yōu)化發(fā)展著人臉表情識別技術(shù)。在這個研究分析過程中，表情數(shù)據(jù)集是人臉表情識別研究中一個至關(guān)重要的環(huán)節(jié)。其中較為典型的有20 世紀(jì)90 年代Lyons等人建立的一個以日本女性為代表的表情數(shù)據(jù)集（JAFFE）。該數(shù)據(jù)集共收錄日本女性的213張圖像，其中包含10名日本女性在相同環(huán)境下做出的高興、悲傷、中性、厭惡、憤怒、恐懼以及驚訝這7 種表情，每一種表情大約包含30張圖像^[2]。具體圖像如圖1所示。

圖1 JAFFE表情數(shù)據(jù)集部分圖像

1.2.2 人臉表情識別的過程

人臉表情識別過程可劃分為3 步：圖像化、特征提取與表情識別。圖像化是面部表情分析的第一步，是對人臉進(jìn)行圖像的取得與預(yù)先處理，首先對圖片或視頻中的人臉進(jìn)行定位獲取，然后根據(jù)人的眼睛、鼻子和嘴巴等器官的特征來檢測面部，最后將檢測器檢測到的面部圖像進(jìn)行預(yù)處理，即圖像歸一化處理。表情特征提取是表情分析過程中最為關(guān)鍵的一步，人臉圖像包含大量信息，所以進(jìn)行人臉面部表情識別時需提取出人臉五官特征、紋理特征等相關(guān)信息，人臉面部表情特征提取方法主要分3種：基于全局的提取方法、基于局部的提取方法以及混合提取方法。面部表情分析過程的最后一步是進(jìn)行表情識別。首先是采用基于模板的匹配方法、基于神經(jīng)網(wǎng)絡(luò)的方法、基于概率模型的方法以及基于支持向量機(jī)的方法等對面部表情進(jìn)行分類。待面部表情分類完成后，再采用面部行為編碼系統(tǒng)與基于模板的分類兩種方法進(jìn)行識別。人臉表情識別的整體過程如圖2 所示。

圖2 人臉表情分析過程

1.3 系統(tǒng)研發(fā)

人臉表情識別技術(shù)主要由三大系統(tǒng)組成：面部行為編碼系統(tǒng)(FACS)、臉部動畫參數(shù)(FAP) 與最大限度辨別面部肌肉運動編碼系統(tǒng)(MAX)。①面部行為編碼系統(tǒng)(FACS)。FACS 是著名的國際心理學(xué)家Ekman 根據(jù)人類面部解剖學(xué)的特點，將面部肌肉分解為幾個獨立且相關(guān)的運動單元AU，描述出不同面部肌肉運動和不同表情之間的對應(yīng)關(guān)系。FACS 對現(xiàn)實生活中大部分人類的表情進(jìn)行分類，并用面部運動描述了幾乎所有可能出現(xiàn)的面部表情，因而成為目前面部表情肌肉運動的權(quán)威參考標(biāo)準(zhǔn)。②臉部動畫參數(shù)(FAP)。FAP 用于3D 人臉識別，同時是MPEG-4 標(biāo)準(zhǔn)的一套標(biāo)準(zhǔn)參數(shù)，主要用于合成一種實時虛擬人臉表情動畫，它的主要編碼方案是基于關(guān)鍵特征點在人臉網(wǎng)絡(luò)中的位置來進(jìn)行實施的。FAP 是一套完整的人類面部運動集合參數(shù)標(biāo)準(zhǔn)，它與人臉肌肉運動密切相關(guān)，在描述自然面部表情時效果極佳。③最大限度地辨別面部肌肉運動編碼系統(tǒng)(MAX)。MAX 將人臉區(qū)域劃分為幾個部分：額頭、鼻翼和鼻根、眼睛、臉頰以及嘴唇和下巴的區(qū)域，相應(yīng)地對所列出的29 個面部運動單元進(jìn)行編碼，每個編碼代表面部特定區(qū)域的活動，面部表情就是由這些特定區(qū)域的肌肉運動組合而構(gòu)成。三大系統(tǒng)的特征比對如表1 所示。

2 人臉表情識別技術(shù)在教育中的應(yīng)用場景分析

2.1 課堂教學(xué)

傳統(tǒng)課堂教學(xué)主要是一種教師“講”與學(xué)生“聽”的面對面教學(xué)形式。通過與學(xué)生面對面的互動交流，教師可以從學(xué)生的表情、神態(tài)以及語言中獲取到學(xué)生是否理解領(lǐng)會所學(xué)知識，同時也可進(jìn)行表情與情感分析，及時調(diào)整教學(xué)節(jié)奏、調(diào)動課堂氣氛與調(diào)整教學(xué)策略。傳統(tǒng)的這種情感分析往往是基于教師實踐經(jīng)驗后的積累，面向的是學(xué)生群體的大部分，無法照顧到學(xué)生個體的個性化需求。借助于人臉表情識別技術(shù)的課堂教學(xué)應(yīng)用，可對學(xué)生學(xué)習(xí)狀態(tài)做出及時反饋和調(diào)整，例如對教學(xué)內(nèi)容疑惑時，學(xué)生表情為眉頭緊皺、頭部傾斜；對教學(xué)內(nèi)容理解時，則表情為展眉愉悅、頭部上揚；對教學(xué)內(nèi)容厭惡時，表情為眉頭微皺、頭部低下等。人臉表情識別技術(shù)在面對面課堂教學(xué)中應(yīng)用，便于教師對學(xué)生進(jìn)行即時情感分析與教學(xué)反饋，顯著地提升教學(xué)的效果和質(zhì)量。課堂教學(xué)中學(xué)生的面部表情類型主要分析如表2所示。

2.2 在線教育

作為當(dāng)今教育模式的主流之一，在線教育可實現(xiàn)師生之間遠(yuǎn)程互動與課堂交流等教學(xué)活動，實現(xiàn)任何時間、任何地點的時空分離教學(xué)。但因為在線教育中教師無法將授課表情及時傳遞給學(xué)生，學(xué)生也無法將學(xué)習(xí)進(jìn)度與情感及時反饋給老師，這種非面對面的單線教學(xué)模式極易造成教學(xué)情感缺失與人性化交流缺乏。人臉表情識別技術(shù)應(yīng)用在在線教育中，可以彌補(bǔ)教學(xué)情感交流缺失，使師生發(fā)生有效教學(xué)交互，實現(xiàn)科學(xué)有效的在線教育、提高學(xué)習(xí)效率與教學(xué)效果。人臉表情識別技術(shù)應(yīng)用于在線教育中，通過攝像頭采集學(xué)生上課時的人臉圖像或視頻，然后對其進(jìn)行加工處理，再采用相對應(yīng)的在線課堂狀態(tài)類型分類法對學(xué)生課堂狀態(tài)進(jìn)行監(jiān)測，進(jìn)而輔助教師順利進(jìn)行在線課堂教學(xué)，提高在線課堂教學(xué)效率。

2.3 學(xué)校生活

互聯(lián)網(wǎng)時代的到來給人們的日常生活帶來極大便利。智慧校園、智慧教室、智慧課堂、以及智慧食堂等一系列教育與互聯(lián)網(wǎng)深度融合的教育應(yīng)用場景應(yīng)運而生。人臉表情識別技術(shù)所支持的系統(tǒng)的廣泛普及，不僅在學(xué)校生活的日常運作中節(jié)省人力與物力，而且使得各項工作高效且有序進(jìn)行，甚至比之前人工實際操作所獲取的數(shù)據(jù)更加準(zhǔn)確且具有代表性。人臉表情識別技術(shù)在學(xué)校生活中的廣泛應(yīng)用將會促進(jìn)學(xué)校向智慧化、數(shù)字化與信息化方向深入發(fā)展，進(jìn)一步優(yōu)化學(xué)校管理、學(xué)校安防與教學(xué)管理等工作。

3 人臉表情識別技術(shù)的教育應(yīng)用問題分析

3.1 課堂教學(xué)表情識別的應(yīng)用與實踐定位不明確

應(yīng)用于課堂教學(xué)中的人臉表情識別技術(shù)可幫助教師有效實時監(jiān)控學(xué)生課堂表情變化，利于教師與學(xué)生的情感交流。然而，當(dāng)前人臉表情識別技術(shù)在課堂教學(xué)中的應(yīng)用不容樂觀，仍存在應(yīng)用實踐定位不明確問題。具體表現(xiàn)如下：①在人臉表情識別技術(shù)的實際應(yīng)用中，教師過度使用該技術(shù)監(jiān)測學(xué)生課堂表情變化，而忽視課堂教學(xué)最本質(zhì)的意義——如何采取有效教學(xué)策略提高課堂教學(xué)交互活動。②教師并沒有充分利用人臉表情識別技術(shù)所帶來的優(yōu)勢與學(xué)生進(jìn)行深層情感交流，而是一味地在意識別人臉的攝像頭是否準(zhǔn)確地監(jiān)測到學(xué)生表情，違背人臉表情識別技術(shù)應(yīng)用到教育場景的初衷。

3.2 在線教學(xué)表情識別的精準(zhǔn)度有待于提升

在非面對面的在線教學(xué)中，人臉表情識別技術(shù)存在無法準(zhǔn)確識別人臉、人臉識別錯誤等問題。產(chǎn)生上述問題的原因有如下幾點：①模糊圖像干擾。人臉圖像可能會受當(dāng)時環(huán)境中的光照強(qiáng)度、鏡頭變焦、曝光度以及學(xué)生個人動作幅度過大等一些不穩(wěn)定因素干擾，造成圖像識別模糊甚至出現(xiàn)馬賽克等現(xiàn)象，導(dǎo)致無法準(zhǔn)確識別人臉表情；②人臉角度問題。大部分學(xué)生在上課過程中很難保持一個固定不變的坐姿進(jìn)行課堂活動，學(xué)生上課時的狀態(tài)可能存在抬頭聽課與側(cè)頭發(fā)呆等幾種情況，不同的人臉角度極容易造成所采集的面部信息部分缺失，以及設(shè)備所拍攝的圖像缺乏完整性等問題。

3.3 學(xué)校生活應(yīng)用支持度不高

隨著智慧校園的興起，智能化的校園環(huán)境為師生與校內(nèi)工作人員提供諸多便利，其中人臉表情識別技術(shù)就是智慧校園中的一種智能化設(shè)備的應(yīng)用體現(xiàn)，但是其在現(xiàn)實學(xué)校生活中應(yīng)用的支持度并不高。究其原因，設(shè)備、技術(shù)以及物力人力成本的增加是最根本的原因。人臉表情識別技術(shù)引進(jìn)到校園生活中，首先，學(xué)校必然會增加對相關(guān)設(shè)備與技術(shù)的投資，其次，學(xué)校會聘請相關(guān)技術(shù)人員駐校輔助學(xué)校人員，包括設(shè)備安裝與設(shè)備操作等工作，這也會增加對人力與物力的投資。

3.4 教育大數(shù)據(jù)隱私問題

人臉表情識別技術(shù)應(yīng)用在學(xué)校的各個角落，包括寢室樓與圖書館門禁、智慧教室人臉簽到與課堂教學(xué)人臉表情監(jiān)控等幾種應(yīng)用場景。其應(yīng)用為學(xué)校日常生活帶來諸多便利，但人臉表情識別技術(shù)是一把雙刃劍，有其利也有其弊。人臉表情識別技術(shù)在實施過程中無疑會泄露學(xué)習(xí)者的個人信息，引發(fā)教育大數(shù)據(jù)隱私泄露等問題的爭論。教育大數(shù)據(jù)涵蓋學(xué)習(xí)者大量的信息，包括個人身份信息、學(xué)習(xí)資源信息與家庭成員信息等。學(xué)習(xí)者的各種信息被暴露在系統(tǒng)中，這不僅涉及隱私倫理等相關(guān)問題，更有可能對學(xué)習(xí)者的身心健康成長造成問題。

4 人臉表情識別技術(shù)的教育應(yīng)用問題對策

4.1 識別應(yīng)用的定位性要明確

要真正解決人臉表情識別技術(shù)在課堂教學(xué)中應(yīng)用的實踐定位不明確的問題，具體措施如下：①調(diào)整教學(xué)策略。在人臉表情識別技術(shù)應(yīng)用于課堂教學(xué)中，當(dāng)獲取到學(xué)生表情后，教師應(yīng)第一時間對其表情做出判斷，然后根據(jù)學(xué)生表情采取相應(yīng)的教學(xué)策略進(jìn)行教學(xué)，以便課堂教學(xué)效果達(dá)到最優(yōu)化。②進(jìn)行情感交流。課堂教學(xué)中情感交流這一環(huán)節(jié)尤為重要，許多教師會因個人精力不足無法照顧到每個學(xué)生的情緒，忽視學(xué)生課堂的情感反饋，導(dǎo)致教學(xué)效果不佳。人臉表情識別技術(shù)在課堂教學(xué)中的應(yīng)用充分解決這一大難題，教師應(yīng)重視其技術(shù)應(yīng)用反饋結(jié)果，進(jìn)而加強(qiáng)與學(xué)生之間的情感交流。

4.2 識別應(yīng)用的精準(zhǔn)度要提升

要有效解決人臉表情識別技術(shù)在課堂教學(xué)中人臉圖像識別精準(zhǔn)性不高等問題，需要改進(jìn)人臉圖像采集設(shè)備以提高采集精準(zhǔn)度并完善分析方法，具體解決方案如下：①提高采集精準(zhǔn)度。首先，考慮外在因素影響，改進(jìn)攝像機(jī)以及其他電子硬件設(shè)備，采用分辨率更高以及性能更好的攝像機(jī)進(jìn)行人臉圖像捕捉，以便更加高效準(zhǔn)確地捕捉與人臉相匹配的圖像。②考慮內(nèi)在因素影響，攝像機(jī)在課堂教學(xué)采集人臉圖像的同時可以選擇增加人臉圖像智能質(zhì)量評估環(huán)節(jié)，其宗旨是過濾人臉圖像識別過程中的模糊圖像、誤識圖像以及殘缺圖像，確保已識別出的人臉圖像是準(zhǔn)確且完好無損的；③完善分析方法。視頻流表情分析極其容易受到自然環(huán)境光照強(qiáng)度以及人物自身臉部姿態(tài)等影響，因此在人臉表情圖像識別預(yù)處理環(huán)節(jié)要嚴(yán)格把關(guān)以確保人臉表情圖像獲取的準(zhǔn)確性。

4.3 識別應(yīng)用的支持度要深入

人臉表情識別技術(shù)在學(xué)校日常生活中的應(yīng)用并不是很普遍，要實現(xiàn)人臉表情識別技術(shù)在學(xué)校生活中的廣泛應(yīng)用，需要加強(qiáng)其對學(xué)校生活中應(yīng)用的支持度。首先，需要解決資金問題。人臉表情識別技術(shù)的引入必然會耗費大量的人力與物力，學(xué)校需要有強(qiáng)大的資金扶持方可成功引入該技術(shù)。其次，制定意外情況發(fā)生的防治措施。避免意外情況帶來的種種挑戰(zhàn)，學(xué)校需安裝發(fā)電系統(tǒng)，以保證人臉表情識別技術(shù)的正常運行，避免停電等情況帶來的不必要損失。總之，人臉表情識別技術(shù)具有便捷、高效、低成本與高準(zhǔn)確性等優(yōu)勢，學(xué)校需要加大其對日常生活應(yīng)用的支持度。

4.4 識別應(yīng)用的技術(shù)性要適度

對于教育大數(shù)據(jù)隱私泄露等問題的解決，要從技術(shù)本身入手，考慮技術(shù)應(yīng)用的適度性原則。①支持技術(shù)創(chuàng)新。目前，人臉表情識別技術(shù)已廣泛應(yīng)用在學(xué)校課堂教學(xué)中，相關(guān)技術(shù)人員應(yīng)對人臉表情識別技術(shù)進(jìn)行創(chuàng)新與研發(fā)，完善與優(yōu)化人臉表情分析方法，以便更好地迎接教育大數(shù)據(jù)所帶來的各種挑戰(zhàn)與困難。②技術(shù)應(yīng)用適度。高度重視教育信息收集的防護(hù)工作，充分利用現(xiàn)代化技術(shù)實現(xiàn)數(shù)據(jù)的實時分析與在線監(jiān)控，提高人臉表情識別技術(shù)的安全應(yīng)用水平。

參考文獻(xiàn)：

[1] 徐琳琳,張樹美,趙俊莉.基于圖像的面部表情識別方法綜述[J].計算機(jī)應(yīng)用,2017,37(12):3509-3516+3546.

[2] 葉繼華,祝錦泰,江愛文,等.人臉表情識別綜述[J].數(shù)據(jù)采集與處理,2020,35(1):21-34.

[3] 阮靜.基于計算思維培養(yǎng)的人工智能課程設(shè)計實踐探究——以《人臉識別》一課為例[J].中國現(xiàn)代教育裝備,2021(22):18-20.

[4] 于洋.人臉識別醫(yī)療應(yīng)用初步探討[J].中國信息化,2021(11):80-81.

[5] 董雷剛,崔曉微,趙陽光,等.基于人臉識別+Android技術(shù)的高校學(xué)生考勤系統(tǒng)設(shè)計[J].電腦知識與技術(shù),2021,17(32):91-93.

[6] 黃振龍,吳林煌.基于Yolov5s和Dlib的視頻人臉識別[J].電腦知識與技術(shù),2021,17(32):94-96.

[7] 張曼云,熊杰,蘇有為,等.基于嵌入式人工智能芯片的人臉識別安防報警方法[J].信息技術(shù)與信息化,2021(10):233-236.

[8] 周楠,周建設(shè).基于深度學(xué)習(xí)的學(xué)生行為分析與教學(xué)效果評價[J].現(xiàn)代教育技術(shù),2021,31(8):102-111.

[9] 張悅欣,付曉峰.結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與OpenCV的人臉表情識別[J].電腦知識與技術(shù),2021,17(5):183-185.

[10] 魏艷濤,雷芬,胡美佳,等.學(xué)生表情識別研究綜述[J].中國教育信息化,2020(21):48-55.

[11] 賈鸝宇,張朝暉,趙小燕,等.基于人工智能視頻處理的課堂學(xué)生狀態(tài)分析[J].現(xiàn)代教育技術(shù),2019,29(12):82-88.

[12] 韓麗,李洋,周子佳,等.課堂環(huán)境中基于面部表情的教學(xué)效果分析[J].現(xiàn)代遠(yuǎn)程教育研究,2017(4):97-103+112.

[13] 孫波,劉永娜,陳玖冰,等.智慧學(xué)習(xí)環(huán)境中基于面部表情的情感分析[J].現(xiàn)代遠(yuǎn)程教育研究,2015(2):96-103.

（本文來源于《電子產(chǎn)品世界》雜志2023年3月期）