1 引言

　　疼痛是一種包含感官、情感、認知和社會因素的、與實際或潛在的組織損傷相關的痛苦體驗。同時，疼痛也是最常見的臨床癥狀之一，在當前的醫療保健、康復醫學中具有巨大的應用潛力和醫療意義。目前臨床上疼痛檢測主要依靠患者的主觀報告，即在指定的時間內報告當前疼痛的等級(如 0~10)。然而，自我報告可能受到病人主觀性和心理因素的影響，缺乏統一的評判標準。對于一些如嬰幼兒或意識障礙患者等無法清晰表達自身疼痛等級的群體，這種方法也失去了作用。因此，自動疼痛識別技術就成為研究者探索的熱點領域。

　　在過去幾十年中，科研工作者從各個方面對疼痛識別進行了研究。一部分研究者通過生理信號提取相關的疼痛特征，如心電(ECG)、腦電(EEG)和肌電(EMG)等，取得了顯著的進展。但這些生理反應的獲取往往需要復雜的設備，不利于大規模應用，并且有可能加重患者的不適體驗。因此，為提供更便捷、舒適的疼痛評估方法，基于人臉的無感疼痛分析具有其合理性和可行性。

　　傳統的人臉疼痛識別方法主要對人臉的紋理、幾何特征建模，從而挖掘蘊含的疼痛信息。主流的方法包括主成分分析(Principal Component Analysis，PCA)和局部二元模式(Local Binary Patterns，LBP)。另外，還可以通過主動外觀模型 (Active Apperance Model，AAM)或主動形狀模型 (Active Shape Model，ASM)來捕捉像素點的數學變化。然而，傳統的手工特征無法得到深層次的空間信息以及時序信息。因此，如今人們更傾向于采用具有強大表征能力的深度學習方法來進行面部疼痛識別。El Morabit 等和 Ye 等通過卷積神經網絡(Convolutional Neural Networks，CNN)和局部注意力聚焦更細致的靜態表征;Zhou 等和 Rodriguez 等將多幀圖像的靜態特征送入循環神經網絡(Recurrent Neural Network，RNN)進行時序建模。de Melo 等和 Huang 等進而使用 3D CNN 直接提取視頻序列中的時序信息，捕捉更多的和疼痛表情相關的動態特征。然而，這些研究均未對動態和靜態疼痛特征進行融合。為了解決這個問題，一些工作同時考慮了動態和靜態特征，并納入了面部關鍵點，以獲取更全面的特征描述。盡管如此，這些研究僅從特征提取角度出發，并未考慮不同程度疼痛之間的差異。不同等級的疼痛(如 1 級和 10 級)通常對應不同的面部特征，這種差異特征則是區分不同疼痛等級的關鍵。因此，在疼痛評估的過程中將這種面部差異納入考慮具有充足的可行性。

　　受到上述工作的啟發，本文提出了一種基于對比學習的面部疼痛評估方法。首先，提取同一樣本不同模態的信息，包括時序特征、面部外觀特征和面部關鍵點的幾何特征，得到全面的疼痛信息表征;其次，通過引入對比學習的思想學習不同疼痛程度間特征的差異性，更有效地對疼痛等級進行區分;最后，設計了一種損失函數學習方法，自動學習對比學習損失和傳統均方誤差損失的比重。本文在 UNBC-McMaster 數據集上進行實驗，和現有方法相比具有最好的性能，證明了本文方法的有效性。

　　2 相關工作

　　2.1 面部疼痛識別

　　面部表情可以最直觀地反應人類所承受的疼痛狀況，因而成為研究疼痛的重要手段。早期研究者將其視為 1 個二分類問題，即只判斷有無疼痛。Ashraf 等使用支持向量機(SVM)對通過 AAM 獲得的相似歸一化形狀、相似歸一化外觀和規范外觀進行分類，證明了自動識別疼痛的可行性。

　　Lucey 等使用相同的方法在他們提出的 UNBC-McMaster 數據集上進行了實驗，通過識別面部動作單元(Action Units，AUs)計算 PSPI 評分(Prkachin and Solomon Pain Intensity，PSPI)作為度量指標。PSPI 將疼痛分為 16 個等級，其中 0 表示無痛，15 表示最強的疼痛等級。Khan 等通過分層梯度方向直方圖(Pyramid Histogram of Oriented Gradients，PHOG)和分層局部二值模式(Pyramid Local Binary Pattern，PLBP)提取有區分性的面部形狀與外觀特征。Zafar 等使用 KNN 對建立的面部幾何特征集進行分類。

　　然而，只判斷有無疼痛是非常粗糙的，無法滿足實際的應用。因此，越來越多的研究人員開始對疼痛的強度進行估計。最初研究者使用傳統手工特征如離散余弦變化(Discrete Cosine Transform，DCT)和 LBP、形狀直方圖(Histograms of Topographical，HoT)、尺度不變特征變化(Scale Invariant Feature Transform，SIFT)等來挖掘疼痛特征。近年來，基于深度學習的方法已經成為主流。Thiam 等設計了一個雙流網絡，通過注意力機制關注光流和歷史運動圖像中的特征。一些方法通過分析視頻序列中的時序信息，學習疼痛產生時面部表情的變化。文獻提取了面部關鍵點的位置和幾何信息，進而對疼痛特征進行表征。另外，靜態的面部圖像也蘊含豐富的疼痛信息，研究者們以全局和局部的角度作為切入點，通過注意力機制深入挖掘疼痛信息，展開了相關的工作。Huang 等和 Wang 等將上述的時序、關鍵點和面部圖像信息整合起來以得到更全面的特征。然而，以上工作都忽略了不同強度疼痛對應面部特征的差異，因此本文借助對比學習的思想來解決這個問題。

　　2.2 計算機視覺中的對比學習

　　對比學習作為一個新興的領域，近年來也被引入到計算機視覺的相關任務中。Wu 等把數據集中的每一個樣本都看作一個類別，通過這種個體判別任務將對比學習引入到計算機視覺中。He 等在此基礎上進行改進，通過隊列和動量編碼器來提升對比學習的性能。由于將每一個樣本都當成一種類別需要占用額外的計算資源，Ye 等和 Chen 等在一批數據中定義正負樣本，通過最大化正樣本特征的一致性進行訓練。Tian 等將同一個場景的不同視角作為正樣本來增大不同視圖下的互信息，從而學習一種具有視角不變性的本質特征。

　　傳統的對比學習都是基于無監督的范式，無法有效利用標簽中的信息。Khosla 等首先對無監督的方法進行擴展，提出一個有監督且易于實現的損失函數來利用標簽信息。Ma 等提出了一種有監督的對比學習框架，利用多頭自注意力區分不同視圖不同模態的相對重要性。Yuan 等使用數據增強的方式學習模態類內的本質特征，同時通過模態類間的對比提取跨模態的語義特征。Mai 等通過探索音頻、視覺和文本信息的類間關系，獲得了更充分的聯合嵌入特征，以進行更深入的情感分析。Mustafa 等利用圖像和文本對稀疏混合專家模型進行訓練，并提出了一個基于熵的正則化方案用來穩定訓練。然而，這些方法沒有關注與任務相關的損失函數，因此，本文設計了一種聯合優化對比學習和與任務相關的損失函數的方法。

　　3 算法設計

　　3.1 整體結構

　　針對目前工作沒有對比不同疼痛等級的特征差異，無法有效區分疼痛等級的問題，本文提出了基于對比學習的面部疼痛評估方法。首先，為了得到更加全面的疼痛特征，本文對視頻序列中的多模態信息進行提取。對于視頻序列中任意一幀靜態圖像 i，利用帶有預訓練權重的 ResNet-50 網絡作為特征提取器提取靜態的面部外觀特征;然后通過堆疊標簽相同的視頻幀形成時序通道輸入，利用 S3D-G 網絡提取其中的時序信息，捕捉更多的面部動態特征;隨后，使用一維卷積來提取經過處理后的人臉關鍵點數據(AAM)，得到面部的幾何特征，最終形成樣本 i 的特征集。對于一個批次的數據來說，對其中的每一個樣本做相同的處理，得到這個批次中所有樣本特征的集合 F。之后通過對比學習區分 F 中不同疼痛等級樣本的嵌入特征，學習更豐富的疼痛信息，提高視覺表征的質量。最后，通過自適應權重更新的方法聯合優化對比學習損失和均方誤差損失，增強網絡的性能。

　　3.2 多模態特征提取

　　為了更充分地利用已有信息，本文分別利用三維(3D)、二維(2D)和一維(1D)卷積網絡提取樣本中的疼痛信息。由于面部表情的動態變化是人類表達疼痛的重要區別特征，所以本文使用 S3D-G 網絡來提取圖像序列中的時序特征，S3D-G 網絡在計算復雜度和準確率上達到了平衡。Zhou 等的研究表明，在 3D 特征中引入 2D 特征可以得到更深、信息量更大的特征圖。因此，本文利用 2D 的 ResNet 網絡提取靜態圖像中的面部外觀特征，得到局部疼痛特征。另外，通過面部關鍵點的識別，可計算出客觀的 PSPI 評分，證實了它與疼痛表達的關聯性。因此本文首先參照文獻中的方法對關鍵點數據進行歸一化，然后利用 5 層 1D 卷積提取面部關鍵點中的幾何特征，與上述的 3D、2D 特征構成完備的特征集合。最后，將得到的特征拼接后通過全連接層得到疼痛評估分數，并使用均方誤差損失(mse loss)對模型進行優化。

　　3.3 疼痛對比損失函數

　　不同程度的疼痛通常對應著不同的面部表情，因此，對面部表情加以區分對于疼痛識別至關重要。然而，現有的工作多關注于疼痛特征的提取，無法有效區分疼痛等級。為此，本文提出了一種疼痛對比損失函數(con loss)，通過對比具有不同 PSPI 評分的樣本來學習不同疼痛程度對應面部特征的差異，提升了網絡的泛化性和魯棒性。

　　本文使用有監督的對比損失函數來利用標簽中的信息。有監督對比學習將具有相同標簽的數據視為正樣本，因此可以學到更高階的語義信息。本文將數據集中的靜態圖像視為樣本 i，將由其得到的時序信息和面部關鍵點數據作為數據增強方式，以此得到對比學習所需的正樣本。分別提取特征后，在對比不同疼痛等級所對應的面部特征時融合多模態的疼痛數據。

　　3.4 自適應損失函數權重更新

　　在一次前向傳播中，模型只能得到當前批次的數據，無法得到整個數據集全面的特征，因而計算出的損失函數具有局限性。為了在模型迭代過程中更嚴謹地約束模型的更新，本文設計了一種權重更新方法(Weight Update，WU)融合 con loss 和 mse loss 。權重的計算通過 Sigmoid 激活函數，由此學習到的權重范圍就在 0 到 1 之間，通過持續地從不同批次樣本中學習，可以不斷更新兩種損失函數在整個數據集下的權重，使得計算出的總損失函數更具有代表性。隨著模型不斷更新迭代，得到的損失函數更能準確體現預測值與真實標簽的差異，從而更好地利用這種信息。

　　4 實驗結果與分析

　　4.1 實驗數據集

　　本文在 UNBC-McMaster 數據集上對提出的方法進行驗證。UNBC-McMaste 是一個肩痛表情數據集，也是疼痛識別領域最常用的數據集。其中包含了 200 個視頻序列，記錄了 25 個成年肩痛患者的面部表情。該數據集每一幀都提供了 66 點的面部關鍵點坐標，并且用 0~15 的 PSPI 評分作為真實標簽。

　　對于不同通道數據的獲取，本文遵循文獻中的方法。即抽取視頻序列中的一幀得到靜態圖像，通過面部關鍵點坐標和仿射變換進行人臉裁剪及對齊，作為外觀支路的輸入。隨機選取和當前幀疼痛等級相同的 15 幀和當前幀拼接成 16 幀作為時序支路的輸入。使用距離歸一化方法處理關鍵點信息，得到一維的特征向量，并將其作為關鍵點支路的輸入，進而對所有的視頻幀進行評估。

　　4.2 實驗設置及指標計算

　　在數據預處理時，本文將裁剪后的人臉圖像縮放至 112×112，并進行隨機水平翻轉。為了在對比不同疼痛程度時得到更全面的特征，將 3 個通道的輸出維度都調整為 2048 維。網絡使用 SGD 算法進行優化，初始學習率為 0.0001，使用余弦退火調整學習率，總訓練迭代數為 40。實驗環境為 Ubuntu 20.04，NVIDIA GeForce RTX 4×3090。

　　參照之前的工作，本文使用留一驗證法(Leave One Subject Out)進行實驗，即選取數據集 中的每一位受試者作為測試集，其余的受試者作為訓練集進行訓練，如此重復 25 次，最終以 25 次實驗結果的平均值作為指標結果。本文采用平均絕對誤差(Mean Absolute Error，MAE)、均方誤差(Mean Square Error，MSE)和皮爾遜相關系數(Pearson Correlation Coefficient，PCC)。MAE 和 MSE 表示預測值和真實標簽的距離，越小越好。PCC 可以反映變量間的相關度，越大越好。

　　4.3 實驗結果及分析

　　本文和目前最先進的方法進行了比較，結果顯示本文方法 MAE 和 PCC 上達到了最好的效果，在 MSE 上基本與最先進的方法持平。使用傳統手工特征進行疼痛識別的方法存在特征單一、泛化性差以及準確率較低的問題。具有強大的表征能力、可以端到端學習的深度學習方法逐漸成為主流。有的方法通過捕獲面部變化探索多尺度時間信息 ，再使用卷積網絡提取面部的靜態特征，然后將得到的特征送入循環神經網絡中表征時序信息，從而構建時空模型。有的方法使用更強大的 3D 卷積網絡直接提取視頻序列中的時序特征，同時將靜態圖像特征和關鍵點特征也納入考慮，取得了更好的效果。本文與性能較好的方法均提取了面部圖像的時序信息、外觀信息和關鍵點信息。與這些方法相比，本文在 3 個指標上均有較大的提升，說明通過對比學習的方法，能夠充分學習到不同疼痛等級對應面部特征的差異，從而在疼痛評估時更好地區分疼痛等級。另外，之前的方法僅使用單一的損失函數，無法有效指導網絡訓練。本文提出的損失函數權重更新方法可以動態地結合對比損失和均方誤差損失，充分利用數據集中的信息。

　　為了更直觀地展示文本方法在數據集上的效果，進行了可視化實驗對比疼痛標簽的真實值和預測值，加入對比學習的損失函數以及自適應權重更新后的結果，可見預測結果更加接近真實值，且對于無疼痛的預測非常準確，證明了本文方法的有效性。

　　4.4 消融實驗

　　本文還開展了一系列消融實驗來驗證網絡中各個模塊的有效性。以單支路的關鍵點幾何特征(AAM)作為比較基準，在加入用 Res50 提取的外觀特征后，所有指標均得到改善，說明結合幾何特征和面部外觀特征可以更精確地評估疼痛等級。加入用 S3D-G 提取的時序特征時，所有指標也得到改善，說明捕捉時序信息可以獲得和疼痛相關的面部動態特征，有助于疼痛識別。此外，在加入基于對比學習的損失函數(CL)后，MAE 指標有較大提升，MSE 和 PCC 基本保持不變，說明對比不同疼痛等級下的特征可以減小預測誤差，使結果更為擬合。最后，在引入損失函數權重更新方法(WU)后，所有指標均有提升，說明在更全面地利用數據集中的信息后可以提升疼痛識別效果。本文采取留一驗證法進行實驗，所以學習到的權重 r 隨著不同子集而變化。除去一個標簽全部為無痛的子集，r 的值都在 0.3~0.7 的范圍內，驗證了聯合優化基于對比學習的損失和均方誤差損失的有效性。

　　5 結論

　　疼痛等級具有類間差異大的特點，考慮到現有方法不能有效區分不同疼痛等級下的面部差異，本文提出了一種基于對比學習的面部疼痛評估方法。首先分別提取了面部的多模態特征，隨后將其作為正樣本對進行疼痛等級的對比學習，最后設計了權重更新方法自動學習對比學習損失和均方誤差的比例，更有效地利用預測值和真實值的誤差信息。在 UNBC-McMaster 數據集上的實驗表明，將不同程度疼痛間的差異納入考慮可以提升評估性能，證明了本文方法的有效性。

　　另外，本文研究還有一些可擴展的方面。首先，不同模態特征雖具有差異，但其代表的本質是一致的，如何在學習本質特征的同時消除模態差異是一項關鍵任務。此外，疼痛等級之間的差異應有所區別，相近疼痛等級的差異應相對較小，如何考慮這種差異也是今后的研究方向。

徐日升;卿粼波;熊昆洪;高 峰,四川大學電子信息學院,202501