基于结构照明的旋转偏移微透镜阵列用于疼痛评估的立体面部成像

传统的疼痛评估方法，如患者自我报告，限制了轻松监测疼痛的可能性，而疼痛在临床实践中发挥着重要作用。在这里，我们报道了一种通过点模式照明辅助的3D人脸阅读摄像机来评估疼痛的方法。人脸识别相机模块(FRCM)由立体相机和点投影仪组成，可以在不需要人的主观判断的情况下定量测量面部表情变化。点投影仪中的旋转偏置微透镜阵列(roMLAs)在人脸上形成均匀的密集点图案。点投影可以改善非纹理面部的三维重建结果，便于评价面部表情的三维变化。此外，无论头部运动如何，FRCM都可以根据3D数据提供一致的疼痛评级。这种疼痛评估方法可以为精确、实时和持续的疼痛监测提供新的指导方针。

由于疼痛程度是慢性疾病的治疗结果，因此临床程序需要对疼痛进行定量和精确的评估[1]或非言语监测[2］．由于医院护士工作量大，反复疼痛监测可持续性差，而定期疼痛评估可提高治疗效果[3.］．疼痛评分方法，如数值评分量表(NRS)和视觉模拟评分量表(VAS)，往往需要自我报告或医疗团队定期访问，导致应用范围有限[4，5，6，7］．Wong-Baker面部疼痛评定量表(WBS)被广泛应用于非交流患者(如儿童或智障人士)基于面部表情的疼痛评估[8］．WBS通过比较参考图像和患者面部表情来估计疼痛强度。然而，传统方法涉及评估时间长、应用范围有限或持续监测不足[9］．

1978年提出的面部动作编码系统(FACS)将特定的面部肌肉运动定义为动作单元(Action units, au)，将面部表情对肌肉运动的变化进行分类。训练有素的专家通过观察一个人的静态图像或视频直接对面部表情进行编码[10］．Prkachin和Solomon疼痛强度(PSPI)利用了几个与疼痛相关的au，作为疼痛强度的基本真相[11，12］．人脸模糊和微妙的动作被人类评分者主观分类，用于使用AUs进行疼痛评估[13］．之前的一些作品也证明了疼痛的二维面部表情，因为面部表情的变化与疼痛的强度密切相关[9，14］．然而，由于人脸的二维信息，光照、化妆或无眉等环境干扰阻碍了精确的评估[6，15，16］．三维面部图像采集进一步改善了疼痛评估，但仍存在精确评估的技术问题[17，18］．作为一种替代方法，生物电信号如心电图仪和肌电仪有助于疼痛监测，但仍需要明确解释生物电信号与疼痛的关系，并克服高侵入性[3.，19，20.］．立体相机与被摄物之间的距离通常由双目视差来估计[21]而非纹理表面(如人脸)的3D重建质量较低[22］．最近。结构照明驱动的立体摄像机极大地改善了非纹理样本的双目视差[23］．

使用面部阅读相机模块(FRCM)定量疼痛评级的示意图。一个FRCM三维人脸成像的概念。立体摄像机用于获取人脸的深度信息。近红外点投影提高了立体匹配的性能。b一个使用FRCM的传统疼痛度量和疼痛评估的说明。FRCM通过面部表情的变化来测量疼痛强度，而传统方法通常依赖于自我报告

全尺寸图像

在这里，我们报告了一个用于疼痛评级的3D人脸阅读摄像模块(FRCM)。1)．FRCM由一个立体摄像机和一个点投影仪组成，可以在三维空间读取面部表情，从而对疼痛进行数值分析。点投影仪包含旋转偏移微透镜阵列(roMLAs)作为衍射光学元件(DOE)），可为紧凑立体成像系统提供结构照明[24，25］．roMLAs在人脸上提供高均匀性和高对比度的密集点图案，有效地提高了精确的3D重建，以量化微小的面部表情变化，并减少疼痛下头部运动的影响。

旋转偏置微透镜阵列(roMLAs)和FRCM。一个完全包装的FRCM。bFRCM的主要组成部分。点放映机由一个激光二极管、一个准直透镜和一个DOE组成。croMLAs的制作过程。dromla的SEM图像

全尺寸图像

FRCM包括用于获取图像视差的立体摄像机(oCamS-1CGN-U, Withrobot，韩国)和用于提高图像质量的点投影仪(图2)。2点投影仪包含一个激光二极管(L785P090, Thorlabs，美国)、一个准直透镜(A390TM-B, Thorlabs，美国)和作为DOE的roMLAs(图。2b).激光二极管发出的近红外光(785 nm)使人眼无法看到点状图案，以避免疼痛评估时的不便。FRCM在50 - 100 cm距离范围内获得清晰的图像，距离点投影仪50 cm处的照明强度为\(10 {\upmu}\text{W}/\text{c}{\text{m}}^{2}\)．点投影仪符合国际电工委员会(IEC 60825-1 Ed. 3.0)规定的激光1级安全等级，保证了在点投影下眼睛和皮肤的安全。通过在玻璃晶片两侧形成两个具有旋转偏移角的六角形微透镜阵列，对roMLAs进行了微加工(图2)。2c) (24］．该微透镜具有高透镜曲率和高填充因子，可获得较大的衍射视场。特别地，微透镜阵列的旋转偏移量设置为13.25°，以创建高对比度和密度的六角形排列的点图案。数字2d显示了制造DOE一侧的扫描电子显微照片。

通过使用roMLAs驱动的结构光照明，人脸的3D重建得到了极大的改善。3.)．由于立体匹配算法的信息误差，目标物体的非纹理表面在重建图像中往往会出现失真或空洞的部分。FRCM的点投影通过在受试者皮肤上添加纹理，便于准确的深度估计，实现面部表情的变化。FRCM精确地估计了特征深度，误差不到一毫米。

利用FRCM重建三维点云。一个没有点投影的三维人脸成像往往会导致不正确的立体匹配。在非纹理表面的某些部分，深度信息采集失败或获取不正确。b点投影增强了非纹理表面的立体匹配效果

全尺寸图像

通过使用与疼痛相关的几何特征的马氏距离来进行数值疼痛评估。数字4a解释了马氏距离如何在二维空间中出现。该函数适用于定量疼痛评估，因为每个变量的权重应根据其重要性设置不同。疼痛强度度量选择了几个距离特征来测量疼痛下面部表情的变化(图。4b).距离特征被设计用来反映与疼痛有显著关系的面部表情，如低眉和上唇上扬[9，18］．随着与疼痛相关的相应au数量的增加，每个特征的权重因子被设置为更大的值[11］．

一个二维空间马氏距离等高线．b疼痛等级的距离特征。x₁，x₂:从眉毛到嘴巴;x_3.，x₄:从眉到眼;x₅:口高;x₆:口宽;x₇，x₈:从眼睛到嘴巴

全尺寸图像

疼痛评级是在旋转头部大小与真人相似的石膏模型(Marcus Vipsanius Agrippa半身像)时进行的，以验证对头部运动的耐受性。同时计算没有深度信息的疼痛强度，以显示头部的旋转效应。使用二维图像提取的面部特征对疼痛的评分显著依赖于旋转角度，而铸件的面部表情相对恒定。实验结果清楚地表明，来自3D图像的疼痛强度与来自2D图像的疼痛强度相对一致。5a).大量减少运动伪影对于定量和精确的疼痛非常重要[26］．面部表情变化的评价是成功地证明使用FRCM。志愿者扮演三种不同的面部表情，分别代表中性疼痛、中度疼痛和强烈疼痛。强烈疼痛时的面部表情显示出疼痛强度的高值(图。5b)，与常规方法(如NRS和WBS表示疼痛的离散值)不同，其数字更具连续性。此外，FRCM疼痛评估过程不涉及人的主观判断。

用FRCM测量疼痛等级。一个根据石膏石膏的旋转角度，比较3D和2D成像获得的疼痛等级。从3D图像获得的疼痛强度(平均:0.047，标准:0.012)比从2D图像获得的疼痛强度(平均:0.196，标准:0.078)更一致。b从人类面部表情的三维图像中测量疼痛强度。强表达式的值最高

全尺寸图像

基于roMLAs的点模式照明对人脸表情的精确三维重建起着重要作用。利用FRCM提取的三维几何特征，成功地进行了疼痛数值分析。由于3D面部阅读，无论面部方向如何，FRCM都能获得一致的疼痛强度。疼痛评估过程中分别进行面部图像采集、特征提取和分析。利用人脸标志检测算法，可以进一步实现该过程的实时执行。由于实现简单紧凑，roMLA驱动的结构照明开辟了精确3D成像的潜力，以改进面部表情的自动工具包。实验结果清楚地表明，基于点投影的三维面部成像克服了传统疼痛评估方法存在的运动伪影、评估时间长、决策主观等缺点。这种新型的面部阅读相机可以为先进的临床应用提供方便和实时的疼痛监测的新方向。

本研究中使用和/或分析的数据集可根据合理要求从通讯作者处获得。

来自:

行动单位

能源部:

衍射光学元件

流式细胞仪:

面部动作编码系统

FRCM:

人脸识别摄像头模块

评分:

数值评定量表

PSPI:

普卡钦和所罗门的疼痛强度

roMLAs:

旋转偏移微透镜阵列

血管:

视觉模拟比例尺

WBS:

Wong-Baker面临疼痛评定量表

不适用。

这项工作得到了国家研究基金会的资助，由科学和信息通信技术部资助(2021R1A2B5B03002428)，以及由贸易、工业和能源部(MOTIE，韩国)资助的技术创新计划(20012464)。

作者及隶属关系

1. 韩国科学技术院(KAIST)生物与大脑工程系，韩国大田儒城区大学路291号602 CMS大楼(E16)，邮编34141

   权在明，杨成杓，郑基勋

贡献

JMK和KHJ构思了这个想法。JMK进行了实验和数据分析。SPY设计并制作了旋转偏置微透镜阵列。JMK和KHJ撰写了手稿。所有作者都阅读并批准了最终的手稿。

相应的作者

对应到Ki-Hun宋．

伦理批准并同意参与

所有涉及人体受试者的实验都获得了KAIST IRB的批准(KH2020-105)。

相互竞争的利益

作者宣称他们之间没有利益冲突。

出版商的注意

施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。

附录

疼痛强度度量

让\ ({\ varvec {x}} _ {\ varvec {N}} = \离开({N} _ {1}, {N} _ {2}, \ ldots {N} _ {8} \) \)表示中性面测量值，令\ (\ varvec {x} = \离开({x} _ {1}, {x} _ {2}, \ ldots {x} _ {8} \) \)表示痛苦的面部表情的测量值。疼痛强度由\ (rm {f}}{\ \离开({\ varvec {x}} \右)= \√6{{{\离开({{{\ varvec {x}} _ {\ varvec {N}}} - {\ varvec {x}}} \右)}^ {{\ rm T}}} {\ varvec{年代}}\离开({{{\ varvec {x}} _ {\ varvec {N}}} - {\ varvec {x}}} \右)}\ cdot {\ varvec{年代}}\)表示一个8乘8的矩阵，表示由定义的每个特征的重要性和相关性

在哪里\ ({} _ {2} = {c} _{我}^ {2}/ {n} _{我}^ {2}\)这样\ \(左(c {} _ {1}, {c} _{2}, \点,{c} _{8} \右)= (0.5,0.5,0.35,0.35,0.4,0.4,0.2,0.2)\)．

开放获取本文遵循知识共享署名4.0国际许可协议，允许以任何媒介或格式使用、分享、改编、分发和复制，只要您对原作者和来源给予适当的署名，提供知识共享许可协议的链接，并注明是否有更改。本文中的图像或其他第三方材料包含在文章的创作共用许可协议中，除非在材料的信用额度中另有说明。如果材料未包含在文章的创作共用许可协议中，并且您的预期使用不被法定法规所允许或超出了允许的使用范围，您将需要直接获得版权所有者的许可。如欲查看本牌照的副本，请浏览http://creativecommons.org/licenses/by/4.0/．

转载及权限