中山大学吴进等：AI增强和硬件支持的多模态电子皮肤用于环境物体识别和无线有毒气体报警

研究背景

地震是最严重的自然灾害之一，在世界范围内造成严重的经济损失和人员伤亡。接连不断的余震和复杂的震区环境使救援工作充满挑战。救援机器人可以被远程控制进入地震灾区进行挖掘、搜索和救援被困人员，有望在地震救援行动中取代人类。然而，目前的救援机器人由于感知能力有限，在识别干扰物体和环境危险方面存在困难，严重影响了救援效率和生命安全。为了满足机器人执行复杂任务的需求，迫切需要开发一种具有超越天然皮肤的感官能力的多模态电子皮肤 (Multimodal E-skin)。

Design of AI-Enhanced and Hardware-Supported Multimodal E-Skin for Environmental Object Recognition and Wireless Toxic Gas Alarm

Jianye Li, Hao Wang, Yibing Luo, Zijing Zhou, He Zhang, Huizhi Chen, Kai Tao*, Chuan Liu, Lingxing Zeng, Fengwei Huo*, Jin Wu*

Nano-Micro Letters (2024)16: 256

https://doi.org/10.1007/s40820-024-01466-6

本文亮点

1. 提出了一种新型的基于PVA-CNF有机水凝胶的多模态可拉伸电子皮肤，该电子皮肤具有优异的温度、湿度、压力、接近度和NO₂传感特性，显示出超越天然皮肤的强大感知能力。

2. 设计的多模态电子皮肤在室温下表现出令人印象深刻的传感性能，包括快速的压力响应时间(0.2 s)，高温度灵敏度(9.38%°C-1)，宽湿度响应范围(22%-98% RH)，高NO₂灵敏度(254% ppm-1)，低检测限(11.1 ppb NO₂)和准确感知物体接近度的能力，这是以往报道的电子皮肤不具备的。

3. 将多模态电子皮肤与深度神经网络算法和无线报警电路相结合构建了传感器系统，实现对不同物体的零误差分类和对NOₓ泄漏事件的快速响应，证明了电子皮肤辅助救援机器人开展灾后救援的可行性。

内容简介

中山大学吴进、南京工业大学霍峰蔚、西北工业大学陶凯等人提出多层有机水凝胶薄膜结构的多模态电子皮肤，不仅再现了天然皮肤的压力、温度和湿度传感能力，还开发了感知物体接近和NO₂气体的功能。其基于Ecoflex和PVA-CNF有机水凝胶的多层堆叠结构赋予了电子皮肤与天然皮肤相似的柔性可拉伸等力学性能。集成多模态电子皮肤和人工智能算法的救援机器人具有强大的环境感知能力，可以通过抓握准确区分物体和识别人体肢体，为震后自动化救援奠定了基础。此外，电子皮肤与NO₂无线报警电路的结合，使机器人能够实时感知环境中的有毒气体，从而保护被困人员免受有毒环境的伤害。基于人工智能算法和硬件电路的多模态电子皮肤具有强大的环境感知和信息处理能力，其作为与物理世界交互的接口，极大地扩展了智能机器人的应用场景。

图文导读

I 温度和湿度传感模块

湿度传感模和温度传感模块在电子皮肤中的相对位置如图1a所示。FTIR测试表明，PVA-CNF有机水凝胶内部含有大量的O-H，可以通过氢键与游离水分子物理结合，因此表现出极高的湿度灵敏度(图1b和图1c)。

根据电化学阻抗谱图，整个湿度/温度模块可以等效为由电阻和电容组成的电路(图1d)。在湿度测试过程中，连续的吸水过程导致聚合物网络展开和电离质子产生，促进了离子扩散速率和Ag/水凝胶界面上的电荷转移，最终导致Warburg阻抗和界面电荷转移电阻下降。在温度测试过程中，温度的变化会显著影响质子扩散速率和界面电荷转移速率，最终表现为温度模块电阻值的变化。图1e和图1f显示了在不同温度下模块对22-98%相对湿度的响应。由于温度的升高对界面电荷传递和质量扩散过程的促进作用，模块对湿度的响应随温度的升高而增大。湿度测试模块在交流测试方法下对NO₂无响应，因此能够避免环境气体的干扰(图1g)。图1h和图1i显示了温度模块在21.5-48.6℃下的动态响应并具有9.38% /℃的高温度灵敏度。由图1j可以看出，温度模块对温度变化响应迅速，响应时间为7 s，恢复时间为43 s。此外，基于Ecoflex薄膜封装策略的温度模块能够良好的隔绝环境湿度和气体的串扰(图1k)。

图1. 湿度和温度模块的传感性能。(a) 电子皮肤的多层堆叠结构及湿度和温度模块的相对位置。(b) PVA-CNF有机水凝胶的FTIR光谱。(c) PVA-CNF有机水凝胶内部的PVA、Gly和CNF分子通过丰富的氢键相互结合。(d) PVA-CNF有机水凝胶膜的温湿度传感机理及等效电路示意图。(e) 湿度模块在25-45℃ 98-22% RH环境中的动态响应曲线。(f) 25-45℃下，湿度模块对相对湿度的响应变化曲线。(g) 湿度模块对2-0.4 ppm NO₂的动态响应曲线，说明湿度模块对NO₂不敏感。(h) 温度模块在21.5-48.6℃温度变化下的动态响应曲线。(i) 温度模块响应拟合曲线。(j) 温度模块响应和恢复时间分析。(k) 温度模块对60% RH和2 ppm NO₂的动态响应曲线，表明其对NO₂和湿度都不敏感。

II 压力传感模块

电子皮肤的压力传感功能是由一个灵敏的平行板电容器实现的。具体来说，顶部的有机水凝胶膜和中间的Ecoflex包裹的有机水凝胶膜被用作电容器的上下平行板电极，Ecoflex是板间的介电介质(图2a)。当模块受到挤压时，上下板之间的距离减小(图2b)。增加的应力将导致电容器更大几何变形。由图2b中的公式可知，电容器极板之间距离的减小导致电容值的增大。通过记录模块的实时电容信号，可以很好地实现精确的压力测量。图2c为压力模块在23℃环境中承受不同压力时的动态响应信号。从图2d-e中可以看出，模块的压力灵敏度随着温度的升高而增加，这是由于温度引起的材料静电特性的变化。为研究其长期性能稳定性，在压力模块上进行了1000次负载压力为7 KPa的压力循环试验。如图2f所示，在长期测试过程中，压力模块的电容信号保持不变，说明该模块具有良好的长期性能稳定性。此外，该模块对压力有着较快的响应恢复速度。如图2g所示，压力模块的响应时间为0.2 s，恢复时间为0.25 s。由于该模块具有快速的响应和恢复特性，可以检测不同频率的压力阶跃脉冲(图2h)。

图2. 压力模块的传感性能。(a) 电子皮肤的多层堆叠结构与压力模块的相对位置，其由上下凝胶电极和夹层弹性体介电层组成。(b) 压力模块传感机理示意图。(c) 23℃环境中，压力模块在不同压力下的实时响应信号。(d) 不同温度下的压力响应拟合曲线。(e) 压力模块在不同温度下的灵敏度变化。(f) 重复按压1000次时记录的动态电容信号。(g) 压力模块响应及恢复时间分析。(h) 压力模块受到不同频率压力时的实时响应信号。

III 接近度传感模块

当检测物体逐渐靠近传感模块时，器件的部分电场线穿过物体到达地面，最终使器件电容Cₘ减小。这可以等效于电容器Cₘ给电容器Cf充电的过程(图3a)。为了直观地验证接近度传感机理，采用有限元分析对接近度模块进行建模。由图3b可以看出，当物体处于无限大距离时，其中一块水凝胶板发出的电场线完全流向另一块水凝胶板。当物体逐渐接近接近度传感模块时，一些电场线通过金属圆柱流入地，导致电容减小(图3c)。图3d记录了实际测试过程中接近度模块产生的实时电容信号。从图3e可以看出，物体远离和接近模块时的响应距离曲线几乎完全重合，说明接近度模块的性能一致性。此外，实验得到的响应距离曲线与仿真结果非常接近，从另一个角度验证了接近度传感机理，为以后的性能优化奠定了基础(图3f)。为了研究温度对传感性能的影响，将模块放置在不同的温度环境中进行后续测试。实时响应距离曲线如图3g所示。图3h是对图3g中距离为3-7mm的数据点进行线性拟合得到的。当温度升高时，邻近模块的灵敏度先降低后增加，这是有机水凝胶的电导率和Ecoflex介电层的介电常数两者的协同作用导致的(图3i)。

图3. 接近度模块的传感性能。(a) 接近度模块的传感机理示意图。(b) 和 (c) 为物体处于无限远距离和靠近时，用于展示空间电场和电势分布的有限元分析图像。(d) 当被测物体与模块之间的距离从3mm增大到29mm再减小到3mm时，模块产生的实时电容信号。(e) 物体与模块之间的距离从3mm增大到29mm再减小到3mm时得到的电容距离曲线。(f) 有限元模拟与实验所得的电容-距离曲线的比较。(g) 在不同温度下，当物体与模块的距离从1mm增加到7mm时，模块的实时响应信号。(h) 不同温度下，距离为3-7mm时模块的响应拟合曲线。(i) 接近度模块在不同温度下的灵敏度。

IV NO₂传感模块

NO₂模块的器件结构和传感机理分别如图4a和图4b所示。在阴极，NO₂被还原为NO，产生与NO₂浓度成正比的法拉第电流。在阳极，Ag被氧化为Ag₂O。从图4c-d可以看出，NO₂模块在折叠和展开状态下的响应信号高度一致，这是因为两电极之间具有相对固定的传质距离。升高的环境湿度会促进还原反应，最终使响应电流增大，这与图4e的实验结果一致。由于薄膜化的水凝胶材料易受环境湿度的影响，环境湿度的轻微增加将导致基线电流的急剧上升(图4f)。因此，NO₂模块的响应值和响应灵敏度都随着相对湿度的增加而降低(图4g-h)。由图4i可以看出，NO₂传感模块的NO₂响应电流和背景电流都随着温度的升高而增大。响应电流的增加归因于温度对电化学反应速率的促进，而背景电流漂移是由于温度升高引起的水凝胶膜电导率的变化。当环境温度从20℃升高到50℃时，背景电流和响应电流的变化幅度和变化比率相当(图4j)。因此，即使在不同的温度条件下，NO₂模块的响应大小和灵敏度变化很小(图4k-l)。

图4. NO₂模块的传感性能。(a) NO₂模块的器件结构示意图。(b) NO₂模块电化学反应传感机理示意图。(c) 和 (d) NO₂模块在复杂折叠和展开状态下的动态响应和灵敏度比较。(e) 在33-72% RH、20℃条件下，2-0.2 ppm NO₂的动态响应电流。(f) 20℃下，传感器的背景电流变化率和响应电流变化率随湿度的变化曲线。(g) 在33-72% RH、20℃条件下对2-0.2 ppm NO₂的动态响应曲线。(h) 在33-72% RH、20℃条件下的响应拟合曲线。(i) 在20-50℃ 33% RH下，1.6-0.2 ppm NO₂的动态响应电流。(j) 在20-50℃、33% RH条件下，1.6 ppm NO₂的背景电流变化率和响应电流变化率。(k) 在20-50℃、33% RH条件下，对1.6-0.2 ppm NO₂的动态响应曲线。(l)  20-50℃、33% RH条件下NO₂模块对NO₂浓度的响应拟合曲线。

V 精准物体分类和NOₓ泄露快速响应

将多模态电子皮肤安装在气动机械手手指末端进行物体抓握实验(图5a)。图5(b)为DNN模型的结构图，DNN模型由一个输入层、两个完全连接的隐藏层和一个输出层组成。输入层、隐藏层和输出层的神经元数量分别为15，50和5。安装了电子皮肤的机械手反复抓取塑料瓶、橡胶假手、加热橡胶假手、干木头、湿木头(图5c)。收集到的数据一部分用于模型训练，另一部分作为测试集用于评估算法的预测准确度。如图5d所示，只有温度感知功能的机械手，除了加热的假手外，无法识别其他物体，识别准确率较低(45.4%)。当温度模块缺失时，救援机器人对假手和加热假手的分类表现较差，准确率仅为78.2%(图5e)。结合5个电子皮肤的压力/接近度、温度和湿度传感，可以提高识别精度，完全区分出5个不同的物体，准确率达到100%(图5f)。与单模态或双模态电子皮肤相比，多模态电子皮肤赋予机械手更强大的多感官和抗干扰能力，可以显著提高机械手的目标识别精度。图5g为一体化NOₓ无线监测系统的示意图。由图5h可以看出，当发生NOₓ气体泄漏时，App显示的电流值迅速增大，表明环境中NOₓ浓度升高。当电流值高于设定的电流阈值(27nA) 时，App会提醒用户环境中NOₓ浓度超标，可能会危及用户安全。最后，将纯氮注入密闭的气室，吹扫NOₓ。当NOₓ浓度降至阈值以下时，手机App上解除NOₓ报警信号。上述实验证明了一体化NOₓ无线监测系统在远程监测氮氧化物和快速泄漏警报方面的潜力。

图5. DNN物体分类算法性能。(a) 集成了五个多模态电子皮肤的机械手示意图。(b) 数据预处理流程图和DNN模型结构。(c) 机械手抓握五种不同的物体的图片。(d) 仅使用多模态电子皮肤的温度模块、(e) 使用多模态电子皮肤的压力/接近度模块和湿度模块、(f) 使用多模态电子皮肤的压力/接近度、温度和湿度模块时的分类测试混淆矩阵。(g) 一体化NOₓ无线监测系统示意图。(h) 使用一体化的NOₓ无线监测系统，在智能手机上实时监测NOₓ泄漏事件。

VI 总结

在本工作中，我们首次提出了一种具有优异温度、湿度、压力、接近度和NOₓ气体传感能力的多模态电子皮肤 。由Ecoflex和PVA-CNF有机水凝胶等柔韧材料多层堆叠而成的电子皮肤，不仅具有与天然皮肤相似的柔韧性、拉伸性和触觉感知，而且具有超越天然皮肤的感知功能。集成了温度和湿度模块的电子皮肤可以监测环境中的温湿度变化，校准其他模块的响应曲线，避免环境因素对传感器精度的影响。与单模态或双模态电子皮肤相比，多模态电子皮肤可以在一次抓取动作中获得更多类型的信息，从而提高DNN模型的准确率和泛化能力。此外，通过将电子皮肤与NO₂无线报警电路相结合，实现对环境有毒气体的实时监测。在人工智能算法和硬件电路的协同作用下，多模态电子皮肤表现出更强大的信息处理、解码和传输能力，有望应用于更多样化、更具挑战性的场景。

作者简介

关于我们

Nano-Micro Letters《纳微快报(英文)》是上海交通大学主办、在Springer Nature开放获取(open-access)出版的学术期刊，主要报道纳米/微米尺度相关的高水平文章(research article, review, communication, perspective, highlight, etc)，包括微纳米材料与结构的合成表征与性能及其在能源、催化、环境、传感、电磁波吸收与屏蔽、生物医学等领域的应用研究。已被SCI、EI、PubMed、SCOPUS等数据库收录，2023 IF=31.6，学科排名Q1区前3%，中国科学院期刊分区1区期刊。多次荣获“中国最具国际影响力学术期刊”、“中国高校杰出科技期刊”、“上海市精品科技期刊”等荣誉，2021年荣获“中国出版政府奖期刊奖提名奖”。欢迎关注和投稿。

Web: https://springer.com/40820

E-mail: editor@nmlett.org

Tel: 021-34207624

如果文章对您有帮助，可以与别人分享！：Nano-Micro Letters » 中山大学吴进等：AI增强和硬件支持的多模态电子皮肤用于环境物体识别和无线有毒气体报警