Nano-Micro Letters2016年HBO发行的科幻类连续剧《西部世界》营造了一个高科技未来主题公园，其中的机器“接待员”有着和人类一样的外表和行为能力，甚至达到真假难辨的地步。想要实现“行为类人”这一目标，人形机器人的发展离不开柔性传感技术的支持，以便获得和人类接近的感觉系统。事实上，柔性传感技术在多个新兴领域都有着重要应用前景，是构建超互联智能社会的必备要素。如今，柔性传感技术在传感器设备的硬件性能和软件的数据处理能力方面都有了很大的提高。大量研究工作致力于改进柔性传感系统的材料、传感机制和配置方式。与此同时，单个传感器或传感器网络收集的数据日益复杂，因而先进的数据处理方法也被逐步开发。机器学习(ML)作为人工智能的一个重要分支，可以高效地处理这种多维、多模态的复杂数据，从而为轻松解读传感数据提供了强大的工具，并最终实现集检测、分析和决策功能于一体的智能系统。
Machine Learning Enhanced Flexible Mechanical SensingYuejiao Wang, Mukhtar Lawan Adam, Yunlong Zhao, Weihao Zheng, Libo Gao*, Zongyou Yin* and Haitao Zhao*
Nano-Micro Letters (2023) 15: 55
https://doi.org/10.1007/s40820-023-01013-9
本文亮点
1. 回顾了柔性力传感平台与机器学习(ML)算法融合的最新进展。
2. 讨论了将ML应用于智能柔性力传感技术的优势、挑战和未来前景。
3. 回顾了柔性力传感器的基本工作机制和常见类型。
内容简介
近日，厦门大学高立波教授、中科院深圳先进技术研究院赵海涛研究员和澳大利亚国立大学Zongyou Yin教授联合发表了关于机器学习助力柔性力传感技术发展的综述文章。清华大学的博士后王月皎为第一作者。本文首先介绍了柔性力传感器的基本工作机理和常见类型及应用。然后阐述了机器学习辅助的数据解释如何提高柔性力传感器和其他密切相关的传感器在各个领域的应用，包括健康监测、人机界面、物体/表面识别、压力预测和人体姿势/运动识别。最后，本文讨论了融合柔性力传感技术和机器学习算法带来的优势、挑战和未来展望。这篇综述将为下一代人造柔性力传感技术的发展提供重要见解。
图文导读
I 柔性力传感技术的刺激、传感机制和ML辅助数据处理概览
在智能社会的新时代，随着人工智能物联网(AIoT)和第五代(5G)通信技术的快速进步，具有各种功能的柔性电子器件经历了蓬勃的发展。柔性力传感器作为其中一个重要部分，正吸引着广泛的研究，因为它们拥有通过电信号量化外部机械刺激的能力如压力、应变、剪切力和振动。与传统的刚性传感器相比，柔性机械传感器甚至可以变形为任何形状，以符合人体皮肤、机器人/假体和智能设备的表面，赋予它们智能传感能力。因此，已经建立了广泛的应用，如健康/运动监测，人机界面(HMI)和智能家居等。
图1 柔性力传感技术的刺激、传感机制和ML辅助数据处理概览
II 力刺激传感机制
介绍了柔性力传感器的多种传感机制，包括压阻式、压容式、离电式、摩擦电式、以及压电式，并给出代表性的计算公式以揭示潜在的物理变化。
图2 常见的力学传感机制
III 柔性力传感器类型
介绍了可以感知压力、应变、振动和剪应力的常用传感器类型及其主要应用和典型设计策略。
图3 四类柔性力传感技术的常见应用
3.1 柔性压力传感器
柔性压力传感器的典型设计策略包括利用多孔结构(图4a-d)和表面微结构(图4e, f)来提高感知压力刺激的灵敏度。
图4 柔性压力传感器的典型设计策略
3.2 柔性应变传感器
柔性应变传感器的典型设计策略包括制造薄膜传感器(图5a-c)和二维图案化的传感器(图5d–f)。
图5 柔性应变传感器的典型设计策略
3.3 柔性振动传感器
柔性振动传感器的典型设计策略包括设计悬空薄膜结构(图6a-d)和微/纳米线垂直阵列(图6e, f)。
图6 柔性振动传感器的典型设计策略
3.4 柔性剪切力传感器
柔性剪切力传感器的典型设计策略包括使用表面带有凸起结构的四个分布式底层传感元件 (图7a, b)和可变形的表面/内部微结构(图7c, d)来感知剪切力刺激。
图7 柔性剪切力传感器的典型设计策略
IV ML算法辅助的柔性传感数据阐释
ML被定义为一种计算机程序，它具有通过从原始数据中提取特征来获取知识的能力，并使用所获得的知识来回答现实世界的问题。当ML被引入柔性传感技术时，它通过添加一个强大的工具来处理和分析来自单个传感器或多个/多模态传感器的数据，深刻地影响了该领域。监督学习和无监督学习是处理柔性力传感数据最常用的机器学习算法。对于监督学习，使用一组具有给定输出的输入数据来训练ML算法，它可以执行分类或回归任务(预测一个离散的类标签或连续的数量)。相比之下，无监督学习只有未标记的训练数据集，并且总是用于将数据集聚为一个组。用于这些目的的常用ML算法如图8所示。
图8 ML技术用于数据阐释的常见步骤
4.1 健康监测
与人体皮肤紧密结合的柔性力传感系统正在成为便捷、实时和连续监测众多生理信号的流行工具，ML算法已被广泛应用于分析这些信号，以进一步了解我们的健康状况。
图9 ML算法辅助提升柔性传感在健康监测领域的应用
4.2 语音通信HMI
ML算法也被引入到语音通信的HMI中，通过与各种柔性的声压传感器集成来增强其功能。此外，当与面部和颈部皮肤上的柔性传感器结合使用时，ML还有助于实现智能无声识别，这在帮助失声患者方面具有巨大潜力。
图10 ML算法辅助提升柔性传感在语音HMI领域的应用
4.3 手势识别HMI
ML辅助的数据分析也促进了多种传感阵列的HMI应用，这些传感阵列附着在人手或智能手套上，以识别手语翻译的手势，理解抓取动作，进行VR/AR控制等。此外，ML算法还被用于多模态融合，将视觉数据与手指上应变传感器的体感数据集成起来，由此进行手势分类任务。
图11 ML算法辅助提升柔性传感在手势HMI领域的应用
4.4 物体/表面识别
ML算法被用于分析获取的手部触觉分布信息，以推断抓取物体的属性包括大小、形状、重量和材料，来实现物体识别。除了在手上的柔性触觉传感器阵列，人工指尖触觉传感器在ML的辅助下可根据材料表面纹理来区分不同的材料。
图12 ML算法辅助提升柔性传感在物体/表面识别领域的应用
4.5 压力预测/位置识别
ML辅助信号分析已应用于电子皮肤和其他大面积压力敏感器件中，用于压力预测和位置识别。一方面，ML提供了一种有效的方法来处理多个传感器信号之间的复杂关系，消除它们之间的串扰。另一方面，ML提高了传感器阵列的压力传感分辨率，甚至促进了大面积压力传感平台的简单无阵列结构设计，同时仍能保持准确的压力分布估算。此外, ML被用于动态力的监测和定位，这是更复杂的任务，因为机械波的传播会影响施加的冲击力的周围区域。
图13 ML算法辅助提升柔性传感在压力预测/位置识别领域的应用
4.6 人体姿势/运动检测
ML辅助信号分析还赋予了可穿戴电子设备或智能电器中的各种力传感阵列进一步提取其环境和用户丰富信息的能力。一方面，柔性传感技术与人工智能的融合，推动了可穿戴电子设备的发展，以感知人体的姿态和运动。另一方面，柔性力传感器和基于ML的数据分析在智能建筑/家庭应用中显示出巨大的前景。
图14 ML算法辅助提升柔性传感在人体姿势/运动检测领域的应用
V 总结与展望
随着传感机制多样化、传感性能大幅提升、更多功能性和器件小型化的发展，柔性电子器件正在快速发展，具有大量的数据和高级别的特征。传统数据处理技术在分析大量传感数据方面的劣势变得越来越明显，因为它通常需要人工干预，步骤复杂，处理时间长。复杂步骤和长时间处理。将机器学习(ML)方法纳入柔性传感技术中可以加速该技术的发展，ML方法可以有效地处理高维和非线性数据，以发现大型数据集中错综复杂/隐藏的关系。本综述从与ML辅助数据处理算法结合的角度，对智能力传感技术的最新进展进行了概述。ML技术如何使柔性力传感技术受益可以归纳为三个方面：首先，ML 显著提高了来自大型传感阵列或/和复杂传感系统的大传感数据的处理效率。相同传感机制测量的同质传感数据的阵列集成可以通过ML直接结合，得出所需信息。例如，将32×32像素的大型压阻传感器阵列数据输入到CNN中，可识别抓取的物体[34]。此外，在多模式传感系统中，由不同传感机制测量的异质传感数据也可以通过ML进行全面分析。甚至可以将视觉数据与手指上的柔性应变传感数据集成，以准确分类手势，这在没有ML的情况下很难实现，因为数据维数和数据密度的不匹配[114]。其次，与噪声或多个外部刺激之间的耦合，以及相邻传感器之间的信号重叠，可以通过 ML 消除或解耦以提供合理的结果，与传统的数据处理技术相比，精度和分辨率都有所提高。例如，一种多功能柔性传感器可以对应变、压力和呼吸刺激做出反应，通过ET算法可将信号分解为单个刺激的响应。同样，通过使用ML进行信号分解，也可以解决如弯曲、扭曲和拉伸等不必要机械变形会引起器件性能变化的常见挑战。此外，没有阵列化图案的压阻复合材料甚至可以通过将边缘的电阻变化输入DNN 来测量压力大小和所在位置。第三，ML 可挖掘传感信号和关键事件之间的隐藏关系。通过ML整合数据，研究结果发现检测到的心电图信号、呼吸和皮肤电反应可以共同提供精神疲劳水平的信息。总之，在硬件性能没有重大更新的情况下，ML 技术已被广泛证明是提高柔性力传感性能的一个有前景的解决方案。另一方面，尽管柔性力传感与ML 算法的集成取得了快速进展，但智能柔性传感系统的开发也面临着不可避免的挑战。ML 赋予了系统自动合并所有信息并从经验中学习以提高预测精度的能力，但ML辅助处理柔性力传感数据的策略不可避免地存在着 ML算法的缺陷。首先，通常需要从传感系统中收集大量多样化的、经过严格审核的训练数据，以确保 ML 模型的高预测精度，这是一个繁琐而耗时的过程。对于大多数基于有机材料的柔性传感器来说，其固有的器件间差异和较差的长期稳定性，使得在结合ML算法时增加了很大的难度，因为可重复性与模型训练直接相关。因此，需要开发更智能的 ML 算法以简化训练步骤，并应改善传感器的性能 (特别是稳定性和均匀性)。其次，根据传感数据和预期目标设计合适的 ML 模型是重中之重。各种 ML 算法已经被开发出来，每一种算法都有优点和缺点，在解决不同情况时需要考虑，还必须进行超参数的调整以找到最佳设置。由于这两个原因， ML 辅助的数据处理方法并不总是最好的解决方案，其他方法如线性校准和非线性拟合，在更简化的关系中可能显示出优势。ML对柔性传感数据的学习和决策过程需要更具相应知识和推理规则来调控，以确保特定应用的有效效果。在未来，ML不仅可以应用于柔性传感器系统的数据处理，而且还会进一步影响柔性传感系统的设计阶段，包括配置和材料。利用ML 实现的逆向设计，可以开发具有目标功能的理想传感材料和具有紧凑型结构的传感器以实现最佳传感配置，从而引领具有超强传感性能的新一代智能柔性传感系统。多模态传感平台将集成柔性力传感、化学传感、和生物传感，以提供更全面的信息，其中 ML有望在复杂的设计过程和数据分析方面发挥重要作用。另一方面，预计通过ML进行柔性传感信号的传感器内处理以提供实时分析将得到广泛应用，因为它拥有比无线传输原始数据到外部计算设备更多的优势，提供了更小的通信链路带宽和无线电功率需求。通过本地处理信号，个人数据的安全性也可以得到提高。随着对传感器、微处理器单元、计算技术、无线通信和人工智能技术的不断改进，我们相信， ML 增强的柔性力传感可以进一步提高我们的生活质量，其影响涵盖从健康监测、HMI、动作/手势识别、电子皮肤到其他相关领域。
作者简介
王月皎本文第一作者
(1)微纳器件设计与制造；(2)研究原位微纳尺度力学表征
▍个人简介
高立波本文通讯作者
▍Email：lbgao@xmu.edu.cn
赵海涛中国科学院深圳先进技术研究院副研究员，博士生导师，入选中科院“百人计划”、广东省珠江人才。主要从事数据驱动创新交叉学科关键技术的研究。近年来，主持了国家自然科学基金、广东省面上基金、深圳市面上基金、粤港澳合作基金、中国博士后科学基金特优资助项目和腾讯犀牛鸟基金等项目10余项，在权威期刊上发表SCI期刊论文100余篇，其中第一作者或通讯作者发表Nature Synthesis、PNAS、Applied Catalysis B: Environmental、Advanced Materials、Applied Energy、Small等SCI论文50余篇，SCI论文总引用4000余次，H指数38(Google Scholar)，入选2022年度全球前2%顶尖科学家榜单。担任《Artificial Intelligence Chemistry》编委、InfoMat期刊青年编委、Results in Engineering青年编委和CrystEngComm、Materials等期刊数据驱动材料创新主题客座编辑；被聘为IEEE智能制造标准委员会委员，举办数据驱动材料创新国际会议。
▍Email：ht.zhao@siat.ac.cn