厦大陈忠/廖新勤团队:高度弯曲不敏感的防水触摸界面,用于人机共形集成交互

研究背景

交互式电子设备(Interactive electronic devices,IE设备)可以通过直观的界面和实时的闭环反馈来使用户获得高的人机交互体验。在元宇宙中,人们仍然可以使用IE设备,通过手指和眼睛与虚拟世界进行交互,从而使虚拟角色的生活变得更加真实。元宇宙重建了一个全新的人机关系场景,能够根据需求随时提供身临其境的互动体验,例如在潮湿的丛林中进行探险或者在波涛汹涌的海面上冲浪。为了应对潮湿环境,IE设备通常需要严密封装以获得防水性能。然而,这种方式通常会使IE设备变得坚硬和厚重。由于人体组织表面固有的柔软性,厚重的IE设备与人体组织表面之间可能较大不匹配。因此,在实现平滑而相对舒适的触摸交互方面,IE设备需要具有柔性,能够良好地贴合皮肤表面。但目前仍存在问题:(1)由于IE设备佩戴后会出现形变,因此其可能出现传感元件无法正常工作或元件间电极连接断开;(2)IE设备需要高的柔韧性来保证其在佩戴后能与皮肤保持一致形状;(3)将交互信息准确、稳定地转换为计算机可识别的信号是获得高质量人机体验的基本要素。解决这些问题,对于促进虚拟现实、元宇宙的发展至关重要。

Conformal Human–Machine Integration Using Highly Bending-Insensitive, Unpixelated, and Waterproof Epidermal Electronics Toward Metaverse
Chao Wei, Wansheng Lin, Liang Wang, Zhicheng Cao, Zijian Huang, Qingliang Liao, Ziquan Guo, Yuhan Su, Yuanjin Zheng, Xinqin Liao*, Zhong Chen*
Nano-Micro Letters (2023)15: 199

https://doi.org/10.1007/s40820-023-01176-5

本文亮点

1. 在无需大规模集成传感像素的情况下,采用可寻址电接触结构使触摸界面实现感知、识别、传输一体化功能,从而实现了高精度的触摸检测
2. 采用层次化设计组装,触摸界面不仅具备卓越的防水性能,还呈现出极为薄型和可自由弯曲的特点。相较于传统的交互式电子设备,它摆脱了厚重的外观,为用户带来全新的体验。
3. 超薄的器件结构使得触摸界面实现了弯曲不敏感特性,有助于实现自由的、准确稳定的人机交互,促进了共形集成式人机交互电子发展。

内容简介

厦门大学电子科学与技术学院陈忠/廖新勤团队联合新加坡南洋理工大学Yuanjin Zheng教授、北京科技大学廖庆亮教授等提出并证明了一种高度弯曲不敏感、无像素化和防水的触摸界面(bending-insensitive, unpixelated, and waterproof,BUW触摸界面),以实现人机集成共形、柔性可穿戴且准确的交互。BUW触摸界面模仿生物触觉感受系统中机械感受器的结构和功能,将触觉信息转化为机械敏感信号进行分化和识别。通过引入可寻址电接触结构,在无需大规模集成传感像素的情况下精确识别触摸位置。采用层次化设计组装,触觉界面以甲基纤维素和碳纳米管混合物作为信号转换、识别、传输的内部功能材料,以超薄高分子膜作为外部衬底。这种设计的BUW触摸界面具备防水性能及整体柔软性。在人手上进行共形整合验证时,BUW触摸界面展示了弯曲不敏感特性,允许自由地进行虚拟现实中的编钟敲击等操作。此外,无像素化结构设计策略有助于实现高精度触摸感知能力,支持任意编程功能指令。该设计结构具有可扩展性与通用性,BUW触摸界面可以针对元空间多样交互控制而构建出具有不同形状特殊结构。因此,BUW触摸界面创新地模拟复杂生物触摸感知系统,并呈现出高度弯曲不敏感和防水特性,可以广泛应用于共形集成人机交互电子领域。

图文导读

BUW触摸界面的工作原理与设计

生物触觉传感系统和使用BUW触摸界面的人工触觉传感系统如图1所示。图1a为生物触觉感觉系统通过使用不同类型的皮肤受体将外部机械刺激转化为受体电位来检测外部机械刺激。图1b为一个利用BUW触摸界面、信号传输和处理系统模拟人类触觉识别的人工触摸传感系统。图1c为BUW触摸界面的可寻址电接触结构。图1d为BUW触摸界面在弯曲状态下的图片。图1e为BUW触摸界面中的感知材料层的FESEM图像。

2.png

图1. 生物触觉传感系统和人工触觉传感系统。a生物触觉感觉系统,包括皮肤、相关机械感受器和神经系统;b基于BUW触摸界面、ADC模块和信号处理器的人工触摸传感系统;c由CNT/MC基感知材料层、PET膜基保护层和间隔层基绝缘层组成的BUW触摸界面可寻址电接触结构;d BUW触摸界面弯曲状态的图片,显示出优异的可弯曲性;e CNT/MC基感知材料层的FESEM图像,其中CNT用黄色箭头指出。

II  BUW触摸界面的性能与特点

图2a为在不同的触摸位置施加外部机械刺激时,BUW触摸界面的响应阻值的变化。图2b-c为BUW触摸界面缠绕在不同半径的圆柱体上时进行不同的触摸位置施加外部机械刺激。图2d为两个生物突触和BUW触摸界面在不同位置受到外部机械刺激的示意图。图2e-f为施加时空动态刺激时BUW触摸界面在平坦和弯曲状态下的重复阻值响应。图2g-h为BUW触摸界面的防水性能测试。

3.png

图2. BUW触摸界面的特征。a 不同长度BUW触摸界面触点位置与响应阻力的关系;b, c当BUW触摸界面对角缠绕不同半径圆柱体时,响应阻值随触摸位置的变化;d两个生物突触和BUW触摸界面在不同位置受到外部机械刺激的示意图;e, f施加时空动态刺激时BUW触摸界面在平坦或弯曲状态下的重复响应;g干燥环境和潮湿环境下BUW触摸界面触点位置与响应阻值的关系;h (i)干燥和(ii)潮湿环境下BUW触摸界面的多次循环试验。

III BUW触摸界面的多功能的交互应用

随着虚拟现实技术的快速发展,各种类型的IE设备被开发出来,以丰富放松和减压的娱乐体验。由于普通IE设备为了适应柔软的人体曲面而弯曲,交互信号会产生波动,从而产生不准确的命令,从而产生受限的体验。因此,BUW触摸界面通过其独特的弯曲不敏感特性,成功实现了与人体的紧密结合,为虚拟编钟提供了舒适且自由的交互途径。该界面的高度柔韧性和出色的防水性能使其能够稳固地附着在柔软手掌的曲面上,将手掌变成了人机交互的平台,为交互体验带来崭新可能。

4.png

图3. 交互式VR系统中敲打编钟的BUW触摸界面。a安装在手掌上的BUW触摸界面示意图;b基于BUW触摸界面的Unity应用开发的流程图;c触摸BUW触摸界面的不同工作段,对应敲打不同的编钟;d接触不同工作区域的响应阻值;e触摸BUW触摸界面的工作区域以触发相应的编钟;f通过触摸BUW触摸界面敲打虚拟编钟的典型照片。

所设计的可寻址电接触结构大大简化了器件结构,减少了制备工艺,从而提高了BUW触摸界面的可扩展性和通用性。因此,将BUW触摸界面设计为方形、正形和六边形结构,可以很好地应用于相应的交互应用。图4介绍了方形BUW触摸界面用于控制棋子位置移动。
5.png

图4. 方形BUW触摸界面,用于控制棋子位置移动。棋盘的示意图以及白棋和黑棋的移动轨迹;b方形BUW触摸界面工作区域的结构特征及其对应的仿生突触;c方形BUW触摸界面接触不同工作区域的典型响应阻值;d通过触摸方形BUW触摸界面实现虚拟棋子不同移动过程的典型照片。

BUW触摸界面的各种特殊形状适应交互式娱乐应用,以增强用户体验。图5设计并构建了一个加号形状的BUW触摸界面用于编程虚拟坦克运动和一个六边形形状的BUW触摸界面用于炮管的操控。
6.png

图5. 具有不同形状的BUW触摸界面,用于控制虚拟坦克运动和炮管动作。a控制坦克运动的四个运动方位轨迹和正形BUW触摸界面的说明;b控制炮管和六边形形状BUW触摸界面的六种操作示意图;c加号形状的BUW触摸界面对虚拟坦克移动的响应阻值;d六边形形状的BUW触摸界面对炮管动作的响应阻值;e、f采用加号形状的BUW触摸界面用于虚拟坦克不同运动过程和采用六边形形状的BUW触摸界面的炮管动作的典型图片。

作者简介

7.jpg

韦超

本文第一作者

厦门大学 博士研究生
主要研究领域
微纳电子材料与柔性可穿戴电子器件。
8.jpg

廖新勤
本文通讯作者
厦门大学 副教授
主要研究领域
柔性电子、人机交互界面、可穿戴传感器、功能复合材料、微纳敏感元件等。

主要研究成果

厦门大学电子科学系副教授、特任研究员、博士生导师,福建省高层次境外引进人才、厦门市高层次留学人员、厦门大学南强青年拔尖人才、中国微米纳米技术学会/中国材料研究学会/中国机械工程学会/中国仪器仪表学会高级会员。从北京科技大学张跃院士团队开始到新加坡南洋理工大学郑元谨教授团队一直围绕功能复合材料与柔性传感器开展研究,致力于将新型功能材料、敏感元件及器件设计与国家战略性新兴智能产业需求相结合,提出一系列优化元件结构、提高器件性能与稳定性、降低成本的新途径,研制出多种新型高性能传感器,促进柔性传感器从单功能到多功能集成化发展,探索智能传感器在人机交互领域的应用基础。发表SCI论文47篇(其中一作一区TOP论文14篇、通讯作者论文12篇、18篇IF>15、3篇高被引),获授权发明专利7项。担任国家自然科学基金通讯评审专家、教育部学位中心评审专家。

Email:liaoxinqin@xmu.edu.cn

9.jpg

陈忠

本文通讯作者

厦门大学 教授
主要研究领域
生物医学电子学、磁共振与医学成像、LED照明与显示、信号和图像处理。

主要研究成果

闽江学者特聘教授,厦门大学电子科学与技术学院(国家示范性微电子学院)院长,厦门大学电子科学系教授、博士生导师,享受国务院政府特殊津贴专家,是厦大物理系、通讯系、化学系、机电工程系和人工智能研究院兼职教授。主要从事光电照明与显示技术、生物医学电子学及其应用研究,是厦门大学电子科学与技术一级学科博士点和博士后流动站学科带头人。现为中国物理学会理事,中国波谱学专业委员会副主任委员,厦门大学国家集成电路产教融合创新平台执行主任,福建省半导体照明工程技术研究中心主任,福建省半导体照明与显示行业开发基地主任,厦门市光电协会副理事长。已主持国家863计划、国家科技支撑计划、国家自然科学基金科学仪器专项和重点等重要科研项目30余项,授权发明专利128件(其中美国专利4件),发表论文中SCI收录500余篇,参与撰写国际科研专著6部章和合作编写教材5部,获得省部级科学技术一等奖3项和二等奖5项。

Email:chenz@xmu.edu.cn

撰稿:原文作者
编辑:《纳微快报(英文)》编辑部

关于我们

10.jpg

Nano-Micro Letters《纳微快报(英文)》是上海交通大学主办、在Springer Nature开放获取(open-access)出版的学术期刊,主要报道纳米/微米尺度相关的高水平文章(research article, review, communication, perspective, highlight, etc),包括微纳米材料与结构的合成表征与性能及其在能源、催化、环境、传感、电磁波吸收与屏蔽、生物医学等领域的应用研究。已被SCI、EI、PubMed、SCOPUS等数据库收录,2022JCR影响因子为 26.6,学科排名Q1区前5%,中国科学院期刊分区1区TOP期刊。多次荣获“中国最具国际影响力学术期刊”、“中国高校杰出科技期刊”、“上海市精品科技期刊”等荣誉,2021年荣获“中国出版政府奖期刊奖提名奖”。欢迎关注和投稿。
Web: https://springer.com/40820
E-mail: editor@nmlett.org
Tel: 021-34207624

如果文章对您有帮助,可以与别人分享!:Nano-Micro Letters » 厦大陈忠/廖新勤团队:高度弯曲不敏感的防水触摸界面,用于人机共形集成交互

赞 (0)

评论 0