研究背景
交互式电子设备(Interactive electronic devices,IE设备)可以通过直观的界面和实时的闭环反馈来使用户获得高的人机交互体验。在元宇宙中,人们仍然可以使用IE设备,通过手指和眼睛与虚拟世界进行交互,从而使虚拟角色的生活变得更加真实。元宇宙重建了一个全新的人机关系场景,能够根据需求随时提供身临其境的互动体验,例如在潮湿的丛林中进行探险或者在波涛汹涌的海面上冲浪。为了应对潮湿环境,IE设备通常需要严密封装以获得防水性能。然而,这种方式通常会使IE设备变得坚硬和厚重。由于人体组织表面固有的柔软性,厚重的IE设备与人体组织表面之间可能较大不匹配。因此,在实现平滑而相对舒适的触摸交互方面,IE设备需要具有柔性,能够良好地贴合皮肤表面。但目前仍存在问题:(1)由于IE设备佩戴后会出现形变,因此其可能出现传感元件无法正常工作或元件间电极连接断开;(2)IE设备需要高的柔韧性来保证其在佩戴后能与皮肤保持一致形状;(3)将交互信息准确、稳定地转换为计算机可识别的信号是获得高质量人机体验的基本要素。解决这些问题,对于促进虚拟现实、元宇宙的发展至关重要。
Chao Wei, Wansheng Lin, Liang Wang, Zhicheng Cao, Zijian Huang, Qingliang Liao, Ziquan Guo, Yuhan Su, Yuanjin Zheng, Xinqin Liao*, Zhong Chen*
本文亮点
内容简介
厦门大学电子科学与技术学院陈忠/廖新勤团队联合新加坡南洋理工大学Yuanjin Zheng教授、北京科技大学廖庆亮教授等提出并证明了一种高度弯曲不敏感、无像素化和防水的触摸界面(bending-insensitive, unpixelated, and waterproof,BUW触摸界面),以实现人机集成共形、柔性可穿戴且准确的交互。BUW触摸界面模仿生物触觉感受系统中机械感受器的结构和功能,将触觉信息转化为机械敏感信号进行分化和识别。通过引入可寻址电接触结构,在无需大规模集成传感像素的情况下精确识别触摸位置。采用层次化设计组装,触觉界面以甲基纤维素和碳纳米管混合物作为信号转换、识别、传输的内部功能材料,以超薄高分子膜作为外部衬底。这种设计的BUW触摸界面具备防水性能及整体柔软性。在人手上进行共形整合验证时,BUW触摸界面展示了弯曲不敏感特性,允许自由地进行虚拟现实中的编钟敲击等操作。此外,无像素化结构设计策略有助于实现高精度触摸感知能力,支持任意编程功能指令。该设计结构具有可扩展性与通用性,BUW触摸界面可以针对元空间多样交互控制而构建出具有不同形状特殊结构。因此,BUW触摸界面创新地模拟复杂生物触摸感知系统,并呈现出高度弯曲不敏感和防水特性,可以广泛应用于共形集成人机交互电子领域。
图文导读
I BUW触摸界面的工作原理与设计
生物触觉传感系统和使用BUW触摸界面的人工触觉传感系统如图1所示。图1a为生物触觉感觉系统通过使用不同类型的皮肤受体将外部机械刺激转化为受体电位来检测外部机械刺激。图1b为一个利用BUW触摸界面、信号传输和处理系统模拟人类触觉识别的人工触摸传感系统。图1c为BUW触摸界面的可寻址电接触结构。图1d为BUW触摸界面在弯曲状态下的图片。图1e为BUW触摸界面中的感知材料层的FESEM图像。
图1. 生物触觉传感系统和人工触觉传感系统。a生物触觉感觉系统,包括皮肤、相关机械感受器和神经系统;b基于BUW触摸界面、ADC模块和信号处理器的人工触摸传感系统;c由CNT/MC基感知材料层、PET膜基保护层和间隔层基绝缘层组成的BUW触摸界面可寻址电接触结构;d BUW触摸界面弯曲状态的图片,显示出优异的可弯曲性;e CNT/MC基感知材料层的FESEM图像,其中CNT用黄色箭头指出。
II BUW触摸界面的性能与特点
图2a为在不同的触摸位置施加外部机械刺激时,BUW触摸界面的响应阻值的变化。图2b-c为BUW触摸界面缠绕在不同半径的圆柱体上时进行不同的触摸位置施加外部机械刺激。图2d为两个生物突触和BUW触摸界面在不同位置受到外部机械刺激的示意图。图2e-f为施加时空动态刺激时BUW触摸界面在平坦和弯曲状态下的重复阻值响应。图2g-h为BUW触摸界面的防水性能测试。
图2. BUW触摸界面的特征。a 不同长度BUW触摸界面触点位置与响应阻力的关系;b, c当BUW触摸界面对角缠绕不同半径圆柱体时,响应阻值随触摸位置的变化;d两个生物突触和BUW触摸界面在不同位置受到外部机械刺激的示意图;e, f施加时空动态刺激时BUW触摸界面在平坦或弯曲状态下的重复响应;g干燥环境和潮湿环境下BUW触摸界面触点位置与响应阻值的关系;h (i)干燥和(ii)潮湿环境下BUW触摸界面的多次循环试验。
III BUW触摸界面的多功能的交互应用
随着虚拟现实技术的快速发展,各种类型的IE设备被开发出来,以丰富放松和减压的娱乐体验。由于普通IE设备为了适应柔软的人体曲面而弯曲,交互信号会产生波动,从而产生不准确的命令,从而产生受限的体验。因此,BUW触摸界面通过其独特的弯曲不敏感特性,成功实现了与人体的紧密结合,为虚拟编钟提供了舒适且自由的交互途径。该界面的高度柔韧性和出色的防水性能使其能够稳固地附着在柔软手掌的曲面上,将手掌变成了人机交互的平台,为交互体验带来崭新可能。
图3. 交互式VR系统中敲打编钟的BUW触摸界面。a安装在手掌上的BUW触摸界面示意图;b基于BUW触摸界面的Unity应用开发的流程图;c触摸BUW触摸界面的不同工作段,对应敲打不同的编钟;d接触不同工作区域的响应阻值;e触摸BUW触摸界面的工作区域以触发相应的编钟;f通过触摸BUW触摸界面敲打虚拟编钟的典型照片。
图4. 方形BUW触摸界面,用于控制棋子位置移动。棋盘的示意图以及白棋和黑棋的移动轨迹;b方形BUW触摸界面工作区域的结构特征及其对应的仿生突触;c方形BUW触摸界面接触不同工作区域的典型响应阻值;d通过触摸方形BUW触摸界面实现虚拟棋子不同移动过程的典型照片。
图5. 具有不同形状的BUW触摸界面,用于控制虚拟坦克运动和炮管动作。a控制坦克运动的四个运动方位轨迹和正形BUW触摸界面的说明;b控制炮管和六边形形状BUW触摸界面的六种操作示意图;c加号形状的BUW触摸界面对虚拟坦克移动的响应阻值;d六边形形状的BUW触摸界面对炮管动作的响应阻值;e、f采用加号形状的BUW触摸界面用于虚拟坦克不同运动过程和采用六边形形状的BUW触摸界面的炮管动作的典型图片。
作者简介
本文第一作者
本文通讯作者
▍主要研究成果
▍Email:liaoxinqin@xmu.edu.cn
本文通讯作者
▍主要研究成果
▍Email:chenz@xmu.edu.cn
编辑:《纳微快报(英文)》编辑部
关于我们
如果文章对您有帮助,可以与别人分享!:Nano-Micro Letters » 厦大陈忠/廖新勤团队:高度弯曲不敏感的防水触摸界面,用于人机共形集成交互