上海科技大学凌盛杰等：能发光的类皮肤智能显示平台，实现视听交互与声音识别

研究背景

传统的显示技术在机械性能与智能化方面限制着人机交互的发展。本文提出基于丝蛋白离子弹性体，开发一种高度类似皮肤结构和机械性能的电致发光人形智能显示平台(HIDP)。最终，基于丝蛋白离子弹性体的HIDP表现出高拉伸性(700 %)、弹性和自愈能力，并且在极端环境和复杂机械刺激下在保持稳定发光状态;另外通过结合物联网与机器学习技术，HIDP实现了动物物种的视听交互和声音识别。

Humanoid Intelligent Display Platform for Audiovisual Interaction and Sound Identification
Yang Wang, Wenli Gao, Shuo Yang, Qiaolin Chen, Chao Ye, Hao Wang, Qiang Zhang, Jing Ren, Zhijun Ning, Xin Chen, Zhengzhong Shao, Jian Li, Yifan Liu, Shengjie Ling*

Nano-Micro Letters (2023)15: 221

https://doi.org/10.1007/s40820-023-01199-y

本文亮点

1. 基于丝蛋白离子弹性体的HIDP在保持稳定发光状态的同时表现出高拉伸性(700 %)、弹性和自愈能力，并且在极端环境和复杂机械刺激下可正常工作。

2. HIDP通过机器学习将声音幅度和亮度关联并用于视听交互。

3. HIDP可实时识别和显示动物物种和相应的频率。

内容简介

上海科技大学凌盛杰课题组基于丝蛋白离子弹性体，开发出一种高度类皮肤结构和机械性能的电致发光人形智能显示平台(HIDP)，克服了传统显示技术在机械性能以及智能化方面的限制，提供了一种更自然、更具交互性人机界面显示平台。在力学方面，HIDP与人类皮肤一致，表现出高拉伸性(700%)、弹性和自我修复能力，在极端环境及复杂机械刺激下能保持稳定发光。通过机器学习将声音幅度和亮度关联并用于视听交互，经过200轮随机测试，HIDP对五种动物声音的识别准确率达到100%左右;此外，通过分析声音特征，HIDP可识别并显示动物声音的种类和频率，准确率分别达到99%和93%。

图文导读

I HIDP的结构与图案化

HIDP的设计采用三明治结构，中间发光层由ZnS颗粒嵌入有机硅弹性体中组成，两个表面电极由丝蛋白离子弹性体组成(图1a-图1d)，这里的硅弹性体作为发光层具有与人体皮肤相似的机械性能，强度和模量都在0.2-0.5 MPa和0.1-0.7 MPa的范围内。丝蛋白离子弹性体(SFIE)电极由丝素蛋白、锂离子与水组成，其组分与皮肤类似，都基于蛋白质的结构框架，同时含有一定量的水和离子。SFIE还具备出色的光学透明性，其在可见光波长下的透射率高于85%，为发光显示性能提供了坚实基础。此外，SFIE还具有生物降解性和生物相容性，因此HIDP的应用可以扩展到人造皮肤，甚至涉及生物医学和其他相关领域。在SFIE和发光层组装到HIDP中后，它们的类皮肤力学性能也在设备中得到保留，为HIDP赋予了皮肤般的触觉感，具备出色的拉伸性和弹性。此外，这种结构还允许将HIDP机械冲模或切割成所需的形状，以组装成可拉伸的发光显示器件，如图1e-1i所示。

图1. (a) HIDP的结构和工作原理示意图;(b-d) 发光层、丝蛋白离子弹性体的结构示意图及截面SEM图像;(e-i) 各种图案的HIDP实物图以及在拉伸、弯曲等状态下的发光HIDP实物图。

II HIDP的力学性能

发光层经过等离子体亲水处理后，与SFIE电极进行组装，因此两者之间具有非常强的界面结合力，这使得HIDP在拉伸过程中能够保持稳定的发光状态，如图2a所示。HIDP的真应力-应变曲线呈J形，与生物弹性体的机械性能相似(如图2b所示)。HIDP和生物弹性体的相似性还体现在拉伸韧性和杨氏模量上，分别为3.3 ± 1.3 MJ m−3和0.83 ± 0.48 MPa，这些值与人类、猪和大鼠的皮肤相当，此外，HIDP的断裂伸长率(849±80%)甚至高于生物弹性体和其他软质材料，如图2c所示。HIDP还表现出出色的弹性，在200%的应变下经过100次拉伸循环后保持稳定的发光，滞后值为0.44，与先前报道的高性能双网络(DN)弹性体相媲美(图2d，e)。此外，如图2f和2g所示，即使在预缺口的情况下对HIDP进行拉伸测试，其断裂应变仍高达400%，并保持稳定的发光状态，同时在长期循环拉伸过程中保持机械稳定性和稳定发光状态。在自修复能力方面，蓝色和绿色HIDP在切割后可组装成双色发光器件，并且在高拉伸(300%应变)下保持稳定的双色显示(如图2h所示)。

图2. (a) HIDP在拉伸过程中不同应变下的发光图像;(b) HIDP、热塑性材料、生物皮肤和橡胶的真应力-应变曲线;(c) HIDP和其他具有代表性的离子电子学材料的杨氏模量和失效应变的Ashby性能对比图;(d) HIDP在循环拉伸过程中的发光图像;(e) HIDP和其他弹性体的滞后值和断裂韧性的Ashby性能对比图;(f-g) 带预缺口的HIDP在拉伸过程中不同应变下的发光图像及力学曲线;(h) 双色HIDP在不同应变下的发光图像。

III HIDP的发光性能

如图3a、3b所示，HIDP的亮度与施加的电压V呈正相关，与而发光层厚度呈负相关。此外，HIDP的亮度也受SFIE中的锂含量显著影响，当SFIE中的丝素蛋白与LiCl的质量比从5:1增加到2:1时，如图3b至3d所示，在615 V的电压下，HIDP的亮度值从0.6 cd m⁻2增加到86 cd m⁻2。当施加的电压保持不变时，HIDP的发光亮度随着电压频率的增加而增加，如图3f、3g和3h所示。随着频率从100 Hz增加到20 kHz，HIDP的发光峰值波长逐渐从绿色(504 nm)变为蓝色(460 nm)。

图3. (a-d, f, g) HIDP的亮度与激发电压、频率、厚度、锂含量的关系及相应的发射光谱图;(e) HIDP与其他代表性发光器件的可拉伸性和最大亮度的Ashby性能对比图;(h) 不同电压频率下的HIDP的颜色变化图像。

IV HIDP用于视听互动

如图4a所示，我们使用Arduino开发板的程序设计和处理模块，通过对不同声音信号进行编码，将其转换为不同的电压强度和频率，以驱动HIDP的动态发光，实现了相应的亮度、颜色和闪烁频率等信息的可视化显示。此外，我们还利用机器学习技术来学习不同声源激发HIDP的动态显示过程，以用于识别各种声源。我们选择了五种不同动物物种的声音(鸟，猫，狗，大象和老虎)作为研究对象，这些声音激发了HIDP显示的周期性亮度变化，这些变化被用作机器学习分类模型的输入，通过使用递归神经网络(RNN)模型，我们成功地根据HIDP显示的亮度变化信息来识别动物物种(如图4b和4c所示)。经过200轮随机测试，HIDP对这五种动物声音的识别准确率达到了约100%。

图4. 通过HIDP实现动物声音可视化和智能识别的技术路线示意图(a)、流程图(b) 以及操作步骤示意图(c)。

V HIDP用于视听互动

此外，动物声音的种类和频率也可以通过学习声音的特征来识别。如图5a-5c所示，我们使用了卷积神经网络(CNN)模型，将4586个动物声音的梅尔声谱图作为输入进行训练，从而实现动物声音的种类和频率的预测，训练后模型的准确率分别收敛至99%和93%。如图5d所示，为了更好地实现人机交互，我们搭建了tkinter界面用于实时显示声音识别的结果，当麦克风采集动物声音的音频信号如老虎的两声吼叫时，模型可以识别这一信号，并在HIDP中实时显示“t2”，在tkinter界面上实时显示“tiger 2”。除了动物的声音识别，该平台还可以区分简单的语句并分析语义，使HIDP能够实现问答显示(图5e)。

图5. (a) 用于为CNN模型建立数据集的音频信号处理的流程图;(b, c) 基于ResNet-50的CNN分类模型的结构示意图及准确率和损失曲线;(d) Tkinter界面和HIDP实时识别和显示动物声音的种类和频率 ;(e) HIDP实时识别和显示视听交互信息。

作者简介

王洋

本文第一作者

上海科技大学博士生

▍主要研究领域

】(1)生物功能材料(2)柔性智能光电显示平台的设计与开发

▍个人简介

上海科技大学物质科学与技术学院博士生，在《Chemical reviews》、《Nano-Micro Letters》、《Materials Horizons》、《Chemical Engineering Journal》、《ACS Applied Materials & Interfaces》等国际高水平期刊发表SCI论文11篇，累计被引210余次，致力于生物功能材料与柔性智能光电显示平台的设计与开发。

高文丽

本文共同第一作者

上海科技大学博士后

▍主要研究领域

(1)天然功能材料(2)人机交互平台的设计与开发

▍个人简介

上海科技大学物质科学与技术学院博士后，在《Nano-Micro Letters》、《Bioresource Technology》、《Carbohydrate Polymers》、等国际高水平期刊以一作或共同一作发表SCI论文7篇，致力于天然功能材料与人机交互平台的设计与开发。

凌盛杰

本文通讯作者

上海科技大学助理教授研究员

▍主要研究领域

(1)同步辐射红外及X射线技术对重组蛋白和天然材料的表征;(2)分子动力学模拟对天然材料设计策略的解析;(3)生物仿生材料，生物纳米材料和生物功能材料的开发与应用。

▍主要研究成果

2017年至今在上海科技大学任助理教授，主要从事天然高分子的基础性研究工作。研究组以生物大分子、天然结构材料和材料生物学为核心，致力于采用生物材料组学研究方法解析天然材料的设计策略，并开发相应的仿生功能材料。独立开展研究以来，在动物丝纳米组装体的提取、制备和应用、动物丝/丝蛋白“构-效关系”、丝蛋白器件等方面取得了一系列研究成果。在Nat. Rev. Mater., Chem. Rev., Adv. Mater., ACS Nano, Adv. Funct. Mater., Nano-Micro Lett., Matter, Adv. Sci., Macromolecules等高影响力杂志以通讯/第一作者发表论文120余篇一作者发表论文120余篇。

▍Email：lingshj@shanghaitech.edu.cn

撰稿：原文作者

编辑：《纳微快报(英文)》编辑部

关于我们

Nano-Micro Letters《纳微快报(英文)》是上海交通大学主办、在Springer Nature开放获取(open-access)出版的学术期刊，主要报道纳米/微米尺度相关的高水平文章(research article, review, communication, perspective, highlight, etc)，包括微纳米材料与结构的合成表征与性能及其在能源、催化、环境、传感、电磁波吸收与屏蔽、生物医学等领域的应用研究。已被SCI、EI、PubMed、SCOPUS等数据库收录，2022JCR影响因子为 26.6，学科排名Q1区前5%，中科院期刊分区1区TOP期刊。多次荣获“中国最具国际影响力学术期刊”、“中国高校杰出科技期刊”、“上海市精品科技期刊”等荣誉，2021年荣获“中国出版政府奖期刊奖提名奖”。欢迎关注和投稿。

Web: https://springer.com/40820

E-mail: editor@nmlett.org

Tel: 021-34207624

如果文章对您有帮助，可以与别人分享！：Nano-Micro Letters » 上海科技大学凌盛杰等：能发光的类皮肤智能显示平台，实现视听交互与声音识别