口罩变麦克风!?东京大学和索尼CSL合作开发的“MaskClip”很神奇

自新冠肺炎疫情爆发以来,“戴口罩发声”一直是一个问题。

新冠肺炎疫情发生后,戴口罩讲话已成为常态。

在会议、课堂、医疗现场,甚至在YouTube上拍摄和直播时(这也意味着隐藏你的脸)──

想必大家都经历过口罩摘不下来、声音低沉、噪音进来的问题。

与此同时,东京大学和京都索尼计算机科学实验室(CSL)开发的一种新设备,面膜夹” 引起了人们的注意。

只需将这个小夹子固定在您的面罩上即可。面具本身就变成了麦克风是的。

传统的“面罩收音”方法及其局限性

手法结构优点缺点
针式麦克风(领夹式麦克风)贴在领子上或口罩外面简单且高品质的声音口罩布摩擦声音低沉
喉式麦克风拾取喉咙振动即使在噪音中也清晰可见需要戴在脖子上/感觉有压力
AI降噪麦克风AI消除背景声音抗噪音能力强设备庞大且昂贵
扬声器面罩/扩音器面具内的扬声器方便医疗和教育环境重量、电池寿命和音质问题

虽然每种方法都有一定的效果,“面具堵声音”的根本问题我还没能解决它。

“MaskClip”由东京大学信息研究研究生院Rekimoto实验室和索尼CSL京都共同开发。使用压电元件(压电传感器)的小型夹式麦克风装置是。

“Piezo”是一个希腊词,意思是“推动或施加压力”。压电元件(piezoelectric element)是将力或振动等物理压力转换为电信号具有属性的材料。还用于扬声器、打火机点火装置、电子乐器、振动传感器等。

这次的“MaskClip”使用该压电元件来检测面罩表面的轻微振动(声音引起的空气振动)。将电信号转换为音频数据我正在做。

换句话说,将口罩变成“拾取声音的传感器”的心脏就是这个压电元件。

直接检测口罩表面的微小振动,而不是空气中的声音。通过面具的移动拾取声音这是它的工作原理。

所以,

  • 即使在嘈杂的环境中也能准确捕捉说话者的声音
  • 显着降低外部噪音和混响的影响
  • 适用于一般无纺布口罩一键式安装,卫生

确切地面罩本身就变成了高性能麦克风这是思想的转变。

实验结果:比针式麦克风清晰约 3 倍

根据研究团队的实验,与传统针式麦克风相比,MaskClip 降低了字符错误率 (CER)。大约三分之一减少到。

即使在背景噪音很大的环境中,这也能发挥作用。只能高精度提取您自己的声音就是这个意思。

它在医疗、研究、教育和摄影等需要佩戴口罩的环境中显示出语音输入、通话和录音的巨大潜力。

创作者的好消息:“你可以隐藏麦克风”

对于戴着口罩进行拍摄和直播的 YouTube 用户和视频博主来说是个好消息。

MaskClip 适合面罩内部,因此麦克风完全隐藏的自然镜头你可以拍照。

无需像过去那样看到电缆或将针式麦克风隐藏在衣领下。

能够以稳定的音质进行录制,同时保持干净的外观,这是相当大的优势。

未来的可能性

尽管仍处于研究阶段,MaskClip有望应用于以下领域。

  • 🏥医疗领域:无需摘下面罩即可录音/语音指令
  • 🧑‍🏫教育/会议:讲师和演讲者戴着口罩授课。
  • 🎥内容创作:拍摄时隐藏麦克风替代方案
  • 🌐翻译/语音识别:配合实时转录和自动字幕

口罩已经从阻挡声音的东西,变成了拾取声音的新设备。

这项研究让我们对未来有所了解。

参考论文

该技术的详细信息发表在以下论文中。

MaskClip:可拆卸夹式压电传感面罩表面振动,实现实时抗噪语音输入Y. Wakuda、K. Hirata、Y. Horie、N. Matsuda、H. Rekimoto(东京大学/索尼 CSL 京都)