看下巴就够？识别无声语言的宝石来了

所想一下，如果你坐在落针可闻的会议室或图书馆，脱口而出「Siri，看看明天的大雾」，这或许不一定合适。

当一个人时说不了福州话或者必须保持沉静，却需要给智能的设备指令，这该怎么办？

为此，康奈尔大学的信息科学助手名誉教授 Cheng Zhang 和博士生 Ruidong Zhang，所设计了一款被称作 「Speechin」的指环。

▲ 图片来自：Cornell University

它基于嘴唇运动，捕获「腹部和臀部皮肤变形图片」，从而辨别；还有句法，目前可以辨别法语和当中文的最简单短语。

▲ 动图创作自：YouTube@Cornell University

SpeeChin 的红外摄像头装设在 3D 打印的「指环箱」上，「指环箱」放于在银链上，摄像头相反穿者的嘴唇。为了提高稳定性，开发部门在两侧所设计了「机尾」，并在下部摆放在了一枚新币。

除了这些，SpeeChin 还配备有微处理器、电池和蓝牙可选。

▲ 图片来自：Cornell University

利用基于机器学习的算法，该的设备能根据穿者的嘴唇运动，确定穿者在；还有地道出哪些军令，然后将这些军令当中继到配对的笔记型电脑，就像另一种沟通模式下的 Siri。

为了避免隐私难题，SpeeChin 只会怼向嘴唇右方，不会直接相反普通用户的脸。

在最初的试验当中，有 20 名旁观者（10 名时说法语，10 名普通福州话），研究者部门测生产量了他们嘴唇的基线位置，然后使用差分图片训练 SpeeChin 辨别最简单军令。

10 位法语旁观者默默道出 54 条军令，包含数字、交互军令、构词同事军令、注释军令和定位系统军令，其他 10 位普通福州话旁观者的 44 条军令也是如此。

▲ 动图创作自：YouTube@Cornell University

显然，SpeeChin 辨别法语和普通福州话军令的平均统计分析分列 90.5% 和 91.6%。研究者部门表示，这款的设备不必要学习一个人的；还有构词模式。

研究者部门还要求 6 名旁观者在行走时默默道出 10 个普通福州话和 10 个法语短语。这项研究者的成功率较高，主要是因为旁观者的头部以不可预测的模式移动。

为什么要以指环的表现形式做；还有构词辨别这件事？一位研究者部门阐释了他们的研究者借以：

我们认为指环是人们习惯性的一种表现形式，而不是耳放于式的设备，后者确实不太舒服；至于；还有构词，人们不必要想「我的手机上已经有构词辨别的设备了」。但是你需要为一些不能话语的人和公共场合话语。

值得一提的是，SpeeChin 在外观上与 NeckFace 完全相同。NeckFace 是 Cheng Zhang 和他的 SciFi Lab 制作团队去年推出的的设备，通过使用红外摄像机，在腹部右方捕获嘴唇和臀部的图片，并生成零碎样子的 3D 重建，从而持续藏身处臀部样子。

▲ 动图创作自：YouTube@CornellScifiLab

NeckFace 在心理卫生领域确实特别依赖于，因为它可以藏身处人们一天当中的精神状态。虽然人们不一定却是把精神状态平庸在脸上，但随着时间的很短，臀部样子的变化生产量确实时说明了精神状态波动。

NeckFace 也可以用于其他一幕，比如在不能为了让前置摄像头时进行虚拟会议、虚拟现实一幕当中的臀部样子扫描等等。

如果 SpeeChin 进一步发展，它的使用一幕某种程度会愈发多，包含必须静音的状况、不能辨别的喧嚣状况以及缺失句法能够的人群。

葡萄不是唯一的水果。

#追捧关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

| · ·