想象一下,你坐在办公桌前,用着专门为你量身定做的键盘,手指的长度,手掌的跨度,感受着没有按键的琴键……甚至没有。想象一下,在你面前的屏幕上有一个浮动的菜单,没有电线或支架,你的鼠标位于垃圾箱中,你甚至在请求之前就已经看到了选项。这是脸书向我们展示的现实,它在未来的实验室中朝着这个方向努力。
当谈到前瞻性计算平台时,脸书希望像它(仍然)拥有社交网络空间一样占据主导地位。其对Oculus VR的持续投资显示了这种野心,最近发布的脸书Aria(正在开发中的增强现实可穿戴眼镜)也证明了这种野心。
而AR和VR不仅有舒适的耳机,还有增加分辨率和刷新率的功能。如果用户不能舒适直观地与这些包罗万象的软件环境进行交互,那么使用它就不会带来很多乐趣,更不用说生活了。
因此,进入脸书现实实验室(FRL)的马克扎克伯格的帝国着眼于未来的部门,并专注于增强和虚拟化的所有事情。目前,这是所有计算中最严峻的挑战之一——一个笨拙的鼠标,并使界面和输入系统适合增强现实的未来。
它的答案?由意念控制的手腕可穿戴设备可以拦截思想和意图,而手势控制的界面只需要挥动。事实上,在某些情况下,甚至全世界的可访问性倡导者都喜欢它,他们甚至不需要这样做。
“这是一个不可思议的时刻,因为这是对旧世界的改变,为创新和发现奠定了基础,”FRL研究科学主任Sean Keller在TechRadar圆桌会议上表示。
“这是我们所遵循和依赖的推动计算向前发展的规则的变化。我可以想象,这是现在最富有的机会之一。”
从鼠标到手腕
蜡笔、铅笔、钢笔、鼠标、键盘……它们是可穿戴的吗?如果脸书的研究和原型需要开发,它可能是我们下一波输入设备的轨迹。脸书认为,它可以利用从VR中学到的知识来解决取代鼠标这个看似不可能的问题。
正如其Oculus Quest vr-platform上使用的手部跟踪应用程序的增长所证明的那样,它希望摆脱计算中持有的设备,以便我们的手和手指能够充分利用其全部功能和潜力。
VR用户可能已经发现自己熟悉虚拟现实的“捏”功能——将光标悬停在一个项目上,然后结合拇指和食指进行选择。但这是有限的交互,容易出错,只能处理它“触及”的界面的复杂性。
脸书认为,使用肌电图(EMG)的腕戴设备可以评估和记录骨骼肌产生的电活动,是与增强现实所依赖的环境计算界面进行更复杂和直观交互的第一步。现实中。
脸书的原型使用传感器来解释和转换从大脑到手臂到手腕的运动神经信号,并可以将手指的运动理解为“毫米”范围的运动。
与现有的相机跟踪系统(完美地放置在手腕上观看双手)结合使用,这将允许用户自由操作虚拟数字对象,而不会阻止它们与现实世界进行交互。
再往前走一步,对手的所有需求可能都是多余的,因为系统可以被训练成“只感知手指移动的意图”。
FR神经运动接口主任表示,“我们正在尝试用神经接口进行操作,这种接口允许你通过使用周围神经系统的输出,特别是使手和手指肌肉运动的大脑外部神经,直接控制机器。”托马斯里尔登(Thomas Reardon)。
事实上,脸书展示了一个演示,一个天生没有手的人可以在几分钟内使用腕戴设备以惊人的灵活性操纵虚拟手。里尔登甚至提出,有一天我们可以通过在每只手上模拟“六个或七个手指”来控制这种设备。
神经接口的目的是打破人机交互的漫长历史,开始它的发展,让人类比我们对机器有更多的控制权。
免提输入系统当然已经存在——像亚马逊的Alexa这样的语音助手能够理解命令,并通过不断增长的人工智能知识库推断上下文含义,而无需按下按钮。
但FRL团队认为,语音“对于公共领域来说不够私人,或者由于背景噪音而不够不可靠”。
在手腕靠近手的情况下,我们的主要交互身体部分可穿戴设备最有意义——尽管如何捕捉、存储和解释神经数据会带来新的隐私问题,这是目前连语音都无法与之抗衡的,甚至需要在考虑推出消费者之前解决。
脸书的可穿戴设备离消费者甚至商业应用还很远。然而,根据里尔登的说法,事情正在“迅速发展”,这表明一些类似的设备可能很快就会出现进行测试。
AR品牌
您可以随时随地将计算机桌面放置在任何地方。 (图片来源:Facebook Reality Labs)AR和VR接口
Facebook认为当前的计算界面响应速度不够。他们会做出反应,但并不期望会学习,但很少有上下文相关的知识。结果,我们一直在与采取数个输入步骤来完成我们可以立即可视化的任务的软件和系统作战。
“神经接口的目标是打破人机交互的悠久历史,并开始使其发展,这样,人类对机器的控制比对我们的控制要多。” Reardon解释说。
“我们想要以人类为整体体验绝对中心的计算体验。”
但是,如果没有匹配的界面,就不可能实现这样的目标。像Facebook Aria这样的AR眼镜将在我们的视野中随时提供信息,并将从各种来源获取数据,以适应当前的需求。
收集位置数据,环境传感器数据(例如温度和房间布局),甚至是一天中的时间等简单数据,目的是让AR界面了解上下文以仅呈现所需内容,从而抢占用户的明确意图。
FRL研究科学经理Tanya Jonker解释说:“底层的AI对您将来可能要做的事情有所了解。”
“也许您是在外面慢跑,并且根据您过去的行为,系统认为您最有可能想要收听正在播放的播放列表。然后,它在显示屏上向您显示该选项:“播放正在运行的播放列表?” 那就是工作中的自适应界面。
“然后,您可以使用微手势简单地确认或更改该建议。“智能点击”(AR界面的轻按即可向您显示与当前需求相关的信息,而无需先召唤它)使您能够以非常低的摩擦方式采取这些高度上下文相关的操作,因为该界面显示了一些可以根据您的个人历史和选择来确定相关性,它可以使您以最少的输入手势就可以做到这一点。”
增强型环境计算将在上下文中了解您的需求,从而在我们周围的世界范围内提供信息。 (图片来源:Facebook Reality Labs)
增强现实的优点在于它可以立即为您创建完美的设备。想象一下一种数字键盘,其形状和大小可减小至毫米,以适合您的手的大小和键入样式,而不是物理制造所需的通用现货大小。
但是,在数字环境中的物理感觉至关重要,因为即使在没有最大推动力的情况下,即使是最大尺寸的数字键盘也无法令人满意地使用。
FRL团队展示了两种旨在回答手腕触觉问题的设备。第一个是“ Bellowband”,这是一个腕带,其中包含八个气动风箱,可对其进行控制以提供压力和振动模式。
第二个设备是Tasbi(触觉和挤压手镯接口),它使用六个挤压在手腕上的“振动触觉致动器”。两者结合可以提供反馈信息,从而产生按下虚拟按钮或刷不同纹理的感觉。
目前,它们都没有准备好迎接黄金时段,麻烦且需要外部电源。但他们指出,Facebook认为这种感觉对于与数字商品进行直观,可信的交互至关重要。
然后,最终目标不仅是要让计算和现实世界共存,而且要融合。尽管智能手机可能已经降低了进入计算的障碍,但AR的目标是彻底消除障碍。
找到一个自然的用户界面和交互方式将是消除数字世界与物理世界之间摩擦的关键,而Facebook正在进行的这些实验无疑正在使人们受益匪浅。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 puzdycom@126.com 举报,一经查实,本站将立刻删除。