大发一分快三倍投VR交互探秘:我们到底需要怎样的手部交互? | 硬创公开课 | 雷锋网

  • 时间:
  • 浏览:39
  • 来源:5分排列3平台-5分排列3官方

朋友与现实世界进行交大发一分快三倍投互的主要最好的土大发一分快三倍投大发一分快三倍投办法是手,朋友与VR世界的交互同样没办法 。

从最初级的手势交互,类事英梅吉和 HoloLens 仅有固定几条手势,到追踪用户手指关节运动在虚拟空间中模拟整只手出来的Leap Motion、uSens,再到手拿手柄在虚拟空间里进行交互的 Vive 手柄和 Touch,大发一分快三倍投还有加入更多交互维度的产品,比如Dexmo和微软都不 研发的力反馈。

关于用户的手与 VR 世界交互这块几乎所有VR公司都不 涉及,当下的手部交互占据 那先 问题报告 图片?如何让朋友与VR世界的交互更加真实、自然?

本期公开课朋友邀请到了VR领域技术专家张梦晗为朋友解读那先 问题报告 图片。

嘉宾介绍

张梦晗,男,VR领域技术专家,高级工程师。2012年至今从事VR/AR领域技术研发,目前聚焦在VR/AR交互领域进行技术探索和研究。

以下内容整理自公开课。

当下主流的VR交互最好的土办法

在回答这个 问题报告 图片过后 ,我要我先解释下交互在AR&VR中间的意义。

现在的VR产品的产品形状逐渐趋同,世界并能提供合格屏幕、光学、芯片等等关键器件和材料的公司也就没办法 几家,大厂进来过后 各种参考设计就说 我要 ,VR头盔未来好多好多 一一还还有一个制造显示器的活,能产生差异化的点没办法 少了。

Microsoft Kinect

而目前朋友都不 VR交互方面下大功夫,短期来说是产品本身的差异化需求,这不仅仅关系到用户体验,还有内容生态本身的原因。以Microsoft Kinect为例,基于体感交互设计开发的游戏成为了事实上的平台独占游戏,有过后 成为好多好多 人购买Xbox的核心理由。

长期来看,VR和AR设备在交互领域是相通的,有过后 目前的阶段正是一一还还有一个拓荒期:操作界面正在从二维平面转移到三维空间,有过后 还没办法 形成一一还还有一个类事PC时代下鼠标键盘操作界面过后 的朋友公认的交互范式,过后 的过后 应该说是所有做人机交互的专业人士一辈子难得遇到的过后 。

在过后 的背景下,我倾向于将VR&AR交互的范畴划的大一些:

一类是朋友普遍关注的由人主动发起的交互动作,比如手部交互、体感交互等等,类事交互往往发出的都不 选着性的指令性信息,要求准确达成一些特定的目的,也会耗费最多的精力和体力。

还有一类则是由机器主动发起的交互动作,比如眼球跟踪、脑电肌电、头部位置跟踪、表情识别等等,类事交互是机器来感大发一分快三倍投知使用者的情况报告来进行交互,好多好多 过后 使用者自身不须要牵扯不必 精力。

再有一类没办法 忽视的是机器对环境的感知交互,比如三维重建、情景感知、物体分割识别等等,好多好多 过后 尤其在AR中,没办法 先做好对外在环境的感知,人与机器之间的交互并能顺畅。

这是我理解的交互范畴,帽子特别大盖住的东西不必 ,有过后 今天朋友还是集中于一一还还有一个关键点,也好多好多 手部交互来进行探讨。

VR手部交互的重要性

手对你有多重要,手部交互都不 多重要。

除了嘴之外,手应该是人日常最总是使用的的信息输出器官了,传统的大主次交互接口也都不 围绕人手来设计,选着性高,兼容性好。

PC时代没办法 多交互范式,最后落到鼠标键盘都不 和手部相关。

当然朋友没办法 有过后 好多好多 没办法 手部交互才是VR&AR的未来,做好交互永远是一一还还有一个综合治理的过程。

有过后 随着AI的发展,由机器发起的交互逐渐并并能实现选着性的指令判决了,没办法 手部交互的重要性过后 会变弱。

游戏“光晕”图,中间的士官长并能直接和寄宿在脑中芯片的AI交互,这是比较理想化的情况报告

有过后 从现在过后过后刚开始 了了的相当长一段时间里,手部交互依然是最性成熟期是什么期的句子的句子是什么的控制类人机交互最好的土办法,有过后 体验也远远没到完美,值得投入完善。

VR手部输入最好的土办法的种类

按我的区分最好的土办法好多好多 裸手和非裸手两类,根据产品形状和技术原理的不同又并能细分。

Google Project Soil 裸手交互

裸手好多好多 不须要任何介质的手部交互,比如Leap Motion基于计算机视觉的,Google Soli基于毫米波雷达的,还有一些基于超声、红外的除理方案,总的来说基于视觉图像除理的发展的最性成熟期是什么期的句子的句子是什么,效果目前来说也最好。

Oculus Touch

非裸手好多好多 须要本身介质的手部交互,常见的好多好多 Daydream Controller、Oculus Touch这个 3DoF过后 6DoF手柄,还有比较多的好多好多 各种各样的数据手套,基于视觉、惯性、弯曲传感器等等,总的来说手柄还是接受程度最高的,有过后 现在的趋势是手柄和手套会逐渐融合成一体,形成一一还还有一个新形状的人机交互媒介。

诺亦腾全身动捕套装

在VR里,实际上裸手还是非裸手都不 比较广泛的应用,有过后 相对来说非裸手还有一定的优势:在VR下人主要和虚拟物体和环境交互,通过某个媒介能提高交互的真实感。

在AR里,过后 人不仅仅要与虚拟物体交互同去并能看一遍现实场景和物体,好多好多 裸手情况报告在AR中更多。

不同手部输入最好的土办法的优劣势

评价某项技术优劣势有多种维度的考量,从产品深度图成本和功耗就能干死绝大主次的交互方案,当然目前朋友还是希望能从体验的深度图来进行分析。

裸手的优劣

按我之间的分类最好的土办法,朋友先谈谈裸手的优劣: 

方便,你不必每天带一一还还有一个手套在手上,过后 带上头盔四处乱摸找手柄;

过后 都不 要购买独立模组(用手机上的摄像头)过后 付高昂的授权费用,裸手也会更便宜;

至于好多好多 人所说的裸手交互更自然更符合人的习惯,在VR下我不赞同,有过后 在AR过后 MR下大主次情况报告是对的。

劣势好多好多 :准确性还不达标,在VR环境下使用不够好多好多 主次,这个 我中间再细讲。

非裸手的优劣

准确性好,你按一下好多好多 一下,两下就两下,大主次时间不必担心输入错误;

靠媒介并能提供反馈,这个 在VR下很关键;

劣势:不方便,走哪你都不 想着带;有学习成本,当然也看UX设计的好坏;在AR和MR环境下会阻碍人与现实的交互,这个 最致命。

总体来说,裸手和非裸手的优缺点是并能互补的,好多好多 在VR环境下这本身手部交互会同去占据 ,而长期来看,AR/MR的时代裸手会逐渐成为主流,过后 朋友能找到一一还还有一个融合方案,我另一方我其实这个 是一一还还有一个值得朋友同去努力的方向。

为那先 祼手交互没办法 成为主流?

抛开成本和功耗不谈(我我其实这个 一还还有一个是最要命的),就体验来说根据中间你说歌词 的优劣势来判断你并能知道问题报告 图片所在的症结了。

应用于PC上的Leap Motion

Leap Motion类事手部跟踪方案出先于PC时代的末期,目标是替代鼠标和键盘,结果朋友也看一遍一遍了,过后 PC下的鼠标键盘实际上过后 是公认的范式,朋友在使用过程中并没办法 感觉有不必 不便,就算不方便也习惯了,这就原因绝大主次人没办法 接受本身新的PC交互最好的土办法的需求,做产品的都知道没办法 需求原因啥。

应用于VR交互的Leap Motion

而VR兴起了过后 ,裸手交互总算迎来了一一还还有一个机遇,过后 在VR下鼠标键盘都不 好用了,这下裸手交互总否是有需求了吧?事实上还是高兴的一些早,过后 这个 过后 和裸手竞争的还有非裸手的手柄和触摸板(参考EPSON BT500)。

EPSON BT500

华为VR头盔的触摸版

而和那先 交互设备相比,裸手交互的优势也暂且明显:裸手交互在正确输入前提下的确认度低这个 老大难问题报告 图片实际上总是没办法 除理,就算有95%的确认率,玩游戏的过后 也是20次开枪有一次哑火,而手柄在正确输入下的确认率毫无问题报告 图片是接近5000%的。

仅仅这个 项就原因裸手还无法取代手柄类事交互设备,这就带来了过后 更为关键的问题报告 图片:裸手交互的必要充分场景在哪里?这也是我总是在和好多好多 做手势交互的朋友们探讨的问题报告 图片。

一项还不够性成熟期是什么期的句子的句子是什么的、不便宜的技术,过后 想被广泛的接受就须要有一一还还有一个前提,朋友要为它找到一一还还有一个充分必要的场景,在这个 场景下,它具有不可替代性,除了裸手没办法 别的交互能做的更好,而过后 这个 场景是一一还还有一个刚性场景,没办法 就算再不性成熟期是什么期的句子的句子是什么并并能忍耐。

有过后 在VR下裸手交互还没办法 找到那个场景,国内有好多好多 厂家用裸手交互来操作进度条、暂停播放等等,过后 的操作我用手柄过后 头盔上的触摸板并能更容易除理;还有描述车载家庭等场景下的裸手交互也是有问题报告 图片,在那先 场景下语音过后 更有优势(尤其是开车,手没办法 抛弃方向盘的)。

好多好多 从手机时代直到VR,我我其实裸手交互都不 很痛苦的,过后 没办法 实我我其实在的刚性需求,用户和开发者往往会被Leap Motion的酷炫所吸引,但这个 冲动式的热情会更快被裸手的好多好多 问题报告 图片所磨灭,好多好多 我另一方认为最紧急的事情是找到裸手交互占据 的充分必要场景,过后 朋友就都能活下去。

而从VR到AR/MR,裸手交互的必要性才会没办法 大,(当然也要强调交互设计,Hololens的那种手势就过于生硬,明显是硬放进去的),我另一方我其实这个 充分必要的场景会在这个 时间段出先,现在还是一些早。

为那先 好多好多 VR里的手显得很假?

首先假不等于差,有过后 当1另一方我其实某件事物假,没办法 一定都不 说某一些出了问题报告 图片。

首没办法 说在VR手部交互方面借助手柄在一些场景下反而更真实,好多好多 第一人称设计类游戏角色本身是总是转过身有枪的,这个 场景下拿一一还还有一个手柄会比裸手更真实,目前都不 一些依靠剪切力来模拟挥动以及开枪后坐力的方案,通过手柄媒介能做好多好多 事情,更容易提升体验。

而过后 朋友希望在VR交互环境中是裸手操作,没办法 就会遇到更多显得假的情况报告。首先强调的好多好多 VR中须要的都不 手势识别(Gesture Recognition),好多好多 手部跟踪(Hand Tracking)。手势识别和手部跟踪估计是两码事,朋友在日常生活中用到手势的唯一场景好多好多 打手语,好多好多 你在VR环境中也用手势来进行操作是假的没办法 再假的事情,肯定会要我别扭,这也是最容易出先的误区。

而Hand Tracking我其实更符合人日常的交互习惯,我要我看一遍整个手部模型有过后 能实时跟踪(不管是有Bone还是仅仅是Tips和Palm),依然有好多好多 显得假的情况报告:估计的不准容易抖动,双手交叠容易丢失,过后 基于视觉做励志的话 超出视距范围也会丢失等等。

这还仅仅是手假,你在VR环境中所有的物体和场景也是假的,这会原因很著名的“幻影手”问题报告 图片。你的手想抓住一一还还有一个虚拟的物体,摸到一一还还有一个虚拟的墙壁或桌子,要我发现抓没办法 ,摸不着,而视觉方面又不好做反馈,只好将手设计成并能穿过任何物体,你在过后 的场景下好多好多 一一还还有一个幻影一般的占据 ,当然要多假有多假。

Jobs Simulator里手的设计

好多好多 朋友并能看一遍实际上原因“假"的原因是比较综合的,短期内想删剪除理比较难,做好视觉的反馈包括UI的设计实际上是类事Leap Motion过后 的除理方案目前所关注的,都不 了不小的成效。用户我其实我其实假,但好多好多 会我其实有更多的不适应,有过后 有的过后 过后 你真的没办法 最好的土办法做的删剪真实,假一些反而有好处,任何仿真都不 有恐怖谷的问题报告 图片。

一张Leap Motion的图,并能看一遍中间不仅有手部,还有前臂主次的跟踪

另外须要强调下,除了Hand主次的真假,好多好多 开发者我我其实还忽视了Arm主次的重要性,过后 好多好多 悬空显示一双手励志的话 ,也是会显的很假,Leap Motion考虑到了这个 点将Arm也包括进来,实际上不仅对算法鲁棒性,对改善交互者的体验也是有很大帮助。

对于“虚拟的手”,方便比真实更重要

刚才说在VR的手部交互方面借助手柄反而会更真实,过后 转过身有一一还还有一个实时在在的反馈。而你(主持人)所说的虚拟用户手的行为应该好多好多 指Oculus Touch,过后 别的手柄暂时都没办法 这个 能力来模拟一一还还有一个真实的手。朋友好多好多 人都体验过Oculus Touch,原理也都知道的差不必 ,它依靠几条点的接近光传感器,我我其实并能模拟出手部的一些细微动作变化,设计的很巧妙。

但那个她 所说的自然我我其实在VR中是不占据 的,这个 我我其实也是我总是想强调的事情,自然不见得是VR场景下须要追求的事情,过后 物体是虚拟的,你的手也是仿真估计出来的,这个 毫无自然可言,朋友更多的是追求流畅、快速、用最小的能耗省时省力的完成交互,而那先 有的过后 和自然会有矛盾。

比如现在好多好多 交互设计,刻意做成和现实场景删剪一致,比如抓取一些细微的零件、走老远拉出一一还还有一个抽屉,看上去蛮酷的,有过后 时间长了没办法 会受得了,就像是在演哑剧,明明哪里没办法 东西,朋友须要按有东西来操作,这个 不协调感会加剧人的疲劳和不适。

好多好多 好多好多 过后 朋友既然没办法 最好的土办法在VR中把交互做的没办法 真实,那还不如就多思考如何让交互更方便,比如把交互控件做的大一些、引入raycast等最好的土办法操作远距离的物体,不真实,有过后 简单有效省时省力,反好多好多 目前消费者更为须要的。

若是好多好多 不惜一切代价的追求真实,除非是一些垂直行业的仿真场景,这个 对成本不敏感,就完都不 另外本身思路,有过后 我不我其实VR须要走到那一步。

如何让裸手交互更受欢迎?

基于视觉的裸手交互的问题报告 图片归纳起来有如下几点:正确输入下的确认率差,鲁棒性也差,不够反馈,交互范围相对窄(脱离视距范围会丢失),易疲劳(更像真实交互所带来的副作用,恐怖谷效应)。那先 问题报告 图片每一一还还有一个都不 挺要命的,须要综合的治理和除理。

前面的几条的改善好多好多 比算法硬功夫,你模型估计的越准确,实时性好,就会有所收益,有过后 即使做的再完美,中间的反馈问题报告 图片和交互疲劳性问题报告 图片也没办法 最好的土办法除理,好多好多 两主次要同去进行。

有一些设计将人的手作为操作界面,用另一只手点击虚拟出的菜单来完成交互,我其实会遇到交叠跟踪丢失等问题报告 图片,但并能提供反馈,依然是一一还还有一个很好的思路。

交互范围窄的问题报告 图片在Inside-Out的场景下更为严重,Leap Motion使用双鱼眼镜头(Dual Fisheye Camera)的主要原因好多好多 希望能尽过后 的扩大交互范围,而形状光和ToF的FoV与分辨率的矛盾是硬伤,这须要器件本身的规格提升。

至于如何设计能让用户和开发者更受欢迎,我还是强调几点:忘掉所谓的自然,强调流畅快速省时省力。最最最最重要的是:找到一一还还有一个没办法 裸手交互并能做的最好最舒服的充分必要场景,这个 场景应该成为所有裸手交互研发人员同去最求的圣杯,找到了它朋友才都能活的好。

力反馈手套除理的问题报告 图片和占据 的局限

关于反馈的重要性我前面也提到,除理幻影手的问题报告 图片,加入反馈机制是必不可少的。有过后 抛开成本和造价不谈,力反馈手套还是有好多好多 的问题报告 图片。

首先所有的数据手套都没办法 除理好的一些好多好多 佩戴的舒适性和方便性,这个 是制约其进入消费级别市场的最大因素。好多好多 数据手套通不必 IMU融合来做手部位置跟踪捕捉,有过后 要想做的精确须要每个传感器精确放置在骨节上,有过后 还免不了要做初始化校准,这都都不 一一还还有一个消费级别产品并能接受的。

另外加入反馈的最好的土办法都不 好多好多 问题报告 图片,反馈分为力反馈/震动反馈/触觉反馈,综合形成一一还还有一个比较好的HAPICS体验,有过后 目前在力反馈领域还没办法 用一一还还有一个小的机械形状提供足够大的阻尼力,有过后 机械形状本身都不 飞车的风险,容易造成人的肌肉损伤。

一些的反馈机制则都不 好多好多 硬伤,比如非侵入式的触觉反馈,本身受环境影响很大,手一出汗沾水反馈效果就受到影响,而电极植入这个 浸入式方案也明显不必被消费者接受。

反馈方面励志的话 题并能展开说好多好多 ,对于数据手套来说,目前朋友做的都还是比较早期,也没办法 对精度要求较高的工业场景,医疗场景和设计场景中会有明确的需求,距离消费级市场比较远。朋友也看一遍好多好多 公司在尝试繁杂系统,用比较低廉的价格尝试进入消费领域,不过我还是希望朋友能除理好佩戴和使用便利性的问题报告 图片,另外好多好多 要想好如何使用它。

手部交互的未来

分开来看,手柄手套这个 非裸手的交互会在相当长一段时间里总是占据 下去,有过后 朋友都不 围绕这个 东西来做改良,从Oculus Touch到下一代的Vive手柄,朋友都能清楚的看一遍这个 趋势,更多的功能被上加,更加贴合手型,并能做6DoF跟踪,震动和力反馈等等,这都不 基于介质来做手部交互的优势,毫无问题报告 图片要想最好的土办法发扬光大。

而裸手交互过后 在短期内依然会比较艰难,当然好在朋友看一遍的比较清楚裸手交互在AR/MR时代的必要性,好多好多 还是会不断的向前演进,除了提升算法本身的稳定性,一些并能改善体验的UX设计并能改善体验,撑着朋友并能活到AR兴起的时期。另外还是要强调一些,寻找到那个圣杯:裸手交互的必要场景才是最主要的,别的我我其实都好说。

Q&A 环节

1、如何评价HoloLens的手势交互,这个 多线程池池 的手势交互否是并能用作日常使用的产品?

张梦晗:首先应该有不少朋友都体验过Hololens了,朋友相信对它的体验都不 感觉。

它是本身“手势识别”,而都不 本身“手部跟踪”,视觉上并没办法 一一还还有一个反馈给到你,你甚至都没办法 判断我当前的情况报告到底是都不 占据 有效的交互范围内。

过后 的情况报告下,交互的波特率单位自然就大打折扣,有过后 还有一一还还有一个问题报告 图片,既然我的系统整体是使用头瞄来选着交互目标,我用一一还还有一个简单的触摸板(Touchpad)触碰会不必比那个不靠谱的双指掐击更方便确认。

离米 目前来说,我另一方认为Hololens的主要精力并没办法 放满手势上,好多好多 捎带塞了一一还还有一个交互最好的土办法进来。我甚至我其实这个 交互最好的土办法有过后 是硬件定型后才发现没办法 交互最好的土办法,好多好多 才利用视觉系统做了个手势,我我其实我我其实侧面加个触摸板你说歌词 更好用。

抛开Hololens本身的设计不谈,我我其实裸手交互在AR设备上是绝对必要的。但也要有对应的交互设计配合才行。比如AR下好多好多 过后 我的目标交互物好多好多 定位在某个现内部人员体之上的,甚至虚拟物体的运动会与现内部人员体占据 交互,这个 过后 用裸手交互显然是不二的选着。

而回到Hololens,从它的交互界面来看我我我其实没办法 看一遍须要要使用手势的必要性,也好多好多 说朋友并没办法 找到我提到的圣杯。

2、三维手势交互中间,目前技术上的问题报告 图片更多还是设计上的问题报告 图片更多?技术上除理三维交互比较好的方向是那先 ?离性成熟期是什么期的句子的句子是什么还有多远?

张梦晗:技术上和设计上的问题报告 图片都好多好多 ,而最大的问题报告 图片是那个必要充分的场景没办法 找到,这个 我强调无数次了。

技术上我我其实单纯的提升准确率和精度过后 无法删剪除理深度图手部跟踪的应用问题报告 图片了,当然裸手交互方案提供商们还是会持续提升客观指标,有过后 朋友会渐渐发现好多好多 客观指标的提升过后 没办法 在体验上表现出来。

尤其是Inside-out场景下,再高的准确率也无法除理疲劳感和交互范围狭小的问题报告 图片,而除理后两者就不仅仅是技术问题报告 图片,好多好多 设计问题报告 图片,好多好多 我过后 说过,要综合治理。

而在没办法 找到手势交互的必要场景过后 ,想留住用户让用户想用要我用深度图手势,我我其实关键在于利用视觉声学等综合反馈,给用户尽量提供明确的确认信息,尽过后 让用户像使用手柄一样知道另一方那先 过后 选中了。

没办法 这个 确认性接近达到手柄的水平,裸手手势的方便性并能充分体现,过后 不贵励志的话 ,你说歌词 我还要我用一下。至于别的我我其实等这个 小目标达到了再慢慢看吧。

过后 朋友直接学会英语圣杯,找到一一还还有一个没办法 裸手并能学会英语的业务场景,没办法 问题报告 图片再多我也要我将就着用,慢慢等你改良。让用户没办法 选着,你并能立于不败之地。

3、手势识别或是手势跟踪,主要基于机器视觉,过后 是一些传感器融合,目前用的比较多,比较鲁棒的技术有那先 呢?

张梦晗:鲁棒性的问题报告 图片实际上和设计都不 关系,相同的精度下操作小器件和大按钮的占据 错误的概率肯定不同。基于多传感器融合,并能很好的除理超视距下的交互问题报告 图片,手揣兜里并能跟踪,这是基于视觉的手部跟踪所没办法 最好的土办法除理的问题报告 图片。

有过后 这个 情况报告也会有陀螺仪长期主次漂移,须要初始化等问题报告 图片,从这个 深度图来说,并能总是检测校准的视觉方案又有优势了。而最近有好多好多 的除理方案强调另一方在鲁棒性上有好处,比如说好多好多 基于500GHz的毫米波雷达定位,主打的好多好多 相对视觉方案来说更能抗干扰,尤其在室外环境下。

即使是基于视觉原理,不同的器件方案都不 影响,RGB Dual Camera会比形状光在室外抗红外干扰能力强,但在暗光环境下又反过来。

没办法 缺点的方案还没办法 出先,目前采用Dual Camera比较多也是过后 FoV并能做的比较大,交互范围的大小要比鲁棒性重要一些。

雷锋网原创文章,未经授权禁止转载。详情见转载须知。