移动VR轻交互：这家公司用手机摄像头做手势识别

大概是众多的公司都意识到了移动VR缺少交互的问题，各种各样的交互方案在今年层出不穷。有直接将 Outside in空间定位做到一体机上的；有Leap Motion、uSens、微动等做双目摄像头手势追踪；还有用英特尔用RealSense做的Inside out空间定位，Google Daydream用的3自由度手柄等等。

现在又有一家国内创业公司进入了这个领域，做了一套基于手机摄像头的移动VR交互方案。这家北京的创业公司名叫英梅吉，其做的产品叫Hand CV。与前述各种交互方案相比，Hand CV最大的特点是轻，不需要额外的硬件设备，仅通过手机的摄像头和软件来实现，而且还是免费授权的。

轻手势交互

所谓的轻手势交互自然是相对于重手势交互而言的，在英梅吉的CEO朱郁丛看来，Leap Motion、uSens这类就属于重手势交互，它们不仅需要额外的硬件辅助，而且功耗和性能需求都要更大。

具体到实际功能上，重手势交互追踪双手手指关节的运动，希望在虚拟世界中重现你的双手，就像上图中 Leap Motion 的一个Demo演示的那样。而Hand CV所做的轻手势交互，是通过不同的手势来实现选择、点击、拖拽等基本操作，正如下面这个视频所演示的。

举个例子，通过 Leap Motion 你可以用手在虚拟世界里拿起一个物体并把它扔出去，但用Hand CV做不到这点，因为单目摄像头得不到精确的深度信息，虽然通过图像识别算法也能计算出模糊的深度数据。

根据官方介绍，Hand CV的实现方法是：

通过普通摄像头采集画面，逐帧进行手掌检测、分割。对分割出来的信息通过k-cos等聚类算法对目标检测物做特征提取，最后将提取的特征做为手势识别的数据。手势识别部分采用了隐马尔可夫模型对大量识别样本数据进行反复训练。

Hand CV 2.0版本预计将支持的手势类型包括下图中所示的几种（暂拟），而朱郁丛表示厂商可以根据自己的需求对手势进行定制。

这款产品会首先支持iOS设备，主要是因为苹果的硬件比较单一稳定。功耗上，对于使用A8处理器设备，它会消耗8%到10%的功耗。为了降低功耗，它在“待机”状态下每2到3秒抽取一帧摄像头画面，而使用时则是12帧每秒的频率。

该公司计划在9月份在App Store上线一个产品Demo，同时也会放SDK出来，正式版本预计将在今年年底到明年年初发布。

抓住了移动 VR 的痛点？

小编对Hand CV进行体验后发现，整体操作十分简单，上手起来很快，只需要记住几个手势就行，而手势识别的速度和精度都还不错。

不过，这项技术也会遇到所有计算机视觉（CV）技术会遇到的问题，不管是单目还是双目摄像头，在极暗光、强光以及嘈杂的环境中都可能会遇到识别不了的问题。对此，朱郁丛表示他们正在建立一个拥有10万张的手势模型的库，希望通过深度学习提高技术的鲁棒性。

在推广这款产品上，英梅吉采用免费授权的模式，正在合作的厂商包括优酷、哈视奇等。内容厂商只需将Hand CV置入到自家的App中，就能让VR手机盒子用户实现手势操控。视频方面是播放、暂停和拖动，而游戏针对的通常是一些轻交互的小游戏，例如卡牌。

朱郁丛表示英梅吉的目标是成为ARVR基础交互技术的供应商，而且他认为VR只是一块，未来其技术在AR方面的价值会大得多。目前该公司已将技术授权给AR眼镜厂商影创科技。

除了基础交互，朱郁丛还透露，公司在与万事达卡合作开发VR支付方面的产品，主要是手势密码。此外，该公司也希望将技术应用到汽车、机器人等产品上面。

收入方面，英梅吉目前并不打算从ARVR内容厂商那里赚到钱，而是希望在获得足够大的市场份额之后再来考虑盈利的事。与此同时该公司也在与知识产权代理公司合作，希望通过做一些技术授权来获得收入，例如让手机厂商在产品中置入自家的技术。

英梅吉2014年由CEO朱郁丛和CTO李小波联合创立，一直从事计算机视觉方面的技术开发，此前开发过AR购物方面的产品，但今年已经将全部精力放在Hand CV这款产品上。

对于接下来的前进方向，朱郁丛表示首先是把手势识别做好，其它的计算机视觉技术也会去探索，但目前还没有其它的产品方向。他表示做技术不是为了炫技，而是要有好的应用场景。另外，他认为Slam对创业公司的价值已经结束，现在做太迟了。

现在之所以押注Hand CV，朱郁丛认为是因为这款产品抓住了移动VR体验的用户痛点。他认为轻交互是单目的市场，重交互是手柄的市场，而基于深度摄像头的手势追踪，其定位是错误的，不会有足够的市场。

在沉浸感看来，用手势去代替目前手机盒子通过“转头+一个点击按键”或是“转头+触摸板”的交互设计看起来是个不错的方案，但是否能受到用户的认可，还需要产品推出后的进一步观察。

推荐阅读：

VR手势交互之争：与Leap Motion刚正面，uSens发布Fingo模组