未来允许人们与虚拟环境进行交互的系统将需要计算机来解释人的手几乎无穷无尽的变化和复杂性，包括不断变化的运动和关节角度。在虚拟现实和增强现实中，用户戴着耳机将虚拟环境显示为视频和图像。增强现实允许用户看到现实世界以及虚拟世界并与两者交互，而虚拟现实则将用户完全沉浸在人造环境中。
“在两种情况下，这些系统都必须能够看到并解释用户的手在做什么，”普渡大学机械工程系唐纳德·W·费德森教授和C设计实验室主任Karthik Ramani说。“如果您的手无法与虚拟世界互动，那么您将无能为力。这就是为什么双手如此重要的原因。”
新系统DeepHand使用模仿人类大脑的“卷积神经网络”，并能够“深度学习”以了解手的关节角度和扭曲几乎无穷的复杂性。
拉玛尼说：“我们实时了解您的手在哪里，手指在哪里，以及手和手指的所有运动。”
Ramani说：“这被称为空间用户界面，因为您是在空间中而不是在触摸屏或键盘上与计算机接口。” “假设用户想从虚拟桌面上拿起物品，驾驶虚拟汽车或生产虚拟陶器。双手显然是关键。”
研究人员使用250万个手势和配置数据库对DeepHand进行了“培训”。手指关节的位置被分配了可以快速获取的特定“特征向量”。
Sinha说：“我们确定手中的键角，然后观察这些角度如何变化，并用一组数字表示这些配置。”
然后，系统从数据库中选择最适合相机看到的图像的系统。
Ramani说：“这个想法类似于Netflix算法，该算法能够根据该客户购买的先前电影的记录为特定客户选择推荐的电影。”
DeepHand选择最适合相机拾取的手部位置的“空间最近的邻居”。尽管训练系统需要很大的计算能力，但是一旦训练了系统，它就可以在标准计算机上运行。
该研究得到了国家科学基金会和普渡大学机械工程学院的部分支持。