OpenAI机械手“自学”完成单手解魔方

在我看来，手部操作是一种技能，一般来说，人类不会主动学习。我们只是通过用手指和手做其他更具体的任务来解决问题。这使得教机器人解决手部操作任务变得特别棘手，因为我们是通过实验和反复试验自然获取的。机器人也可以通过尝试和改正错误来学习，但是由于它通常最终都是错误的，所以这需要花费非常长的时间。

去年六月，我们写了关于OpenAI教五指机器人手操纵立方体的方法。OpenAI使用的方法利用了相同的实验和反复试验，但是重点在仿真中，而不是在机器人硬件上。对于需要大量技巧的复杂任务，仿真通常很难转化为现实世界的技能。但是OpenAI通过在训练过程中向仿真引入大量随机性，这样，即使模拟与实际情况不完全匹配（事实并非如此），系统仍然可以处理在实际硬件上遇到的各种变化。

近日，人工智能研究组织OpenAI在构建通用自学机器人方面取得了新的里程碑。该组织的机器人部门表示，其去年首次开发的类人机器人手Dactyl，已经学会了单手解魔方。OpenAI将这一壮举视为机器人附件灵巧性以及自家AI软件的巨大飞跃，AI软件使Dactyl可以在面临实际挑战之前，利用虚拟仿真学习虚拟任务中的新任务。

最初的步骤是将机器人对魔方的操作分解为两个不同的任务：1. 将立方体的一个面朝任意方向旋转90度，然后旋转2度。翻转立方体以将不同的面带到顶部。由于旋转顶面对机器人来说要比旋转其他面简单得多，所以最可靠的策略是做一个90度的翻转，以获得想要在顶面旋转的面。求解立方体的实际过程在计算上是直接的，尽管求解过程是针对机器人可以执行的运动而不是将步数最少的求解优化的。

进行真实立方体求解的物理设置是一个具有相位空间运动捕捉系统的阴影灵巧E系列手，以及用于视觉姿势预测的RGB相机。被操纵的魔方也相当奇特：它里面塞满了传感器，可以以5度的精度报告每个方位，这是必要的，因为当魔方遇到一些遮挡时，要知道魔方的状态是非常困难的。

这套模型具体包括：一款灵巧的人形机械手，一套AI软件模型（用于识别魔方体的最佳移动序列），以及一个魔方操作器（最多可控制五根手指）。该团队报告称，基于模型与无模型的两大规划工具组合之后，该方案在1400次试验中实现了90.3%的平均成功率。而在对AI组件进行30000次操作训练之后，其平均成功率进一步提升至95.2%。

OpenAI机器人团队技术成员MatthiasPlappert表示，“我们之所以对魔方任务抱有浓厚兴趣，是因为它要求机器手的敏捷性接近于人类水平。从某种意义上讲，这是一项高度复杂的任务，必须真正精确地控制手指，才能准确翻转魔方的各个面。我们希望通过这次实验看看去年发布的这套AI模型能够走多远。”

该团队采用的解决方案是一种被称为「自动域随机化（ADR，automatic domain randomization）」的算法。这种算法会自动生成用于训练强化学习模型的分布以及可通过视觉估计对象姿态的模块，即一个基于视觉的姿态估计器，凭借着由奖励与惩罚机制重复实现的复习与强化学习过程，AI系统将一步步朝着正确的目标完成自主学习。

他们的最终目标是实现完全通用，这一点也与OpenAI提出的“在多个领域中建立起「安全」的人类级AI”目标相吻合。大多数专家认为，机器人技术的通用化还有很长的道路要走.

研究人员表示：“最终，我们希望未来的人工智能可以将某种价值传递到现实当中。以机器人为例，机器人的优势在于帮助人们关注某些事物或者从事一部分高危工作……但实现这些目标的前提，就是机器人必须有能力与现实世界互动。而这，正是我们当下努力的意义。”