加州大学伯克利分校的人工智能研究人员正在使用iPhone X和苹果的ARKit训练机械臂抓取物体。它是Dex-Net AR的一部分，这是一个用商用智能手机进行机器人抓取的管道。ARKit通过在物体周围移动RGB相机两分钟来创建点云。
机器人抓取是一个特定的机器人子领域，它专注于教导机器人拾取、移动、操纵或抓取物体的挑战。加州大学伯克利分校Autolab的敏捷网络研究(Dext-Net)可以追溯到2017年，包括开源的训练数据集和预训练模型，用于电商垃圾桶采摘场景中的机器人抓取。机器人快速学习如何抓取物体的能力对像亚马逊配送中心这样的自动化仓库的发展有很大的影响。
在实验室八个物体的前期实验中，Dex-Net AR将ARKit扫描转换为深度图，供ABB米语机器人抓取物体，成功率为95%。每次扫描都会创建一个点云。
最近发表的一篇论文详细介绍了Dex-Net AR，“随着相机在空间中的移动，点云的密度增加，可以更好地检测和定义物体的表面以供抓取”。“Dex-Net AR可以产生精确的掌握，类似于依靠昂贵的工业级深度传感器的最新系统。与从固定视角(通常从上到下)捕捉图像的深度相机系统相比，Dex-Net AR允许用户围绕整个对象移动智能手机相机并收集3D点云数据。”
Dex-Net AR采用离群点去除算法和K最近邻算法去除ARKit点云中由估计误差引起的噪声。然后，Dex-Net抓取规划器评估机器人应该如何拾取物体。
由于每个ARKit扫描每个物体需要固定的两分钟，研究人员将在未来的研究中寻找更快的方法来扫描物体。该论文表示：“潜在的改进是，我们可以尝试通过使用基于学习的方法来补充和改进点云数据，从而减少视频捕获的时间，前提是只有有限的数据可用。”研究人员还计划探索如何更好地利用iPhone X深度传感器摄像头收集更清晰的点云数据。
Dex-Net AR于上周在国际机器人和自动化会议(ICRA)上发布。会议上发表的其他论文包括探索人类和四足机器人下半身骨骼行走的理想方法的作品。斯坦福大学的一个实验室共享一个多无人机管理系统，该系统使用公共汽车来降低运输成本和能源消耗。谷歌大脑、英特尔AI实验室和Autolab也推出了Motion2Vec，这是一款经过AI训练的AI，可以通过视频观察进行机器人手术。
标签：