在机器人学习中，一个经典的问题是物品的分拣：从一堆杂乱无序的物品中提取目标物品。对于快递分拣员来说，这个过程几乎是无需思考的，但对于机械臂而言，涉及到复杂的矩阵运算。
实际上，对于人类而言费时费力的数学问题，智能系统的处理却显得轻而易举。然而，在几乎无需思考的情况下进行分拣，这正是全球机器人研究专家关注的焦点。
机械臂的抓取要求首先确定每一段机械臂的位姿。
为此，机械臂需要一个视觉伺服系统来识别物体的位置。根据末端执行器（手）和视觉传感器（眼）之间的相对位置，系统可分为Eye-to-Hand和Eye-in-Hand两种类型。
Eye-to-Hand是一种分离式配置，视野固定不变。如果相机的标定精度高，那么抓取的视觉定位精度自然也会提升。
而Eye-in-Hand则将机械臂与视觉传感器结合在一起，视野会随机械臂的移动而变化。当传感器靠近物体时，精度会更高，但如果过于靠近，则可能导致目标物体超出视野范围。
要实现完美的抓取，精密的视觉系统与灵活的机械臂必须紧密配合。这一过程的核心在于找到合适的抓取点（或吸附点）并成功抓取，随后的运输则属于运动规划的范畴。
当前主流的解决方案包括以下几种：
Model-based（基于模型的方法）
该方法的核心在于事先了解要抓取的物体，通过实物扫描获取模型数据，然后在实际抓取时只需进行较少的运算：
1. 离线计算：根据末端装置的类型，对每个物体模型计算局部抓取点；
2. 在线感知：利用RGB或点云图计算每个物体的三维位姿；
3. 计算抓取点：在真实世界的坐标系中，依据防碰撞等要求选择最佳抓取点。
RGB颜色空间由红、绿、蓝三种基本色组成，可以叠加成任意色彩，机器人通过颜色坐标值来理解“颜色”。这种方法与人眼识别颜色的方式类似，并被广泛应用于显示屏。
Half-Model-based（半模型的方法）
在这种方法中，无需完全了解待抓取物体的特征，但需要大量相似物体来训练算法，以便在物品堆中有效进行图像“分割”，识别物体的边缘。训练流程包括：
1. 离线训练图像分割算法，将图像中的像素按物体进行区分。此项工作通常由专门的数据标注人员完成，按工程师的需求标注大量图片中的不同细节；
2. 在线处理图像分割，基于人工标注的数据寻找到合适的抓取点。
这种方法目前应用较为广泛，是机械臂抓取技术进步的重要推动力。尽管机械臂技术发展缓慢，但计算机视觉的图像分割技术迅速进展，也间接促进了机器人和无人驾驶等领域的发展。
Model-free（自由模型）
在这种训练方法中，不涉及“物体”的具体概念，机器人直接从RGB图像或点云图中计算出适合的抓取点。基本思路是在图像上找到Antipodal（对映点），即可能“抓得住”的点，并逐步训练出抓取策略。这种方法通常让机器人尝试不同种类的物品，进行自我监督学习，Google的ARM FARM便是这一类的代表。
需要注意的是，不同形状的物体对机械手的抓取难度差异很大。即使是相同形状的物体，因表面反光度和环境光照的影响，抓取的难度也会有所变化。从实验室研究到商业应用之间仍有较长的距离需跨越。
高精度相机的研发是机器人“感知”物体的第一步。在实际商业场景中，最具挑战性的物体总是“下一个物体”。为了使工业机器人真正融入生产体系，必须具备智能化的能力，能够根据不同工况灵活调整，从而拓宽其使用场景。
