技术特征：
1.一种基于视觉识别水果并采摘的机器人，其特征在于，包括移动小车、六自由度机械手、工控机、水果存放箱、夹爪、相机；所述六自由度机械手、所述工控机以及所述水果存放箱，均搭载在所述移动小车上；所述夹爪和所述相机，均安装在所述六自由度机械手的末端；其中，所述工控机，用于根据所述移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径；规划路径的起点为所述移动小车的当前位置，终点为当前待采摘位置；所述移动小车，用于沿规划路径移动到当前待采摘位置；所述相机，用于拍摄当前待采摘位置的果树图像；所述工控机，用于将果树图像输入预设的目标水果识别模型，得到目标水果识别结果；所述工控机，用于若有目标水果时，获取目标水果的位置信息，并根据目标水果的位置信息调整所述六自由度机械手的姿态直至目标水果进入所述夹爪的夹取范围；所述夹爪用于夹住目标水果；所述工控机，用于调整所述六自由度机械手的姿态直至所述夹爪所夹住的目标水果进入所述水果存放箱的存放区域；所述夹爪用于释放所夹住的目标水果；所述工控机，用于判断是否有下一待采摘位置，若有，将下一待采摘位置设为当前待采摘位置，并跳转到所述根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤，直至没有下一待采摘位置。2.根据权利要求1所述的一种基于视觉识别水果并采摘的机器人，其特征在于，所述移动小车还搭载有激光雷达；所述六自由度机械手的末端还安装有与所述工控机电连接的压力传感器；其中，所述激光雷达用于采集果园的三维点云数据；所述移动小车还用于带动所述激光雷达在果园内移动；所述工控机用于根据三维点云数据生成果园地图；其中，果园地图包括起点和终点的位置信息；所述压力传感器用于检测所述夹爪所受的压力；所述工控机用于判断所受的压力是否大于预设值，若是，则判断为采摘成功，执行下一步骤。3.一种机器人使用方法，应用如权利要求1-2任一所述的基于视觉识别水果并采摘的机器人；其特征在于，所述机器人使用方法包括如下步骤：根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径；规划路径的起点为所述移动小车的当前位置，终点为当前待采摘位置；沿规划路径移动到当前待采摘位置；拍摄当前待采摘位置的果树图像；将果树图像输入预设的目标水果识别模型，得到目标水果识别结果；若有目标水果，获取目标水果的位置信息，并根据目标水果的位置信息调整六自由度机械手的姿态直至目标水果进入夹爪的夹取范围；夹住目标水果，并调整所述六自由度机械手的姿态直至所述夹爪所夹住的目标水果进入水果存放箱的存放区域；
释放所夹住的目标水果；判断是否有下一待采摘位置，若有，将下一待采摘位置设为当前待采摘位置，并跳转到所述根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤，直至没有下一待采摘位置。4.根据权利要求3所述的一种机器人使用方法，其特征在于，目标水果的位置信息包括自身信息及间距信息，自身信息为自身的中心点坐标，间距信息为与相邻水果的间距；所述获取目标水果的位置信息的步骤包括：基于深度学习算法识别各个目标水果的检测框，并得到各个检测框的中心点坐标；其中，检测框的中心点坐标为自身的中心点坐标；基于各个检测框的中心点坐标，得到相邻检测框的间距；其中，相邻检测框的间距为间距信息；所述根据目标水果的位置信息调整六自由度机械手的姿态直至目标水果进入夹爪的夹取范围的步骤，包括：判断相邻检测框的间距是否小于所述夹爪的爪子厚度；若小于，则根据预设夹角调整所述六自由度机械手的末端旋转角度；其中，预设夹角为相邻两个检测框的中心点连线与水平面的夹角。5.根据权利要求3所述的一种机器人使用方法，其特征在于，所述将果树图像输入预设的目标水果识别模型，得到目标水果识别结果的步骤之后，还包括：若没有目标水果，控制所述六自由度机械手往后和/或往上移动，直到检测到目标水果。6.根据权利要求3所述的一种机器人使用方法，其特征在于，所述根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤之前，还包括：控制所述六自由度机械手移动，获取各不相同的预设组第一位姿坐标、各不相同的预设组第二位姿坐标；第一位姿信息为所述六自由度机械手的位姿坐标，第二位姿信息为标定板在所述相机的坐标系中的位姿坐标；基于逆运动学求解出与预设组第一位姿坐标一一对应的与预设组第二位姿坐标一一对应的其中，为所述六自由度机械手的末端执行器坐标系到所述六自由度机械手的基座坐标系的转换矩阵，为标定板坐标系到所述相机坐标系的转换矩阵；基于公式求解其中，p
b
表示所述六自由度机械手的基座坐标系的坐标，p
t
表示标定板坐标系的坐标，p
b
与p
t
均为定值。7.根据权利要求6所述的一种机器人使用方法，其特征在于，所述基于公式求解的步骤，包括：基于将转换成ax＝xb，其中，为p
t
的逆矩阵，a为b为x为基于tsai-lenz算法求解x。8.根据权利要求3所述的一种机器人使用方法，其特征在于，所述夹住目标水果的步骤
之后，还包括：检测所述夹爪所受的压力；判断所受的压力是否大于预设值；若是，则判断为采摘成功，执行下一步骤。9.根据权利要求3所述的一种机器人使用方法，其特征在于，所述调整所述六自由度机械手的姿态直至所述夹爪所夹住的目标水果进入水果存放箱的存放区域的步骤包括：基于人工势场法、作为固定障碍物的所述工控机，调整所述六自由度机械手的姿态直至所述夹爪所夹住的目标水果进入水果存放箱的存放区域。10.根据权利要求3所述的一种机器人使用方法，其特征在于，所述根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤之前，所述机器人使用方法还包括：带动激光雷达在果园内移动，并采集果园的三维点云数据；根据三维点云数据生成果园地图；其中，果园地图包括起点和终点的位置信息；采集训练用图片及对应的训练用标签；其中，训练用图片的内容包含目标水果及干扰用背景；根据训练用图片及对应的训练用标签对yolov5网络进行训练，得到目标水果识别模型。
技术总结
本发明涉及一种基于视觉识别水果并采摘的机器人，包括移动小车、六自由度机械手、工控机、水果存放箱、夹爪、相机；六自由度机械手、工控机以及水果存放箱，均搭载在移动小车上；夹爪和相机，均安装在六自由度机械手的末端；通过前述方案，可以自动识别目标水果并进行采摘，不需要人工干预，提高了采摘效率和生产力；通过视觉识别，能够准确地识别目标水果，提高采摘的准确性和效率；采摘后的目标水果可以放入水果存放箱，便于实现连续采摘。便于实现连续采摘。便于实现连续采摘。
技术研发人员：郭森森
受保护的技术使用者：深圳市普蓝机器人有限公司
技术研发日：2023.08.14
技术公布日：2023/10/15