1.本发明涉及机器人技术领域，更具体地说，涉及基于视觉识别水果并采摘的机器人及机器人使用方法。
背景技术：
2.随着我国经济快速发展，各行各业的人工成本不断上升，特别是农业生产领域，农产品采摘的人力成本较高，使得现代化农业需要不断往机械化、智能化方向发展。
3.针对水果采摘，现有的水果采摘机器人大部分是半自动化的，工作效率较低，难以大规模推广应用。
4.因此，仍需要对现有水果采摘机器人做改进，以解决现有水果采摘机器人效率不高的问题。
技术实现要素：
5.本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供基于视觉识别水果并采摘的机器人及机器人使用方法。
6.本发明解决其技术问题所采用的技术方案是：
7.构造一种基于视觉识别水果并采摘的机器人，包括移动小车、六自由度机械手、工控机、水果存放箱、夹爪、相机；所述六自由度机械手、所述工控机以及所述水果存放箱，均搭载在所述移动小车上；所述夹爪和所述相机，均安装在所述六自由度机械手的末端；其中，
8.所述工控机，用于根据所述移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径；规划路径的起点为所述移动小车的当前位置，终点为当前待采摘位置；
9.所述移动小车，用于沿规划路径移动到当前待采摘位置；
10.所述相机，用于拍摄当前待采摘位置的果树图像；
11.所述工控机，用于将果树图像输入预设的目标水果识别模型，得到目标水果识别结果；
12.所述工控机，用于若有目标水果时，获取目标水果的位置信息，并根据目标水果的位置信息调整所述六自由度机械手的姿态直至目标水果进入所述夹爪的夹取范围；
13.所述夹爪用于夹住目标水果；所述工控机，用于调整所述六自由度机械手的姿态直至所述夹爪所夹住的目标水果进入所述水果存放箱的存放区域；
14.所述夹爪用于释放所夹住的目标水果；
15.所述工控机，用于判断是否有下一待采摘位置，若有，将下一待采摘位置设为当前待采摘位置，并跳转到所述根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤，直至没有下一待采摘位置。
16.还构造一种机器人使用方法，应用如上所述的基于视觉识别水果并采摘的机器
人；所述机器人使用方法包括如下步骤：
17.根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径；规划路径的起点为所述移动小车的当前位置，终点为当前待采摘位置；
18.沿规划路径移动到当前待采摘位置；
19.拍摄当前待采摘位置的果树图像；
20.将果树图像输入预设的目标水果识别模型，得到目标水果识别结果；
21.若有目标水果，获取目标水果的位置信息，并根据目标水果的位置信息调整六自由度机械手的姿态直至目标水果进入夹爪的夹取范围；
22.夹住目标水果，并调整所述六自由度机械手的姿态直至所述夹爪所夹住的目标水果进入水果存放箱的存放区域；
23.释放所夹住的目标水果；
24.判断是否有下一待采摘位置，若有，将下一待采摘位置设为当前待采摘位置，并跳转到所述根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤，直至没有下一待采摘位置。
25.本发明的有益效果在于：可以自动识别目标水果并进行采摘，不需要人工干预，提高了采摘效率和生产力；通过视觉识别，能够准确地识别目标水果，提高采摘的准确性和效率；采摘后的目标水果可以放入水果存放箱，便于实现连续采摘。具体使用过程为，根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径，进而，沿规划路径移动到当前待采摘位置，进而，拍摄当前待采摘位置的果树图像，进而，将果树图像输入预设的目标水果识别模型，得到目标水果识别结果，进而，若有目标水果，获取目标水果的位置信息，并根据目标水果的位置信息调整六自由度机械手的姿态直至目标水果进入夹爪的夹取范围，进而，夹住目标水果，并调整六自由度机械手的姿态直至夹爪所夹住的目标水果进入水果存放箱的存放区域，进而，释放所夹住的目标水果，进而，判断是否有下一待采摘位置，若有，将下一待采摘位置设为当前待采摘位置，并跳转到根据移动小车的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤，直至没有下一待采摘位置。前述方案中，每次采摘都会确定六自由度机械手的高度和末端的位姿，能够增加采摘的成功率。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图及实施例对本发明作进一步说明，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图：
27.图1是本发明实施例一所提供的一种基于视觉识别水果并采摘的机器人的轴测图。
具体实施方式
28.为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前
提下所获得的所有其他实施例，都属于本发明的保护范围。
29.实施例一
30.本发明实施例提供了一种基于视觉识别水果并采摘的机器人，如图1所示，包括移动小车10、六自由度机械手11、工控机12、水果存放箱13、夹爪14、相机15；六自由度机械手11、工控机12以及水果存放箱13，均搭载在移动小车10上；夹爪14和相机15，均安装在六自由度机械手11的末端；其中，
31.工控机12，用于根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径；规划路径的起点为移动小车10的当前位置，终点为当前待采摘位置；
32.移动小车10，用于沿规划路径移动到当前待采摘位置；
33.相机15，用于拍摄当前待采摘位置的果树图像；
34.工控机12，用于将果树图像输入预设的目标水果识别模型，得到目标水果识别结果；
35.工控机12，用于若有目标水果时，获取目标水果的位置信息，并根据目标水果的位置信息调整六自由度机械手11的姿态直至目标水果进入夹爪14的夹取范围；
36.夹爪14用于夹住目标水果；工控机12，用于调整六自由度机械手11的姿态直至夹爪14所夹住的目标水果进入水果存放箱13的存放区域；
37.夹爪14用于释放所夹住的目标水果；
38.工控机12，用于判断是否有下一待采摘位置，若有，将下一待采摘位置设为当前待采摘位置，并跳转到根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤，直至没有下一待采摘位置。
39.本实施例提供的机器人，可以自动识别目标水果并进行采摘，不需要人工干预，提高了采摘效率和生产力；通过视觉识别，能够准确地识别目标水果，提高采摘的准确性和效率；采摘后的目标水果可以放入水果存放箱13，便于实现连续采摘。具体使用过程为，根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径，进而，沿规划路径移动到当前待采摘位置，进而，拍摄当前待采摘位置的果树图像，进而，将果树图像输入预设的目标水果识别模型，得到目标水果识别结果，进而，若有目标水果，获取目标水果的位置信息，并根据目标水果的位置信息调整六自由度机械手11的姿态直至目标水果进入夹爪14的夹取范围，进而，夹住目标水果，并调整六自由度机械手11的姿态直至夹爪14所夹住的目标水果进入水果存放箱13的存放区域，进而，释放所夹住的目标水果，进而，判断是否有下一待采摘位置，若有，将下一待采摘位置设为当前待采摘位置，并跳转到根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤，直至没有下一待采摘位置。前述方案中，每次采摘都会确定六自由度机械手11的高度和末端的位姿，能够增加采摘的成功率。
40.可选的，移动小车10还搭载有激光雷达16；六自由度机械手11的末端还安装有与工控机12电连接的压力传感器17；其中，
41.激光雷达16用于采集果园的三维点云数据；移动小车10还用于带动激光雷达16在果园内移动；
42.工控机12用于根据三维点云数据生成果园地图；其中，果园地图包括起点和终点
的位置信息；
43.压力传感器17用于检测夹爪14所受的压力；
44.工控机12用于判断所受的压力是否大于预设值，若是，则判断为采摘成功，执行下一步骤。
45.上述提供的机器人，采用激光雷达16视觉slam系统来构建果园地图，相比于视觉传感器，激光雷达16的测距精度高，且不易受外部干扰(如光照与视角变化)，所获取的地图点云准确性大大提高。同时，通过激光雷达16进行测距，便于实现移动小车10行走时的自主导航功能；此外，通过压力传感器17，可以实现对目标水果采摘效果的实时判断，避免采空后放入水果存放箱13而造成误判，确保水果存放箱13有更高的利用率。
46.实施例二
47.本发明实施例提供了一种机器人使用方法，基于如实施例一的基于视觉识别水果并采摘的机器人；机器人使用方法包括如下步骤：
48.根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径；规划路径的起点为移动小车10的当前位置，终点为当前待采摘位置；
49.沿规划路径移动到当前待采摘位置；
50.拍摄当前待采摘位置的果树图像；
51.将果树图像输入预设的目标水果识别模型，得到目标水果识别结果；
52.若有目标水果，获取目标水果的位置信息，并根据目标水果的位置信息调整六自由度机械手11的姿态直至目标水果进入夹爪14的夹取范围；
53.夹住目标水果，并调整六自由度机械手11的姿态直至夹爪14所夹住的目标水果进入水果存放箱13的存放区域；
54.释放所夹住的目标水果；
55.判断是否有下一待采摘位置，若有，将下一待采摘位置设为当前待采摘位置，并跳转到根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤，直至没有下一待采摘位置。
56.本实施例所提供的使用方法，根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径，进而，沿规划路径移动到当前待采摘位置，进而，拍摄当前待采摘位置的果树图像，进而，将果树图像输入预设的目标水果识别模型，得到目标水果识别结果，进而，若有目标水果，获取目标水果的位置信息，并根据目标水果的位置信息调整六自由度机械手11的姿态直至目标水果进入夹爪14的夹取范围，进而，夹住目标水果，并调整六自由度机械手11的姿态直至夹爪14所夹住的目标水果进入水果存放箱13的存放区域，进而，释放所夹住的目标水果，进而，判断是否有下一待采摘位置，若有，将下一待采摘位置设为当前待采摘位置，并跳转到根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤，直至没有下一待采摘位置。前述方案中，每次采摘都会确定六自由度机械手11的高度和末端的位姿，能够增加采摘的成功率。
57.可选的，目标水果的位置信息包括自身信息及间距信息，自身信息为自身的中心点坐标，间距信息为与相邻水果的间距；
58.获取目标水果的位置信息的步骤包括：
59.基于深度学习算法识别各个目标水果的检测框，并得到各个检测框的中心点坐标；其中，检测框的中心点坐标为自身的中心点坐标；
60.基于各个检测框的中心点坐标，得到相邻检测框的间距；其中，相邻检测框的间距为间距信息；
61.根据目标水果的位置信息调整六自由度机械手11的姿态直至目标水果进入夹爪14的夹取范围的步骤，包括：
62.判断相邻检测框的间距是否小于夹爪14的爪子厚度；
63.若小于，则根据预设夹角调整六自由度机械手11的末端旋转角度；其中，预设夹角为相邻两个检测框的中心点连线与水平面的夹角。
64.上述方案中，基于深度学习算法计算出目标水果之间的距离，并获取六自由度机械手11的旋转角度，出现两个目标水果靠得很近的情况时，夹爪14能够随六自由度机械手11旋转一定的角度，以便在不损伤目标水果的情况下将其采摘下来，并且也不会出现目标水果受夹爪14推顶导致坐标改变的情况。
65.可选的，将果树图像输入预设的目标水果识别模型，得到目标水果识别结果的步骤之后，还包括：若没有目标水果，控制六自由度机械手11往后和/或往上移动，直到检测到目标水果。通过前述设置，尽可能地使六自由度机械手11每次都可以采摘到目标水果，提高采摘效率。
66.可选的，根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤之前，还包括：
67.控制六自由度机械手11移动，获取各不相同的预设组第一位姿坐标、各不相同的预设组第二位姿坐标；第一位姿信息为六自由度机械手11的位姿坐标，第二位姿信息为标定板在相机15的坐标系中的位姿坐标；
68.基于逆运动学求解出与预设组第一位姿坐标一一对应的与预设组第二位姿坐标一一对应的其中，为六自由度机械手11的末端执行器坐标系到六自由度机械手11的基座坐标系的转换矩阵，为标定板坐标系到相机15坐标系的转换矩阵；
69.基于公式求解其中，pb表示六自由度机械手11的基座坐标系的坐标，p
t
表示标定板坐标系的坐标，pb与p
t
均为定值。
70.可选的，基于公式求解的步骤，包括：
71.基于将转换成ax＝xb，其中，为p
t
的逆矩阵，a为b为x为
72.基于tsai-lenz算法求解x。
73.其中，至少有13组第一位姿坐标和第二位姿坐标，都是与第一组位姿坐标对应的转换矩阵，以此类推的，都是与第二组位姿坐标对应的转换矩阵。上述设置实现了六自由度机械手11和相机15之间的标定，以便进行坐标系之间的转换，从而准确获取六自由度机械手11末端执行器的坐标和相机15图像的坐标，为后续的
控制和操作提供准确的定位信息。
74.可选的，夹住目标水果的步骤之后，还包括：
75.检测夹爪14所受的压力；
76.判断所受的压力是否大于预设值；
77.若是，则判断为采摘成功，执行下一步骤。
78.通过上述设置，可以实现对目标水果采摘效果的实时判断，避免采空后放入水果存放箱13而造成误判，确保水果存放箱13有更高的利用率。
79.可选的，调整六自由度机械手11的姿态直至夹爪14所夹住的目标水果进入水果存放箱13的存放区域的步骤包括：
80.基于人工势场法、作为固定障碍物的工控机12，调整六自由度机械手11的姿态直至夹爪14所夹住的目标水果进入水果存放箱13的存放区域。
81.通过人工势场法可以实现六自由度机械手11避障的路径规划，避免在存放目标水果的过程中，出现六自由度机械手11的臂身与工控机12相互碰撞的情况。
82.可选的，根据移动小车10的当前位置、当前待采摘位置、预设的果园地图以及路径规划规则，生成规划路径的步骤之前，机器人使用方法还包括：
83.带动激光雷达16在果园内移动，并采集果园的三维点云数据；
84.根据三维点云数据生成果园地图；其中，果园地图包括起点和终点的位置信息；
85.采集训练用图片及对应的训练用标签；其中，训练用图片的内容包含目标水果及干扰用背景；
86.根据训练用图片及对应的训练用标签对yolov5网络进行训练，得到目标水果识别模型。
87.通过上述设置，实现基于激光雷达16的果园点云数据采集和地图生成，以及目标水果识别模型的训练。这将为后续的果园作业和水果采摘提供了重要的j9九游会真人的技术支持，例如自动导航、目标定位和识别等功能，提高了果园管理和作业的效率和精准度，也增强了目标水果识别模型的鲁棒性。
88.应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。