Design of a visual servoing control strategy for a 4WD4WS path tracking robot in an agricultural field

Abstract

The search for automating agricultural tasks realization with the objective of increasing productivity and improving the exploit of resources using a ground mobile robot, arises the motivation to propose in the present thesis work, a visual servoing control strategy for the robot’s movement control over ridges in strawberry crop fields. In other words, the controller only uses a camera’s captured images for the robot’s path following. This robot has a four-wheel drive fourwheel steering (4WD4WS) structure on which the camera is mounted. For trajectory recognition, a U-Net convolutional neural network previously trained is used to perform semantic segmentation on captured images. From segmented images a point-extraction algorithm is applied in order to get the reference positions (set points) for the proposed controller. With this methodology, trajectory localization is feasible in less than 150 milliseconds with a root-meansquared- error (RMSE) of 6.99 pixels, using a U-Net neural network trained with 4200 crop field images. Meanwhile, with the visual servoing control algorithm it is possible to reach a settling time of around 12 seconds, being stable against robot slippage and image processing defects.En la búsqueda de automatizar la realización de tareas agrícolas con el objetivo de incrementar la producción y mejorar el aprovechamiento de recursos utilizando un robot móvil terrestre, surge la motivación de proponer en el presente trabajo de tesis, una estrategia de control servovisual para el control de movimiento del robot sobre camellones en plantaciones de fresa. Es decir, un controlador que utilice únicamente las imágenes capturadas por una cámara para el control de seguimiento de trayectoria del robot móvil. Este robot cuenta con tracción y direccionamiento en sus cuatro ruedas (4WD4WS) y sobre el cual se encuentra montada una cámara. Para el reconocimiento de trayectoria a seguir se utiliza una red neuronal convolucional U-Net previamente entrenada que realiza la segmentación semántica de las imágenes capturadas. A partir de las imágenes segmentadas se aplica un algoritmo de extracción de puntos con el fin de obtener las posiciones de referencia (set points) para el controlador propuesto. Con esta metodología, la localización de la trayectoria es factible en menos de 150 milisegundos con un error-raíz-cuadrático-medio (RMSE) de 6.99 píxeles, usando una red U-Net entrenada con 4200 imágenes de los campos de cultivo. Mientras que, con el algoritmo de control servovisual se puede alcanzar un tiempo de establecimiento de aproximadamente 12 segundos, siendo estable ante deslizamientos del robot y defectos en el procesamiento de imágenes.