Control of Nonlinear Systems by Visual Servoing: Visual object tracking for a quadrotor using image-based visual servoing.

Abstract

Visual servoing has undergone major developments in recent years in the field of robotics. Since digital cameras are less expensive, lighter, and can potentially provide the robot equipments with a lot of information, which potentially promotes visual object tracking methods to be very promising for implementation in real-time applications. Through this thesis, we focus on the development system for a real tracking application basing on a visual servoing approach and of new visual tracking methods. To reach this goal, we draw two essential sub-objectives distributed into two parts. The first part is dedicated to the presentation of two object tracking methods that can determine the object’s trajectory over a sequence of images, whatever its shape. Although many object tracking methods have been developed over the last few years, some difficulties such as occlusion, fast motion, scale variation, and illumination variation can lead these methods to fall into tracking failure cases. We are particularly interested in improving the correlation filter-based method, which is one of the most effective tracking methods for real-time applications thanks to its simplicity. The main principle of these methods relies on the learning of the filter model in the frequency domain by using the Fourier transform to obtain a high precision with a reduced calculation complexity. However, Fourier transformation can cause undesirable effects, which can degrade the tracking quality. This makes these methods unable to distinguish between the target and its background. In this context, the first proposed method treats this limit by learning models of correlation filters via a convolutional neural network (CNN) features in the spatial domain using the PSO algorithm. In addition, we propose the HSV-based energy condition that has enriched the learning task by combining the RGB and HSV color bases. The second method learns the filter’s model in the frequency domain using the histogram of gradient (HOG) features to enable their implementation in real-time. We treat the drawback of boundaries in the frequency domain by applying a cosine window on feature channels. Furthermore, we adopt a re-detection module to improve the quality of tracking aginst the precited challenging cases The two proposed methods are validated on three reference datasets, OTB-50, VOT 2016 in the case of short-term tracking and UAV20L in the case of long-term tracking. The second part is dedicated to the design of an image-based controller taking into account both the quadrotor’s dynamics and the target’s motion during the tracking process, to accurately preserve it in the field of view (FOV). We adopt the concept of image-based visual servoing (IBVS) in which the computation of the control law is achieved by minimizing the error between the desired visual primitives and current primitives extracted from the image information. Lastly, we demonstrate through a virtual application that the proposed HOG-based tracking method can work reliably using the quadrotor’s camera to track two targets of variable sizes and distances, also the efficiency of our system in dealing with occlusion, and scale variation, demonstrating the applicability of the IBVS-HOG system. يمر موضوع الصيانة البصرية بتطورات كبيرة في السنوات الأخيرة في مجالات الروبوتات، ونظرًا لأن الكاميرات الرقمية يمكن أن تزود الروبوت بالكثير من المعلومات، فهي أقل تكلفة وخفيفة للغاية، ما يعزز طرق تتبع الأشياء المرئية ليكون واعدا للغاية ليطبق في الوقت الحقيقي. من خلال هذه الأطروحة، نركز على تطوير نظام موجه لتطبيق تتبع حقيقي يستند إلى منهج التحكم المرئي وطرق تتبع بصرية جديدة. لتحقيق هذا الهدف، نرسم هدفين فرعيين أساسيين يتم توزيعهما في جزأين. يخصص الجزء الأول لتقديم طريقتين لتتبع الكائنات يمكنهما تحديد مسار الكائن بمرور الوقت في سلسلة من الصور، أيا كان شكلها. على الرغم من أنه تم تطوير العديد من طرق تتبع الكائنات على مدار السنوات القليلة الماضية، إلا أن بع الصعوبات مثل الانسداد، الحركة السريعة، تغيير المقياس وتغيير الإضاءة قد تؤدي إلى سقوط هذه الطرق في فشل التتبع. نحن مهتمون بشكل خاص بتحسين الطريقة القائمة على عامل تصفية الارتباط، والتي تعد واحدة من أكثر طرق التتبع فعالية للتطبيقات في الوقت الفعلي بفضل بساطتها. يعتمد جانب هذه الطرق على معرفة نموذج المرشح في مجال التردد باستخدام تحويل فورييه للحصول على دقة عالية مع تعقيد حساب منخف . ومع ذلك، يمكن أن يتسبب تحويل فورييه في تأثيرات غير مرغوب فيها، والتي يمكن أن تتسبب في انخفاض جودة نموذج التتبع. هذا يجعل هذه الطرق غير قادرة على التمييز بين الهدف وخلفيته. في هذا السياق، تتعامل الطريقة الأولى المقترحة مع هذا الحد من خلال تعليم نماذج لمرشحات الارتباط عبر ميزات بالإضافة إلى ذلك، نقترح أن شرط الطاقة .PSO في المجال المكاني باستخدام خوارزمية )CNN( الشبكة العصبية التلافيفية .HSV و RGB قد ساعدت في مهمة التعلم من خلال الجمع بين قواعد الألوان HSV المستندة إلى لاستغلالها )HOG( الطريقة الثانية تعلم النموذج المرشح في مجال التردد باستخدام الرسم البياني لميزات التدرج في الوقت الحقيقي. نتعامل مع عيوب الحدود في مجال التردد من خلال تطبيق نافذة جيب التمام على قنوات الخصائص. علاوة على ذلك، فإننا نعتمد وحدة إعادة اكتشاف لتحسين جودة التتبع بين الحالات الصعبة المحددة. يتم التحقق من صحة في حالة التتبع على المدى VOT 2016 ،OTB- الطريقتين المقترحتين باستخدام ثلاث مجموعات بيانات مرجعية، 50 في حالة التتبع طويل الأجل. UAV20L القصير و الجزء الثاني، مخصص لتصميم وحدة تحكم قائمة على الصور مع مراعاة كل من ديناميكيات الطائرة رباعية الدوار وحركة الهدف أثناء عملية التتبع، للحفاظ عليها بدقة في مجال الرؤية. نعتمد مفهوم التحكم البصري المرتكزة على الصور والذي يتحقق فيه حساب قانون التحكم عن طريق تقليل الخطأ بين الخصائص المرئية المرغوبة والخصائص المرئية الحالية المستخرجة من معلومات الصورة. في الأخير، نوضح من خلال تطبيق افتراضي أن طريقة التتبع المعتمدة على خصائص الرسم البياني المتدرج يمكن أن تعمل بشكل موثوق على الطائرة رباعية المحرك ذات الكاميرا الثابتة لتتبع هدفين بأحجام و مسافات متغيرة، مما يدل على مدى قوة نظامنا في التعامل مع التغطية واختلاف أبعاد الشيء، مما يثبت قابلية تطبيق وفعالية النظام المقترح.