Présentation de l'ensemble des logiciels FELLY.

Parenthèse ces logiciels :

1 . Le module PERCEPTION 3D

Perception_Decision
Exécution de perception + fusion dans un garage sous-sol

Perception 3D un logiciel entièrement développé en C# et C++, fonctionnant sur CPU et GPU, est principalement un gestionnaire multi-capteurs (Caméras, Lidars, sonars, radars...) avec 5 grands rôles :

Perception%20VLP16-tools
Aperçu des outils de gestion de capteurs sur la gauche des deux écrans

Destiné à regrouper ce que perçoivent chaque les capteurs, en prenant en compte leur positions et orientation physique sur une scène 3D il doit tout fusionner sous forme de nuages de points colorisés dans un monde virtuel en temps réel, et ceci relatif à l'orientation du véhicule.

En fonctionnement ou à l'arrêt, est facilement possible de positionner, d'orienter, de focuser, de régler la densité et de cropper la projection du nuages de points de chaque capteurs.
Comme précisé plus haut, ce module à également pour rôle de segmenter (et résumer) les ensembles d'obstacles formels sous formes de "cubes" rouges et y transmettre au module de FUSION et DECISION

Support de différents capteurs

1) Les lidars mono-point, 2D, et 3D. (Velodyne, Ouster, Ibeo SCALA, Ibeo LUX, SICK LMS151...)
2) Les caméra 3D (Intel RealSense, Kinect, TMC520)
3) Les sonars (DYP-A02 ...)
4) Les radars (Delphi)

La projection virtuelle de perception utilise la technologie DirectX via Tzu3D, développé par Wahid GARCI. FAQ : Pourquoi Tzu ?

2. Le module VISION

Vision-twocamera
Aperçu des premiers essais à Lyon

En complément du module PERCEPTION (pour rappel, ne fait que de générer des "cubes rouges" sur des obstacles formels) ce module VISION, fonctionnant avec 4 caméras fisheyes, entièrement écrit en C# (pas de Python), permet de "labeliser" les obstacles formels détectés par les capteurs du module de PERCEPTION.

Ce qui permet par exemple de mieux adapter le comportement du véhicule face aux obstacles/futurs obstacles, et éventuellement réduire les "micro coups de frein" lors ce qu'il y a par exemple un journal ou une feuille d'arbre qui tombe brièvement devant un capteur du véhicule.

Basé sur un réseau neuronal indépendant compilé sous Yolo-Darknet.

PS:
Ce module (sera) également capable de segmenter les routes via le marquage au sol et les rebords des routes afin d'améliorer le path-tracing du module DECISION.

4 . Le module FUSION


Photo non représentative

Permettant de rassembler toutes les informations des modules (perception 3D + vision + orientation gyroscopique + mémoire cartographique + GPS) , puis de "FILTRER" et de faire un "packaging léger" de toutes ces données pour y envoyer au module DECISION, puis au module IHM et BLACKBOX.

Tout simplement.

2 . Le module DÉCISION

PathTracing_double

Grâce aux modules FUSION, PERCEPTION et VISION, et comme le nom l'indique, ce module permet décider du comportement du véhicule

Ce dernier permet de générer un «path-tracing» (représenté par des points verts), cet à dire de mettre en lumière les zones d'espace libre sans obstacles où le véhicule est capable de rouler par rapport au gabarit. Il sera également sous influence du module VISION, permettant de réceptionner les zones segmentés par des lignes au sol ou rebords de routes afin de générer une trajectoire sans sortie de route.
Il génère donc des trajectoires tout en adaptant la vitesse du véhicule en fonction des obstacles sur son chemin.

Et envoie des informations pilotage au module ACTION afin de contrôler le volant et les pédales.

3 . Le module ACTION

L'interface robotique du véhicule.

ACTION
Aperçu du module (non connecté)

Ce module permet :

3 . Le module IHM

Ce module est l'interface graphique, adapté aux écrans tactile de bord, où il est possible de piloter le packaging complet de Felly et visualiser en temps réel les évènements

IHM

Il permet