Des lunettes de vision par ordinateur pour le robot Spot

Dans cet article, nous explorons le processus d’intégration de la vision par ordinateur dans une action du robot Spot (une tâche exécutable lors de la téléopération ou dans le cadre d’une mission autonome Autowalk). Ce processus comprend le traitement des images captées par Spot pour en extraire des données ou les exploiter.

Je vous invite à consulter la documentation conceptuelle de la trousse SDK pour le robot Spot ainsi que le dépôt GitHub de Boston Dynamics, qui comprend une foule d’exemples. Cet article comprend des échantillons de code tirés de ces ressources. Sachez toutefois que les ressources officielles demeurent le meilleur endroit pour obtenir des exemples de code à jour.

Le service Network Compute Bridge

Boston Dynamics explique que le Network Compute Bridge (NCB) est une fonctionnalité dans l’écosystème de Boston Dynamics qui permet de rediriger les calculs à un autre ordinateur du réseau. Par exemple, on peut acheminer une requête au réseau neuronal profond vers un serveur dans le nuage.

De plus, le NCB nous permet de facilement configurer une action du robot Spot utilisant une source d’image et d’appliquer une logique personnalisée sur l’image saisie. Nous pouvons ensuite modifier l’image de sortie, l’afficher sur la tablette Spot, puis l’enregistrer pour y accéder ultérieurement.

Grâce à cette fonctionnalité, nous pouvons appliquer une logique simple (ou complexe) de vision par ordinateur afin d’exploiter ou d’extraire des données à partir des images captées par le robot Spot. 

Vous trouverez un exemple de ce genre d’utilisation qui pourrait être utile à votre organisation dans notre article de blogue : Allier la vision par ordinateur aux capacités du robot Spot pour maximiser l’extraction de données.

Personnalisation des services

Si un utilisateur doit saisir des données avant ou pendant notre travail de vision par ordinateur, nous utilisons le système de personnalisation des services. Celui-ci nous permet d’ajouter des champs interactifs personnalisés à une action du robot Spot. 

Dans l’exemple ci-dessous, Boston Dynamics utilise le système de personnalisation des services dans le cadre d’une action d’inspection thermique pour définir les seuils de température minimum et maximum pour chaque zone d’intérêt. Cette fonctionnalité permet de créer une logique permettant aux opérateurs de définir les valeurs souhaitées et être avisés si le système de vision par ordinateur détecte des valeurs dépassant les seuils (p. ex. si le niveau d’un réservoir est sous le niveau minimum défini ou si un indicateur analogique affiche une valeur en dehors de la fourchette acceptable).

Résultat

Une fois que l’action NCB a été créée et envoyée au robot Spot, nous pouvons utiliser la vision par ordinateur dans le cadre d’une inspection de routine pour extraire des données à partir des images captées.

Dans cet exemple, nous demandons à un utilisateur de définir la couleur attendue du liquide dans le réservoir ainsi que le niveau minimum voulu. Si l’un ou l’autre de ces critères n’est pas respecté, alors le résultat de l’inspection indique un « échec », ce qui envoie une notification à un opérateur.

Bien sûr, il s’agit là d’un exemple simplifié pour illustrer une utilisation possible dans le monde réel, mais le concept demeure le même.

Exemple de code

Le code utilisé pour intégrer la vision par ordinateur dans une action du robot Spot est un peu long, alors nous avons choisi de ne pas l’inclure ici. Vous pouvez cependant consulter un exemple détaillé dans la documentation sur le NCB pour la personnalisation des services dans la trousse SDK pour Spot, ou encore l’exemple de NCB (sans la partie concernant la personnalisation des services).

En conclusion

Au-delà des capacités de base de Spot, l’intégration des technologies d’apprentissage machine et de vision par ordinateur offre un nouveau monde de possibilités pour les entreprises. Ces améliorations enrichissent les fonctionnalités de Spot, en plus d’ouvrir la voie à des connaissances basées sur les données et à des analyses prédictives plus poussées qui pourraient révolutionner les activités d’affaires et les stratégies de maintenance.

Nous savons que Spot a le potentiel de redéfinir les applications industrielles et commerciales. Osedea peut réaliser des démonstrations de faisabilité sur mesure pour vous aider à déterminer si Spot est l’option idéale pour répondre à vos besoins d’affaires. Écrivez-nous! Nous serons heureux de discuter avec vous des possibilités de Spot dans votre entreprise.