Allier la vision par ordinateur aux capacités du robot Spot pour maximiser l’extraction de données

Nous avons récemment déployé Spot à l’usine intelligente par Deloitte @ Montréal. Nos partenaires potentiels peuvent maintenant voir le quadrupède robotisé à l’œuvre en mission autonome et visionner les données en temps réel sur notre tableau de bord personnalisé qui s’affiche sur quatre écrans. Au-delà des données, on peut extraire une valeur supplémentaire des images grâce à la vision par ordinateur, par exemple pour automatiquement alerter en temps réel les entreprises en cas de problèmes potentiels. Voici quelques exemples que vous pourriez mettre en œuvre dans vos propres installations.

Inspection des réservoirs

Les équipements alimentés par des réservoirs ne sont pas toujours dotés de capteurs intelligents capables de signaler les niveaux bas ou la dégradation du matériau. 

Pour tirer parti de la vision par ordinateur dans le cadre d’inspections des niveaux des réservoirs, nous prétraitons les images recueillies par Spot et les transposons en niveaux de gris. En appliquant un seuil binaire aux images, nous pouvons déterminer le niveau des réservoirs en fonction de la différence de couleur (noir intense ou blanc). Ce niveau nous donne un pourcentage relatif à la hauteur du réservoir. Ensuite, à partir de ce pourcentage, nous pouvons par exemple configurer une alerte de niveau faible.

De plus, nous pouvons utiliser des techniques simples de vision par ordinateur pour déterminer la couleur du liquide dans le réservoir. Cette information peut être utile aux entreprises qui utilisent des solutions ou d’autres matières qui peuvent se dégrader et changer de couleur au fil du temps.

Lecture des indicateurs analogiques

On retrouve des indicateurs analogiques dans de nombreuses usines industrielles. Ces dispositifs, par exemple des indicateurs de pression ou de débit, sont faciles à lire pour des humains. Mais qu’en est-il de Spot? Il peut voir et saisir des images de tout ce qu’on lui demande, mais sans plus. Ce n’est qu’avec la vision par ordinateur que nous pouvons extraire les données contenues dans les images des indicateurs analogiques. Grâce à ces valeurs, nous pouvons ensuite configurer des notifications pour avertir les opérateurs lorsque les indicateurs affichent une valeur en dehors d’une fourchette prédéfinie.

Il existe plus d’une approche pour lire les indicateurs analogiques au moyen de la vision par ordinateur. Voici celle que nous avons choisie :

D’abord, nous déterminons le « cercle principal », c’est-à-dire la zone d’intérêt, dans l’image. Nous prétraitons l’image en la convertissant en niveaux de gris, puis créons une image « seuil » (en noir intense et blanc). Ensuite, nous utilisons l’outil findContours d’OpenCV et appliquons un filtre logique pour trouver la taille et le centre du cercle les plus appropriés.

Enfin, nous tentons de repérer l’aiguille à l’aide de l’outil HoughLinesP d’OpenCV, puis appliquons quelques autres filtres logiques.

Maintenant que nous pouvons trouver le centre de l’indicateur et l’angle de l’aiguille, il est facile de calculer la valeur approximative indiquée par le cadran à l’aide de quelques constantes saisies par un utilisateur, comme les valeurs minimale et maximale du cadran ainsi que l’angle associé à ces valeurs.

Certains facteurs peuvent rendre la lecture des indicateurs analogiques moins fiable, comme l’angle de la photo, les reflets ou simplement une mauvaise conception de l’indicateur. Peu souhaitables, ces attributs compliquent le repérage des divers éléments comme le centre de l’aiguille, sa pointe ou son angle. Sans ces renseignements, il est impossible de calculer la valeur affichée.

Pour cette raison, nous pouvons utiliser d’autres techniques de vision par ordinateur comme la détection d’objets à l’aide d’un modèle YoloV5 entraîné à l’aide de PyTorch. Grâce à cette technique, nous pouvons prendre ces données constantes et précises captées par Spot (les photos des indicateurs), puis les annoter pour marquer l’indicateur lui-même, son centre (puisqu’il est toujours préférable d’avoir plus de données) et la pointe de l’aiguille. Pour ce faire, nous pouvons faire appel à nos partenaires chez SmartOne pour annoter de grandes quantités de données afin d’entraîner un modèle plus robuste qui fonctionnera pour de nombreux indicateurs.

À partir de ces détections provenant de notre modèle, nous pouvons généralement trouver les coordonnées des indicateurs et la pointe des aiguilles avec plus d’assurance. Dans le cas contraire, nous pouvons toujours revenir à la méthode mentionnée précédemment.

Détection d’équipements de sécurité et d’autres points d’intérêt

Avec suffisamment de données, Osedea peut bâtir et entraîner des modèles de détection d’objets pouvant être utilisés avec n’importe quelle caméra de Spot. Cela peut s’avérer particulièrement utile pour de nombreuses entreprises qui réalisent actuellement (ou devraient réaliser) des inspections manuelles pour vérifier que leur équipement est en place. Pour de nombreuses installations, il pourrait s’agir d’équipements de sécurité comme les extincteurs, les défibrillateurs ou les trousses de premiers soins.

Un exemple simple de cette application : vérifier si une étiquette de verrouillage (dispositif de sécurité utilisé pour s’assurer qu’une machine est bien éteinte et prête pour l’entretien) est en place dans l’environnement de l’usine intelligente par Deloitte @ Montréal.

En conclusion

L’intégration du robot Spot de Boston Dynamics doté de la technologie de vision par ordinateur avancée représente une grande avancée dans le domaine de l’automatisation et de la surveillance dans le secteur industriel. En tirant parti du potentiel de l’apprentissage machine et de la vision par ordinateur, les entreprises peuvent accéder à de précieux renseignements à partir des données recueillies par Spot. Cela facilite la détection des problèmes et le déclenchement d’alertes en temps réel, en plus de paver la voie pour la maintenance prédictive, de manière à améliorer considérablement l’efficacité opérationnelle et à accélérer le rendement du capital investi.

Osedea offre des démonstrations de faisabilité avec Spot pour déterminer s’il s’agit du bon outil pour vous et votre entreprise. Écrivez-nous! Nous serions ravis de discuter avec vous de la façon dont nous pourrions vous aider à exploiter les capacités de Spot pour améliorer vos opérations, la sécurité dans votre entreprise et vos marges de profit.