Bonifiez votre collecte de données avec le AME de Spot

Si vous n’êtes pas familier avec ce sujet, je vous recommandes de commencer votre lecture par la première partie de cette article qui explore en détail l'outil de service favorisant le flux de travail que nous avons mis en place pour le robot Spot, celui-ci offrant une interface utilisateur simple pour parcourir les données de missions et fournir des commentaires aux autres membres de l’équipe.

Une fois que les inspections manuelles ont été remplacées par des inspections automatisées dans le flux de travail d'une entreprise, il est pertinent de disposer d'un moyen efficace d'analyser les données capturées et d'enregistrer de manière fiable l’historique des commentaires pour ces données. Cependant, cette fonctionnalité de base ne sert que de plateforme de départ et peut être modifiée en fonction des besoins de l’entreprise. 

Nous avons mis à jour la plate-forme AME pour inclure de nouvelles fonctionnalités qui aideront les utilisateurs à comprendre et à comparer les données audio et à annoter les photos capturées.

‍

Introduction du support audio

Dans le cas d’une usine de fabrication, il est vital de s'assurer de l’état des différentes machines en marche pour que chacune puisse exécuter leur part dans la chaîne de production. Comprenant cela, nous avons décidé d'ajouter la prise en charge des données audio à AME afin que les clients puissent capturer des extraits audio, comme ils le feraient avec des images. Les ingénieurs peuvent ensuite lire l'audio capturé dans le navigateur afin d'écouter les anomalies ou les bizarreries (par exemple, tout sifflement, changement de rythme, claquement, etc. qui ne sont pas censé être là). L'audio capturé est comparé à un extrait audio de « contrôle » afin que même les employés qui non pas nécessairement les connaissent requises puissent tout de même bénéficier de l'outil.

Cette fonctionnalité a un réel impact. Une équipe de maintenance pourrait détecter rapidement des problèmes potentiellement dangereux, tels qu'un roulement qui lâche ou identifie des pièces détachées susceptibles de provoquer des bruits inattendus. Associé à la capacité qu’a Spot de capturer des images thermiques (et à la capacité de l'AME à les visualiser), il est possible d'éviter les temps d'arrêt prolongés.

Étant donné que les données audio nécessitent que l'utilisateur prenne le temps d'écouter l'extrait de code dans son intégralité avant d'avoir un aperçu de la situation, nous voulions ajouter un moyen plus efficace d'analyser les données. Pour cette raison, nous avons ajouté une forme d'onde visuelle de chaque extrait audio. Ces formes d'onde peuvent fournir des informations rapides basées sur les modèles que nous voyons ou les valeurs extrêmes.

‍

De plus, nous avons veillé à ce que les utilisateurs puissent comparer la forme d'onde audio avec leur contrôle tout comme ils peuvent le faire avec des images, ce qui leur permet de comparer rapidement les pistes audio et de voir des différences plus subtils qui n’auraient pas été aussi évidentes à détecter en n’écoutant que l'enregistrement.

Étant donné que les extraits audio peuvent être lancés à tout moment lors du cycle d'une machine, il est important de considérer qu'il peut y avoir des écarts entre les données réelles et les données de contrôle (en particulier lors de la comparaison des formes d'onde, car leurs modèles seront probablement décalés d'une quantité variable). À l'avenir, nous prévoyons d'introduire un analyseur automatique pouvant trouver des modèles et aligner les extraits audio lorsque cela est possible.

‍

Et ensuite...

Avec cette nouvelle fonctionnalité en place, l'outil AME peut être équipé d'une logique spécifique au client pour analyser les données audio collectées et fournir plus d'informations sur l'état actuel de l'environnement que vous inspectez.

Les annotations

Lorsque vous fournissez un aperçu des problèmes détectés dans les médias visuels, vous aurez beau enregistrer une description simple du problème ça reste peu détaillé et ne donne pas toujours tous les informations désirées. Si nous demandons à l'utilisateur d'annoter correctement les données lorsqu'il rejette une image, nous pouvons collecter davantage d'informations. Ces annotations peuvent ensuite être utilisées pour former un modèle d'apprentissage automatique afin que les problèmes puissent éventuellement être détectés par eux-mêmes, ce qui rend l'outil AME plus puissant et nécessite moins d'interventions de l'utilisateur.

Afin de collecter ces données, la plateforme AME est désormais équipée d'un outil d'annotation qui est présenté aux utilisateurs lorsqu'ils « rejettent » un point de données d'image. Ici, l'utilisateur peut cliquer et faire glisser une case sur une zone de l'image et saisir un court texte pour décrire le problème, l'objet, etc.

‍

Une fois qu'un utilisateur a soumis une annotation, l'anomalie est alors mise en surbrillance sur l'image et le texte d'annotation correspondant est affiché dans une liste sous l'image. Un utilisateur peut ensuite ajouter d'autres annotations, si nécessaire, et enfin soumettre son rejet lorsqu'il est prêt.

Une fois soumise, l'annotation sera liée à l'image à l'emplacement prédéterminé et pourra être vue lors de la visualisation initiale du point de données. Cela signifie que les utilisateurs verront l’historique des annotations faites sur les images données. 

Pour des contextes plus stricts, l'AME peut être équipé d'une liste pré-approuvée d'annotations attendues, laissant l'utilisateur sélectionner simplement une annotation plutôt que de la fournir lui-même. Cette approche fonctionne lorsque l'environnement est contrôlé et lorsque l’utilisateur n'a qu'un certain ensemble d'anomalies à détecter.

‍

Et ensuite…

Maintenant que l'AME dispose de telles informations dans sa base de données, les outils d'apprentissage automatique peuvent être utilisés pour exploiter ces informations supplémentaires afin de fournir un contexte supplémentaire aux utilisateurs avant même que ceux-ci ne voient les données.

À votre tour!

Spot est plutôt cool en soi, mais l'un de ses véritables pouvoirs réside dans la façon dont il peut être constamment amélioré . Nous avons conçu AME pour vous aider à vous libérer des tâches d'évaluation de routine, afin que vous puissiez vous concentrer sur votre entreprise.

Si vous souhaitez en savoir plus sur comment la fonctionnalité de marche automatique de Spot peut vous aider ou sur la manière dont notre outil AME peut être intégré à votre flux de travail pour automatiser la collecte de données, contactez-nous !

‍