De gauche àdroite: Damien Legrand, responsable des projets de systèmes de vision chez ifm electronic, Arnaud Destruels, directeur marketing Europe de la division «Image Sensing Solutions »deSony et Philippe Berger, directeur du développement de l’activité «automatisation industrielle »deProphesee.

Mesures. Quelles grandes tendances technologiques avez-vous constaté ces dernières années dans le domaine de la vision industrielle?

Arnaud Destruels. Si je ne devais retenir qu’une tendance au niveau des capteurs de vision industrielle,ceserait la transition qui aconsisté àpasser du capteur CCD àl’avènement du capteur Cmos, très répandu dans le domaine grand public, mais dont l’évolution technologique lui aégalement permis de répondreaux besoins de divers domaines et applications industrielles.On assiste également àlamise en avant de certains capteurs spécifiques qui permettent, par exemple, detrouver des éléments,des détails àl’intérieur même d’une image et, plus globalement, tous les éléments dont on abesoin pour extraire des informations pertinentes avec les caméras équipées de ces nouveaux types de capteurs.

Philippe Berger. Avec l’accroissement des résolutions et des cadences des capteurs, laquantité dedonnées àtraiter augmente de manièreimportante,etje pense que tout ce qui concourt àré-duirecette quantité de données constitue une tendance importante àconsidérer. C’est pourquoi, chez Prophesee, nous nous sommes intéressés àlatransmission des informations pertinentes d’une image en se concentrant uniquement sur les événements et les changements d’une scène spécifique recueillie par le capteur.Cela permet de diminuer la quantité de données àtransmettreet àanalyser.

Damien Legrand. La vision 3D est clairement une tendance àprendre en considération dans des applications liées àlaperception d’un environnement ou lorsque l’on va réaliser des opérations de contrôle.Chez ifm electronic,nous ne sommes pas fabricants de capteurs, mais designer fabless au travers d’une filiale qui nous appartient à100%, et nous sommes en capacité de produire une technologie qui permet de détecter l’environnement aussi bien dans des téléphones portables que dans des AGV [ Autonomous Guided Vehicule , ou robot mobile autonome,ndlr] utilisés dans les ateliers de logistique ou certaines unités de production industrielles.Grâce aux capteurs de vision 3D, les AGVpeuvent naviguer dans un atelier de logistique grâce àdes fonctionnalités de perception de l’environnement, d’anti-collision. Ce type de solutions de vision 3D apporte vraiment beaucoup dans le domaine de la logistique.

C’est aussi le cas dans le secteur agricole, par exemple dans le domaine des machines àvendanger qui peuvent être dotées d’un système de guidage autonome àpartir de cette même technologie.Bien entendu, ici, les produits sont différents, les problématiques sont différentes, en particulier pour ce qui concerne la tenue aux fortes variations de température, aux chocs et aux vibrations.Dans ce cas-là, nous ne sommes pas dans la précision, mais davantage dans le domaine de la perception, de sorte qu’une machine puisse se déplacer dans un environnement donné et se repérer en temps réel dans l’espace. Nous sortons ici du secteur strictement process industriel, mais force est de constater que ces applications se développent rapidement.

Mesures. Quelle technologie 3D utilisez-vous chez ifm electronic et sur quel principe repose-t-elle?

Damien Legrand. Notre technologie 3D fournit àunsystème ou àunappareil la capacité de percevoir son environnement en trois dimensions et, par extension, de ne plus être dépendant d’un système comme le GPS par exemple,cela quel que soit l’environnement dans lequel ce dispositif se trouve, qu’il pleuve, qu’il neige,etc.Elle repose sur des capteurs 3D dits TOF [ Time of Flight ,outemps de vol, ndlr]

[ Time of Flight ,outemps de vol, ndlr] basés sur l’envoid’uneonde infrarouge à850 nanomètres, qui part avec une fréquence de quelques dizaines de mégahertz et revient au niveau du capteur avec un déphasage,une fois l’onde infrarouge renvoyée par l’objet àdétecter et àanalyser.Àpartir de ce déphasage, il est possible de remonter àune information de distance de l’objet, donc de localiser cet objet dans l’espace.Laportée de détection d’un tel dispositif peut aller jusqu’à 40, 50, voire 60mètres dans certains cas.Ilexiste d’autres technologies 3D,comme la triangulation ou la stéréoscopie,mais avec des fonctionnalités qui sont optimisées pour d’autres applications que celles liées àlaperception. La technologie 3DTOFs’applique bien àlaperception, car elle offre une grande flexibilité d’utilisation, qui permet de l’intégrer dans différents types d’appareils et de l’employer dans des environnements très différents.

Parailleurs, on peut coupler ce système de vision 3D àunsystème de vision 2D, qui permet de faire deladiscrimination,de voir,par exemple,sivous portez un gilet de protection lorsque vous êtes sur un engin de chantier. Dans le domaine de l’automobile,onimagine surtout les systèmes de vision 3D àl’extérieur du véhicule,notamment avec les systèmes d’aide àlaconduiteAdas.Mais on peut aussi imaginer de tels équipements àl’intérieur même des véhicules pour des usages tels que le verrouillage/ déverrouillage de la voiture, l’autorisation de démarrage,leréglage automatique de la hauteur du siège du véhicule, etc.,grâce àlaperception du conducteur par un dispositif 3D.

Philippe Berger,directeur du développement de l’activité «automatisation industrielle »deProphesee

Mesures. Sony étant producteur de capteurs Cmos, pouvez-vous nous parler des avancées technologiques dans ce domaine, en particulier dans les applications dites industrielles?

Arnaud Destruels. Comme je l’ai déjà dit, l’usage des capteurs en technologie Cmos s’est fortement développé dans les applications industrielles.Ainsi, avec des caméras Cmos global shutter dotées de très grandes résolutions, il est possible de détailler une image,decollecter des données afin d’extrapoler et de fournir des informations très précises sur le dimensionnement ou les défauts de pièces en percevant des détails très fins.Ils’agit là d’une tendance de fond. On peut mixer également différents types de capteurs, cette combinaison pouvant apporter différentes informations de précision, de mesure, et ainsi apporter une valeur ajoutée au système. En termes de performances proprement dites, le capteur Cmos évolue vers une cadence élevée et une haute résolution, des paramètres qui correspondent àla demande actuelle du monde industriel. Chez Sony, il existe des capteurs, actuellement en phase d’échantillonnage,qui atteignent des vitesses vertigineuses et qui permettront dans un avenir proche de faire des traitements de données et d’informations le plus rapidement possible.Dans le domaine grand public,le capteur Cmos présente un avantage en termes de prix, mais il s’est également fait une place de choix dans le domaine industriel du fait de certaines fonction-nalités inhérentes àcetype de capteurs et qui ont permis de pallier les défauts des capteurs CCD. Onpeut toujours trouver des capteurs CCD dans certaines applications industrielles, en particulier du fait de leur grande sensibilité, mais Sony, pour sa part, aprisleparti, il ya quelques années, d’abandonner la production de tels capteurs.Aujourd’hui, en termes de résolution des capteurs Cmos, on peut direque le 5megapixels constitue la base et que le 12 megapixels devient quasiment le niveau de résolution standard. Et on peut trouver sur le marché des capteurs Cmos très haut de gamme allant jusqu’à 20, voire même 30 ou 40 megapixels. Ilya cinq ans, nos clients auraient été très heureux avec une résolution de 2megapixels.Les limites technologiques de ces capteurs sont liées àlagravureetlaloi de Moore semble continuer àavancer, donc on peut encorealler plus loin.

“ Apartir de la détection par les capteursde Prophesee,delasignature vibratoiredes éléments mobiles d’une machine,il est possible de déterminer si des opérations de maintenance doivent être entreprises sur cette machine afin de prévenir les pannes et d’éviter les arrêts intempestifs. ”

Mesures. Prophesee adéveloppé une technologie de capteursdevision tout àfait originale. De quoi s’agit-il?

Philippe Berger. Prophesee aconçu et développé un capteur qui est actif en permanence et, surtout, qui est dynamique,c’est-à-direque si aucun mouvement, si aucune dynamique dans la scène ou l’image àanalyser n’est détectée par le capteur,alors aucune information ne sera transmise,contrairement à une caméra classique qui envoie toutes les quelques millisecondes une image ou une trame complète, c’est-à-dire 100%des pixels du capteur.Dans le cas des capteurs de Prophesee, seuls les

des capteurs de Prophesee, seuls les pixels concernés par un changement de contraste vont générer des données qui seront transmises et exploitées. Notre but n’est pas de faire une belle image, mais de trouver les informations pertinentes dans une scène et de ne communiquer et ne transmettre que ces données-là, et uniquement ces données-là. Ce type de fonctionnement est basé sur une approche de type neuromorphique, c’est-à-dire inspirée du fonctionnement de l’œil humain, en lien avec le cerveau. Quand vous voyezune scène,votrecerveau prend l’environnement en mémoire etseules les choses en mouvement sont perçues par votre œil et transmises au cerveau. L’intérêt de cette solution est sa réactivité - on parle de temps réel - etlaquantité de données àtransférer est très faible.Alors que quand on aune caméra classique à résolution et cadence élevées,il faut que derrière, la puissance de calcul suive. Dans notre cas, en limitant au strict minimum les données àtransmettre, ça rend beaucoup plus simple la partie calcul et exploitation des données. Comme pour tous les capteurs, la résolution des capteurs «event based» de Prophesee continue àaugmenter,mais il yaura toujours moins d’informations àtransmettreque dans le cas d’un capteur classique de type «full frame».

Mesures. Avec l’amélioration continuelle des performances des capteurs de vision et l’arrivée de nouvelles technologies, de nouveaux usages apparaissent pour les systèmes de vision industrielle. Pouvez-vous nous donner quelques exemples de nouveaux usages?

Arnaud Destruels. Ce qui est intéressant, c’est de se dire que si vous aviez organisé cette table ronde il yaseulement trois ou quatreans,on aurait indiqué que la production industrielle re-présentait la très grande majorité des applications de la vision industrielle. Mais aujourd’hui, on s’aperçoit que les applications qui ne sont pas directement liées àlaproduction industrielle représentent déjà la moitié des cas d’usage. On trouvedelavision industrielle àla fois dans les drones, dans les véhicules autonomes, dans des systèmes marke-ting utilisés pour la détection de l’activité dans un magasin ou dans le domaine de l’infodivertissement. Dans l’agriculture également, la vision est devenue primordiale, demême dans tout ce qui concerne les aspects de sécurité comme la vidéosurveillance ou l’identification biométrique (reconnaissance faciale, par exemple). On peut également envisager des péages autoroutiers dotés de systèmes de vision pour détecter les plaques d’immatriculation des véhicules, ou pour permettre àlasociété d’autoroute d’envoyer les factures aux automobilistes ayant emprunté son réseau plutôt que de les faire payer aumoment de passer le péage. Ces dispositifs permettent également de contrôler si les occupants des véhicules ont mis leur ceinturedesécurité ou pas, ou de faire des statistiques du taux de remplissage des véhicules afin d’évaluer les effets du covoiturage.

C Cette table ronde organisée par Mesures dans le cadre du dernier salon Enova Paris sur la thématique de la vision industrielle, afait salle comble.

Damien Legrand. Je suis tout àfait d’accord avec ce qui vient d’être dit. D’ailleurs, si nous avions eu cette table ronde il yatrois ans, les choses que vient de décrire Monsieur Destruels auraient fait partie du chapitre «Qu’est-ce qui va arriver dans le futur?»,alors que ces solutions existent aujourd’hui. Pour compléter, jedirais que,dans le domaine de la sécurité, la reconnaissance faciale fait partie des choses dont on parle énormément en ce moment et qui servent déjà àdéverrouiller certains smartphones. Certes, on est un peu loin de l’industrie de process, mais les applications de la vision dans les domaines de la sécurité, de l’agriculture, de la logistique, etc., se multiplient. Dans un atelier logistique, par exemple, onpeut suivre uncolis dans toutes les étapes de son périple grâce àunsystème de vision. On peut aussi utiliser la vision dans le domaine de la Silver économie, notamment en surveillant les personnes âgées chez elles pour alerter les secours quand elles chutent, ainsi que dans les hôpitaux. La gestion des flux du comptage de personnes est également, aujourd’hui, une réalité alors que c’était peu envisageable encorerécemment.

Philippe Berger. Il yaplusieurs nouvelles applications que nous envisageons avec nos capteurs, notamment une application qui va prendredeplus en plus d’ampleur dans le domaine de l’industrie du futur, àsavoir la maintenance prédictive. Il se trouve que, quand on utilise un capteur de Prophesee, ilest possible de faire dumonitoring de vibrations d’une machine et d’en déduire l’amplitude et la fréquence de ces vibrations. Orlasignature vibratoire d’une machine ou d’un équipement est un indicateur avancé de la déviation des performancesdecettemachinepar rapportàses performances standards,grâce aux courbes PNF de mise en marche d’un équipement, àpartir du moment où il est en production et jusqu’à sa défaillance.Donc àpartir de la détection par des capteurs du type de ceux de Prophesee,delasignaturevibratoiredes éléments mobiles d’une machine –c’est ce que l’on appelle le monitoring cinématique - , on peut déterminer àpartir de quel moment ces caractéristiques vibratoires changent et, ainsi, alerter le personnel de la maintenance qu’il est temps de changer certains éléments de la machine monitorée,tel qu’un roulement, une courroie,etc., et cela avant la panne de la machine en question. Et pour montrer que les systèmes de vision de Prophesee sont suffisamment précis pour détecter et analyser la signature vibratoire demachines industrielles, nous en ferons une démonstration lors du salon Vision de Stuttgart [le salon Vision s’est déroulé début novembre, soit après la tenue de cette tableronde, ndlr]. Généralement, pour ce genre d’applications,ce sont des systèmes piézoélectriques que l’on vient visser sur la mécanique de la machine que l’on utilise pour surveiller cette dernière. Mais si vous devez monitorer plusieurs éléments mobiles d’une même machine, vous devezl’équiper de plusieurs dispositifs piézoélectriques, avec les câbles et accessoires associés.Dans le cas d’une machine sondée avec un système de vision,on peut avoir des ROIplus courts et une mise en œuvresimplifiée compte tenudel’utilisation d’un seul dispositif, sans câble ni accessoire.

Arnaud Destruels, directeur marketing Europedeladivision Image Sensing Solutions de Sony

“ Dans le domaine de la sécurité,l’intelligence artificielle appliquée àlavision industrielle est particulièrement bénéfique.Onpeut imaginer par exemple qu’un passagerpourra êtresurveillé par un système de reconnaissance faciale tout au long de son transit dans un aéroport. ”

Mesures. Parmi les autres grandes tendances dans le domaine de la vi-sion industrielle, on évoque souvent la vision dite embarquée et l’intelligence artificielle. Qu’en est-il?Pour quels usages?

Damien Legrand. La vision embarquée constitue aussi une tendance qui permet de collecter un maximum d’informations et de données et de commencer àles analyser au plus près de la caméra, avant de les extraire etdeles transmettreàune unité de calcul déportée. Dans ce domaine, ifm electronic s’oriente de plus en plus vers des applications open source,afin que les gens puissent intégrer leur propre intelligence dans les capteurs de vision et les caméras, comme par exemple fairedu processing 3D directement dans le capteur,avant même que le flux de données ne soit envoyé àl’extérieur. Dans le domaine de la santé et de l’hôpital, on peut très bien imaginer une structure qui permet de remplacer une architectureclassique avec un capteur de vision et un PC par un serveur directement implémenté dans le capteur.Cela permet par exemple d’envoyer unSMS pour alerter qu’une personne est tombée de son brancard sans avoir besoin d’un ordinateur àproximité.

En ce qui concerne l’intelligence artificielle et le deep learning [apprentissage profond, ndlr], on peut avoir des applications par exemple dans le domaine des smarthomes utilisant un dispositif de vision et des algorithmes de machine learning qui permettent de vérifier que c’est bien vous qui êtes dans votremaison et pas un intrus.Par exemple,avec les capteurs de vision 3D,ilest possible de vérifier que c’est bien votre silhouette qui est perçue par le système et non celle d’un inconnu. Ce type de dispositif arrive aussi au fur àmesuredans le monde industriel,même si nous n’en sommes encorequ’aux balbutiements. Le deep learning est incontestablement intéressant dans le domaine de la vision, mais il faut savoir ce que l’on va faire avec.Onpeut amener du déterminisme, du temps réel, mais il faut vraiment savoir ce que veut faire leclient pour savoir si c’est opportun, ou non, d’utiliser du deep learning pour une application donnée.

Arnaud Destruels. En ce qui concerne la vision embarquée,onpeut déjà dire en préambule que la caméra «intelligente»est un produit qui existe depuis une bonne dizaine d’années. Matrox avait initié cela avec un produit qui était constitué d’un capteur et d’un PC à l’intérieur d’une caméra. Aujourd’hui, ce qui change,c’est que,premièrement, les capteurs sont beaucoup plus évolués et plus compacts.Lastratégie de Sony, notamment, est de fournir d’abord des éléments matériels qui soient cohérents, par exemple des caméras réalisées àpartir de nos capteurs qui ne cessent d’évoluer.Ledernier capteur Cmos que nous venons de sortir est un capteur polarisé qui permet de fournir un certain nombre d’informations que l’on ne pouvait pas obtenir àpartir d’un capteur traditionnel, en particulier en supprimant les effets néfastes de la lumièredu soleil (par exemple les reflets sur un pare-brise). C’est la premièreévolution des capteurs Cmos de Sonyspécifiquement développée pour le monde de la vision industrielle.Par rapportaux débuts des caméra «intelligentes»caméras il yadix ans, le deuxième aspect qui change, c’est l’accompagnement des clients en vue de l’exploitation de ce type de capteurs et des caméras qui en sont équipées dans différents cas d’usage.Sony fournit ainsi un logiciel de développement adapté au capteur pour aller dans un jeu particulier d’applications.Notreévolution stratégique, c’est vraiment de se concentrer sur les éléments matériels et d’êtreunsupport nécessaire pour le développement des différents cas d’usage industriels.

On constate effectivement que l’intelligence artificielle est en train de s’implémenter dans le monde de la vision industrielle.Mais cela implique immanquablement des partenariats, de la standardisation ainsi qu’un écosystème dédié qui fonctionne correctement. Cela reste encore assez flou et prendra probablement du temps pour se mettre véritablement en place,car ça part un peu dans tous les sens en ce moment. Le fournisseur aeneffet besoin d’un retour d’expériences pour pouvoir définir les directions àprendre etsur lesquelles il pourra s’appuyer pour son développement. D’où l’importance de créer un écosystème autour de cela. Philippe Berger. Il yaundomaine où le deep learning atoute sa place: dans l’automobile et en particulier dans les systèmesAdas et,par extension,dans les véhicules autonomes. Pour cela, nous avons besoin d’énormément de don-nées, par exemple pour distinguer de manière claire etprécise si c’est un chien qui traverse la route devant la voitureouunenfant. Dans une telle situation critique,le deep learning permet de faireledistinguo et d’aider le système à prendrelabonne décision.

Damien Legrand, responsable des projets de systèmes de visionchez ifm electronic

“ Dans le domaine agricole, certaines sociétés utilisent déjà la vision industrielle et le deep learning ,par exemple,pour différencier les cultures des mauvaises herbes.Cela permet d’appliquer une pulvérisation très sélective afin de limiter l’usage de pesticides tels que le glyphosate. ”

Mesures. Àquoi s’attendreàl’avenir dans le domaine de l’intelligence artificielle appliquée àlavision industrielle?

Damien Legrand. Dans le domaine de l’automatisme, nous pouvons fournir des capteurs qui sont un peu éloignés du domaine de l’intelligence artificielle, car tout le monde n’a pas l’expertise de la vision pour commencer àprogrammer. Donc, onajuste des logiciels de paramétrage simples avec une dizaine de paramètres àrenseigner pour pouvoir démarrer facilement une application de vision sur une chaîne de production. Mais notre rôle est aussi d’accompagner les clients dans des ap-plications plus complexes.Enparticulier,nous avons,parmi nos clients,beaucoup de start-up qui peuvent apporter de nouvelles idées et de nouvelles applications industrielles, mais qui n’ont pas l’expertise en vision industrielle.Dans le domaine agricole,ilexiste d’ores et déjà des sociétés qui utilisent la vision industrielle et le deep learning pour différencier, par exemple, des cultures de betteraves etdes mauvaises herbes qui se trouvent àproximité. Cela permet ensuite d’avoir une pulvérisation ultra sélective des cultures afin de limiter l’usage de pesticides avec l’intérêt que cela représente en termes écologique, de santé publique et aussi de coût. Et là, le deep learning atoute sa place.

Arnaud Destruels. On ne va pas se mentir. Cequi fait avancer les choses dans l’industrie,c’est un gain de productivité, ce qui permet de gagner de l’argent. Mais c’est aussi une amélioration de la sécurité et du contrôle. On peut imaginer que dans peu de temps, peut-êtred’ici quelques mois, une personne dans un aéroport pourra être surveillée par un système biométrique tout au long de son transit àl’intérieur du terminal aéroportuaire.Vous n’aurez alors plus besoin d’avoir un billet d’avion pour embarquer ou pour payer un achat dans une boutique de duty free,puisque c’est votresignaturebiométrique,qui sera scannée en permanence,qui fera foipour vous permettre d’accéder àcertains endroits et/ou d’acheter certaines choses dans l’aéro-port. Donc,dans le domaine de la sécurité, l’intelligence artificielle appliquée àlavision est particulièrement bénéfique. Dans le domaine industriel, en termes de gain de productivité, on peut, avec un système de vision et à différentes étapes de la chaîne de production, surveiller un produit et prévenir si un défaut de ce produit est détecté en cours de fabrication. Une fois le produit défectueux repéré, il sera extrait de la ligne de production et placé de côté, soit pour le modifier et ensuite le réinjecter àunautre niveau de la ligne de production, soit pour le mettre au rebut. Le tout en réalisant ces différentes étapes de manière laplus automatisée possible.

Avec l’obtention de ce flux continu automatisé, on entredeplain-pied dans l’usine du futur.Etlavision industrielle yjoue un rôle capital, car les systèmes de vision, aujourd’hui, permettent de détecter en temps réel les anomalies des produits en cours de fabrication, de déterminer la quantité de produits sur les lignes de production, voire même leurs dimensions.Ainsi,pour fairefonctionner rapidement et efficacement la production d’une usine et s’approcher de l’usine du futur,leproduit doit être suivi du début àlafin de sa fabrication, de sorte que le flux de production soit continuetfluide et que les erreurs (produits défectueux) soient réparées de manière quasiment «invisible» pour l’exploitant,le tout en limitant au maximuml’intervention humaine.

Philippe Berger. Au niveau du monde industriel,il yaune évolution nette vers une automatisation de plus en plus poussée,etilvafalloir que l’homme et les machines collaborent de manière beaucoup plus étroite et efficace. Le point crucial est donc d’améliorer la manière dont les équipements s’adaptent àl’homme (et non l’inverse). Dans toutes les usines, vous avez des barrières physiques de sécurité,des barrières immatérielles, des zones àaccès restreint pour les opérateurs, des signalétiques, etc.Enutilisant un système de vision avec intelligence artificielle intégrée,ilest possible de donner une certaine intelligence aux robots qui vont pouvoir travailler en harmonie avec leur environnement et s’adapter au déplacement et àlaprésence des hommes à proximité.