VIN — Het Vlaams Innovatienetwerk

Project: RGBd, TOF !

Het praktische gebruik van Time of Flight camera's in industriële applicaties (Robotica, Navigatie, Human Machine Interface...)

Opleidingen Industriële Visietechnologie

Studiedagen en beursdeelname

KMO's, bedrijven, vakorgansiaties, onderzoeksgroepen, studenten, zorgcentra...

RGBd, TOF ! ( RGB = colour, d = distance en TOF = Time Of Flight camera )

Met de recente vakbeurzen ‘Vision & Robotics 2010, Nederland en Vision 2009, Stuttgart’ als belangrijke referentie voor ‘the state of the art of robot vision technology ’, menen we dat er een doorbraak bestaat in de 3D-vision mogelijkheden door gebruik te maken van camera’s die gelijktijdig kleur- en diepte-informatie opleveren. Het voordeel van één enkele camera is dat heel wat problemen die zich stellen bij de klassieke stereovisie, vervallen: correspondentie, calibratie, kleurgevoeligheidsverschillen…. Tijdens de overgangsperiode is het nuttig de gescheiden technieken RGB + TOF te confronteren met de samengestelde mogelijkheid bij RGBd-camera’s. Om een actuele inschatting te kunnen maken, noemen we enkele sleutelwoorden en sites die het technologische domein weerspiegelen: RIM (range imaging), DepthSense, iisu, OptriCam, LIDAR, Mesa, 3DV, PMDTechnologies, ZCam, Zmini, RGB-Z, RGBD, www.canesta.com , www.optrima.com , www.technestinc.com, www.3dcgi.com, www.ifm.com, www.lmint.com , www.serenavisions.com, www.TYZX.com , www.siox.org. www.teun.com, www.metrilus.de/services

Academische kennis en support voor het project wordt geborgd vanuit enkele labs binnen de Antwerpse Associatie (AUHA): prof. Herbert Peremans, MTT-FTEW, APL groep (UA), prof. Sijbers VisieLab Als vertegenwoordiging uit de Zorgsector neemt het Centrum voor Zorgtechnologie
( CZT, UA, Bart. Geraets) actief deel in het project.

De disseminatie van de 3D-visie-kennis naar onze Masterstudenten Elektromechanica, ICT, Automotive en Multimedia, alsook naar vele bedrijven en KMO’s, behandelt de concrete werkingsprincipes van ‘RGB-TOF-Vision-Intelligence’. Uitgewerkte bedrijfsopleidingen (o.a. in samenwerking met het VIK en het ViiV (= Acro Diepenbeek, EAVISE Sint-Kathelijne-Waver, KdG en Phaer Gent) en doordachte case studies (o.a. vanuit Hero Technologies, Egemin, Phaer, DataVision, Visiomatics, CZT ….) leveren dan vlot toegankelijke informatie en borgen de bedrijfsadviezen i.v.m. de mogelijkheden van RGBd-camera’s in reële applicaties.

Hoboken, 7 Oktober 2010, projectleider: Luc MERTENS
medewerker: Wim ABBELOOS.

‘Time of Flight’,… ‘Time to Guide’ (IWT, Tetra: RGBd, ToF ! )
(RGB = red/green/bleu ; d = distance ; ToF = Time of Flight )

3D-camera’s zitten duidelijk in de lift. De combinatie van digitale fotografie en 3D-cameratechnologie werd een feit ( zie: www.optrima.com, www.ifm-electronics.com, www.mesa-imaging.ch, www.fotonic.com ). Hierdoor kan kleurinformatie direct aangevuld worden met diepte-informatie. Die link tussen RGB en 3D geeft daardoor een nieuwe impuls aan de evolutie van de artificiële visie-intelligentie. Tot voor kort moesten gecalibreerde camera’s een welbepaalde scène stereografisch vastleggen en moest het 3D-tafereel ontleed worden op basis van omslachtige correspondentieberekeningen. De relatieve betekenis van de objecten binnen die scène, moest dan uitgeklaard worden met behulp van consistente logica die vooral gedreven werd vanuit zogenaamde ‘expectational shape and colour knowledge’. De moeilijkheden die zich bij zulke identificatie stelden, werden met regelmaat onderschat en leidden dikwijls tot industriële ontgoochelingen. De reden daarvoor is dat onze ogen en ons brein een hele reeks taken simultaan, redundant en synergisch kunnen afhandelen. Voor ons leidt dit tot een evidente en samenhangende interpretatie van de ruimte waarin we ons bevinden en de (mechanische) taken die we er dagelijks in uitvoeren: we openen een voordeur vlot met behulp van een sleutel, we spelen ping-pong of biljart, we schenken koffie in een tas.. alsof dat zo vanzelfsprekend is… Tot we zulke taken aan een robot willen toevertrouwen! Op dat ogenblik blijkt e lke stap in een sequentie van handelingen een uitdaging en beseft men dat duizend subroutines samen nog niet volstaan om op één of andere wijze te evenaren wat een kleuter van vier jaar reeds aan vaardigheden bezit.

Nochtans, de mogelijkheden zijn structureel aan het keren. De recente ToF en RGBd-camera’s maken het verschil! De lichtstralen (Near Infrared golven) die ze uitzenden en het gewone lichtveld uit de omgeving leveren vier belangrijke reeksen van vectoren en coördinaten. Een eerste reeks vectoren verbindt het centrum van de camera met de tastbare wereldpunten die zich bevinden binnen de kijkhoek van het toestel. Deze vectoren kunnen in elk assenstelsel ontbonden worden in x, y en z-componenten. Een tweede reeks vectoren bepaalt de richting loodrecht op het raakvlakje in de lokale omgeving van de vorige wereldpunten. De lengte van de zogenaamde ‘normaalvector’ kan verbonden worden met de oppervlakte van het lokale raakvlakje. Bijvoorbeeld, voor het vrije vloeroppervlak en het werkblad van een tafel oriënteren die normaalvectoren zich systematisch naar boven; voor een bewegend plat vlak of een gedeelte van een muuroppervlak wijzen de vectoren samen één welbepaalde richting uit… Een volgende reeks coördinaten beschrijft de lokale kromming van de omgeving van de wereldpunten, terwijl de laatste reeks de gemiddelde kleurcoördinaten (RGB, CIELab…) codeert van dezelfde lokale omgevingen. Omdat in een geordende wereld (bvb: een productieomgeving) relatief veel platte vlakken voorkomen met eerder egale kleurkenmerken (chromaticiteit), is het aanvankelijk nuttig de vlakke ruimte-segmenten uit de beeldinformatie te isoleren. Aan de randen van die segmenten geeft men dan ‘voorrang’ aan de kleurkenmerken terwijl het centrale gedeelte van die vlakken zich vooral geometrisch doen gelden. In de praktijk ontstaat daardoor een efficiënte ‘subpixel-segmentatie’. Het aantal pixels dat op deze wijze met voldoende zekerheid gesegmenteerd kan worden, blijkt in de ordegrootte te liggen van ruim 95 procent. Voor vergelijkbare scènes is dit enkele (tot meerdere) procenten beter dan de klassieke stereovisie … … … en dat maakt onder andere het verschil.

Het resultaat van die gedetailleerde segmentatie geeft aanleiding tot een betrouwbaar ruimtelijk inzicht over de ‘identified objects’ en de ‘identified volumes’, met fragmentjes van niet-geïdentificeerde overgangen. Binnen een bepaalde taak zullen vorige coördinaten (12 in aantal) volstaan om gepaste interacties met de omgeving aan te gaan. Haalbare taken in de context van industriële productie, robotica en automatisch geleide voertuigen (AGV’s) zijn dan de volgende: .

• begeleid een GPS-gestuurde AGV doorheen de vrije ruimte van een opslagmagazijn.
• begeleid een AGV tegenover een wand, een hoek, een obstakel of een doorgang.
• begeleid een AGV centraal over een zwak-hellend vlak dat twee niveau’s verbindt.
• positioneer een AGV relatief ten opzichte van een waargenomen scène. Bijvoorbeeld tegenover een robotomgeving, een transportband, een pallet, een stapelrek, een werkblad…
• begeleid de stapeling of de ontstapeling van objecten met een volume van enkele cm³ of groter: dozen, zakken, flessen, bussen, gietstukken, elementen uit bouwpakketten… ( = bin picking) .
• interpreteer de aan- of afwezigheid van objecten of personen in een typische context.
• interpreteer de gebaren van een operator in de context van industriële opdrachten.
• interpreteer de lichaamshouding van personen in een welbepaalde context….

Alle creatieve uitbreidingen van vorige taken leiden tot nieuwe applicatiedomeinen (gaming, rolwagen-besturingen, guesture analysis, safety, surveillance…)

Informatie, opleiding, projectsyntheses, haalbaarheidsstudies en documentatie kunnen bekomen worden via het Industrieel VisieLab van de associatie AUHA (Antwerpen). Contactpersonen zijn: luc.mertens@kdg.be en

• 3D-vision
• DepthSense
• Gesture
• iisu
• LIDAR
• Mesa
• Navigation
• OptriCam
• PMDTechnologies
• RGB-Z
• RGBd
• RGBd
• Robot Vision
• TOF
• ZCam
• Zmini