3D strojové vidění pro průmyslové roboty

Nově vznikající aplikace vyžadují od robotů nejen zvýšenou rychlost, ale také to, aby robot byl schopen určit polohu dílů umístěných náhodně na pohybujících se dopravnících nebo uložených v zásobnících či na paletách. Systémy strojového vidění, které v minulosti existovaly již několik desítiletí, se v současnosti montují do robotů, aby pomohly automatizačním systémům takové díly zpracovávat.

Strojovým viděním naváděná robotika (vision guided robotics, VGR) se rychle stává technologií umožňující automatizaci různých postupů v mnoha různých průmyslových odvětvích. Tuto technologii je možné rozdělit do dvou hlavních podskupin: 2D a 3D. 2D strojovým viděním naváděný robotický systém je schopen zpracovávat náhodně rozmístěné díly vzhledem k robotu na rovné ploše. 3D strojovým viděním naváděný robotický systém může zpracovávat náhodně rozmístěné díly vzhledem k robotu ve třech rozměrech (tj. X-Y-Z) a je též schopen přesně zjistit 3D orientaci každého dílu. V praxi se 2D strojní vidění realizuje digitální kamerou a softwarem, který analyzuje digitální obraz 2D umístění tohoto dílu a jeho orientaci pro jeho manipulaci pomocí robotu nebo při jeho zpracování (například při svařování nebo dávkování).
Existuje řada způsobů, jak zavést postupy s 3D strojovým viděním. Navíc rozmanitost současných technologií senzorů nabízí široké spektrum jak rozlišovacích schopností, tak cen.

3D informaci o jednom dílu lze získat sledováním jeho obecné charakteristiky ze dvou různých pohledů. Přímku v prostoru lze vypočítat z každého z příslušných pohledů na analyzovanou charakteristiku. Průsečík těchto dvou přímek na charakteristice dílu udá příslušné hodnoty X-Y-Z. Je-li na dílu více charakteristik, je možné vypočítat informaci o úplné 3D orientaci. Obrázky 1 až 3 ukazují, jak dvě pevné kamery zaměřují bod o souřadnicích X-Y-Z na dílu výpočtem průsečíku dvou přímek ve 3D prostoru.

Pomocí strukturovaného světla ve stereo systému strojového vidění nejsou charakteristiky dílu zjišťovány více kamerami, ale každá kamera zjišťuje charakteristiky dílu vytvořené strukturovaným světlem. To obvykle probíhá na velké ploše s mnoha 3D body zjištěnými při každém snímku. Výsledkem je mračno bodů, které skládá několik poloh X-Y-Z do těsného sledu přes zobrazovanou 3D scénu. Systémy strojového vidění, které generují mračna bodů, jsou velmi užitečné u strojovým viděním řízené robotiky, protože polohy dílů lze zjišťovat simultánně. Ceny systémů strojového vidění se strukturovaným světlem se pohybují v širokém rozmezí v závislosti na rozlišovací schopnosti výsledného mračna bodů a požadovaného odstupu senzoru.

Jedná se například o 3D Area Sensor od firmy FANUC, řady stereokamer N10 a N20 od firmy Ensenso a senzor Kinekt od Microsoftu. Všechny tyto senzory generují mračna bodů založená na strukturovaném světle a stereo strojovém vidění. U některých senzorů se strukturované světlo skládá z nahodilých bodů infračerveného světla. U jiných je strukturované světlo velmi uspořádané a využívá viditelného světla. Na obr. 4 je příklad mračna bodů.

Obr. 4. Mračno bodů zásobníku plného ojnic vygenerované senzorem 3D Area Sensor firmy FANUC

Jiným přístupem ke generování 3D dat je analýza, jak dopadá laserový paprsek na díl nebo na několik dílů. Laserový profil se měří pomocí senzoru 2D strojového vidění; při známé vzdálenosti mezi laserem a senzorem lze obdržet 3D informaci. Abychom obdrželi plnou 3D informaci pro významně velký objem, musí se laserový profil pohybovat přes scénu nebo sám laser se musí pohybovat nebo otáčet (jako v případě senzoru PLB firmy Sick) a potom informace snímat. Tímto způsobem lze zkombinovat násobné 3D snímané obrazy tak, aby vytvořily mračno bodů příslušející dané scéně. Obr. 5 ukazuje senzor PLB používaný pro robotické vyjímání ze zásobníku, na obr. 6 je senzor 3D Area Sensor.

PLB robotický bin picking systém firmy Sick

Obr.6. 3D Area Sensor pro řešení iRVision

Time of flight (TOF) 3D senzory slouží k měření času, který potřebuje světlo, aby doputovalo na scénu a zpět do příslušného senzoru v systému snímačů, podobně jako fungují pixely v obrazových senzorech CCD nebo CMOS. Touto metodou je možné obdržet informace o souřadnici Z z každého senzoru v řadě a vytvořit mračno bodů. K měření času tam a zpět se používá různých technik, neboť změřit čas pohybu světla na tak krátkou vzdálenost je běžnými technikami nemožné. Dostatek informací k výpočtu časového rozdílu však obvykle přináší fázový posun mezi emitovaným a vráceným světlem; vzdálenost lze vypočítat z této informace ve vztahu ke známé rychlosti světla. Ačkoli TOF senzory mají nižší rozlišovací schopnost ve směru Z (cca 1 až 2 cm) než jiné 3D senzory, snímková frekvence je u technologie TOF je mnohem vyšší než u jiných typů senzorů.

Jakékoli údaje z 3D senzorů je nutné analyzovat, aby průmyslový robot dostal údaje o poloze a orientaci, které pochopí. K dispozici je mnoho open source knihoven mračen bodů (point clouds), které jsou pohotově k dispozici pro analýzu a čerpání užitečných informací z 3D mračna bodů k navádění průmyslového robota.
Například firma MVTec Software GmbH nabízí software s nástroji pro 3D analýzu a aplikační programová rozhraní (API), která pracují s řadou formátů mračen bodů a programovacích jazyků dávajících 3D údajům smysl. Firma FANUC má ve svém portfoliu 3D stereo senzor, který je nastaven a programován prostřednictvím firemního řešení iRVision. To je zaměřeno na procesy prostorového 3D vidění prostřednictvím senzoru, které umožňují rychlou kalibraci a vyhledání dílů pro jejich vyjmutí ze zásobníku, depaletizaci nebo obecné 3D řízení. Výše zmíněný senzor PLB nabízí sofistikované nástroje pro nastavování parametrů potřebných ke zpracování 3D dat tak, aby mohla být použita pro řízení robota.

Při určování polohy dílu v mračnu bodů lze část 3D CAD údajů tohoto dílu použít jako model k jeho vyhledání v mračnu bodů. Je to proces náročný pro procesor a vyžaduje velice pokročilé algoritmy a značnou kapacitu počítače. Jiným přístupem je hledání pouze souvislých ploch, někdy nazývaných 3D bloby. Například 2D bloby jsou využívány při hledání 2D pixelů, které jsou nějakým způsobem spojené a podobné 2D obrazu, který je typicky v odstínech šedi. U 3D mračna bodů je podobnost s pixely daná vzdáleností od rovné plochy. Takové typy algoritmů lze provádět mnohem rychleji než srovnávání úplných 3D modelů. Když je zjištěn plošný blob, nemusí být nutně známá přesná poloha dílu a jeho orientace, často však je tato informace dostatečná k navedení nástroje robota k určité části dílu, kde ho lze uchopit za účelem jeho vyjmutí ze zásobníku.

Při navádění průmyslového robota k zásobníku je nutné zkontrolovat cílovou polohu a orientaci robota vzhledem k fyzickému omezení představovanému stěnami toho zásobníku. Podle toho, jak je v zásobníku díl umístěn a orientován a jak má robot a jeho nástroj uchopit díl, aby ho ze zásobníku vyjmul, může se stát, že robot nebude schopen ze zásobníku díl vyjmout, aby nedošlo k jeho kolizi se zásobníkem. Některé softwary zaměřené na odběr dílů ze zásobníků obsahují různé „odběrné polohy“ pro určité polohy a orientace dílů, aby zajistily, že nedojde ke kolizi robota se zásobníkem, a pokud takové řešení nelze nalézt, tento díl opustit a vyhodnotit jiný.

Pokud robot zjistí, že nelze ze zásobníku vyjmout žádný díl, je nutné provést další 3D sken a prozkoumat tuto novou řadu získaných dat. Jestliže asi po dvou pokusech nelze ze zásobníku nic vyjmout, je nutné prozkoumat alternativní přístupy k odběru dílů ze zásobníku. To obvykle znamená přemísťování dílů v zásobníku spíše než jejich vyjímání, což vyžaduje jiný 3D algoritmus ke zjištění charakteristiky dílu nebo pouze jejího nejvyššího bodu. Systém pak navádí robot k tomuto bodu a je určena dráha ke změně polohy dílu, k jeho odtažení od stěny zásobníku nebo prosté shození.

Jednou z výzev problematiky týkající se odběru dílů ze zásobníků (bin picking) je stanovení trvání pracovního cyklu. U většiny tradičních robotických aplikací bude trvání pracovního cyklu velice opakovatelné (pohyby robota a celá doba pracovního cyklu jsou značně opakovatelné, jestliže jsou díly uložené v zásobníku na přesných místech a vždy je k dispozici místo, kam se má díl vyjmutý ze zásobníku položit). U 3D aplikací pro vyjímání dílů ze zásobníků však bude v praxi vždy docházet k situacím, kdy dojde k tomu, že díl nebude vyjmut – například, když ho bude blokovat jiný díl, nebo když s tímto dílem robot koliduje a musí přehodnotit situaci. Dojde-li k nalezení dalších dílů, software se posune k dalšímu dílu a pokusí se o jeho vyjmutí. Pokud nebudou nalezeny další díly, robot opustí prostor zásobníku a vyvolá nové přeskenování.

Tyto situace vyvolávají značné rozdíly v délce pracovního cyklu, což z hlediska navazujících operací ve výrobě může být nepřijatelné. Systémy pro bin picking mají obvykle mezi robotem vyjímajícím díly ze zásobníku a zbytkem automatizovaného procesu nainstalovaný buffer určený k absorpci takových periodicky se opakujících delších cyklů.

Nástrojové vybavení určené k uchopení dílu a jeho vyjmutí ze zásobníku je specificky navrženo pro daný typ dílu a příslušnou aplikaci a zvolená technologie může vést jak k úspěchu, tak k selhání. Vakuová nebo magnetická chapadla jsou přednostními typy nástrojů pro vyjímání ze zásobníku, protože umožňují robotu dotýkat se dílu na řadě míst a chapadlo se nemusí nořit příliš hluboko mezi ostatní díly. To snižuje pravděpodobnost kolize s jinými díly.

Některé díly je však možné vyjmout pouze mechanickými chapadly, a proto jsou k dispozici i 3D algoritmy napsané speciálně pro mechanická chapadla. Tyto algoritmy vyhledávají v mračnu bodů bílé místo nebo prostory bez bodů, kde prsty mechanického chapadla budou zapadat do prostoru mezi jednotlivými mračny bodů. Při tomto přístupu je chapadlo naváděno do toho prostoru cílového dílu, kde jej lze uchopit a poté vyjmout, aniž by přesná poloha dílu, ale ani jeho orientace byly známy. Lze je však zjistit druhotným 2D nebo 3D postupem provedeným jiným robotem, nebo i tím samým, dovolí-li to doba cyklu.

Pokud jde o 3D strojovým viděním naváděnou robotiku (VGR), je volba správné 3D technologie vidění důležitá, což závisí na dané aplikaci. Některé aplikace 3D VGR nevyžadují přesný odběr dílů robotem, ale jen jednoduché vyjmutí ze zásobníku nebo palety a nahodilé položení na dopravník nebo stůl. U těchto aplikací mají 3D senzory typu TOF smysl, zvlášť je-li požadovaný výkon vysoký. U aplikací, u nichž záleží na přesnosti polohování dílu pro následnou fázi automatizovaného procesu, je 3D senzor s dobrou rozlišovací schopností v osách X–Y–Z a software schopný určit polohu dílu v mračnu bodů nutností. Je však možné použít méně přesné 3D informace k vyjmutí dílu ze zásobníku a potom použít druhotný 2D systém strojového vidění k dosažení přesnějšího určení polohy dílu. Tento postup o dvou krocích se obvykle používá u 3D VGR aplikací pro vyjímání dílů ze zásobníku, obvykle proto, že přestože je polohu dílu v zásobníku možné zjistit přesně, nemusí dojít k jeho správnému uchopení, protože jeho přednostní místo odběru, tak jak ho určil robot, je systémem nedosažitelné.

Senzory pracující s delšími dobami cyklu (tj. při nízkých snímkových frekvencích), jsou velmi vhodné pro aplikace typu bin picking, protože umožňují zjišťovat polohu většího počtu dílů z jediného skenu. Zatímco robot zpracovává díl, který právě vyjmul ze zásobníku, je dostatek času, aby senzor oskenoval zásobník a vyhledal další díly. V tomto případě je významná rozlišovací schopnost osy Z, ale často je možné chyby vykompenzovat v rámci systému uspořádání nástrojů. Obvykle je do chapadla robota zabudována možnost určitého pohybu ve směru osy Z, což umožňuje robotu absorbovat vzniklou chybu, aniž by došlo ke kolizi.

U vakuového systému mají vakuové přísavky měchy, které fungují jako kompenzátory v ose Z. Když se robot pokusí uchopit nějaký díl, stav vakua může být průběžně monitorován a jakmile se dosáhne dostatečného vakua, robot se zastaví a začne se se pohybovat směrem ven ze zásobníku. Robot může též sám zjistit, že přišel do kontaktu s nějakou překážkou, přičemž není nutné spuštění kolizního alarmu, pokud je rychlost robotu nízká (<100 mm.s-1). To se provádí pečlivým monitorováním krouticího momentu na každé ose robota při hodnotách, které překračují ty očekávané. Náklady na senzory mohu být problémem, který závisí na dané aplikaci (hmotnosti dílu a typu technologie použité pro manipulaci s díly). Pro aplikace pro zpracování těžkých dílů ve dvou až třech směnách denně je možné dovolit si dražší senzory, protože automatizací takové operace se návratnost investice velmi zrychlí.

FANUC America Corp.

David Bruce

david.bruce@fanucamerica.com

daniel.havlicek@fanuc.eu

www.fanuc.eu/cz/cs