Témata
Reklama

3D strojové vidění pro průmyslové roboty

Průmyslové roboty existují již několik desetiletí a své místo si našly nejprve v automobilovém průmyslu. S úkoly vyžadujícími vysokou míru opakovatelnosti, velkými sériemi a nevysokými rychlostmi byly automobilky ideálním místem pro využití prvních typů průmyslových robotů. Dnes jsou roboty v rostoucích počtech rozmisťovány do dalších průmyslových odvětví včetně potravinářského, farmaceutického a leteckého. Mnoho průmyslových robotů je dnes vybavováno systémem 3D strojového vidění.

Nově vznikající aplikace vyžadují od robotů nejen zvýšenou rychlost, ale také to, aby robot byl schopen určit polohu dílů umístěných náhodně na pohybujících se dopravnících nebo uložených v zásobnících či na paletách. Systémy strojového vidění, které v minulosti existovaly již několik desítiletí, se v současnosti montují do robotů, aby pomohly automatizačním systémům takové díly zpracovávat.

Reklama
Reklama

Strojovým viděním naváděná robotika

Strojovým viděním naváděná robotika (vision guided robotics, VGR) se rychle stává technologií umožňující automatizaci různých postupů v mnoha různých průmyslových odvětvích. Tuto technologii je možné rozdělit do dvou hlavních podskupin: 2D a 3D. 2D strojovým viděním naváděný robotický systém je schopen zpracovávat náhodně rozmístěné díly vzhledem k robotu na rovné ploše. 3D strojovým viděním naváděný robotický systém může zpracovávat náhodně rozmístěné díly vzhledem k robotu ve třech rozměrech (tj. X-Y-Z) a je též schopen přesně zjistit 3D orientaci každého dílu. V praxi se 2D strojní vidění realizuje digitální kamerou a softwarem, který analyzuje digitální obraz 2D umístění tohoto dílu a jeho orientaci pro jeho manipulaci pomocí robotu nebo při jeho zpracování (například při svařování nebo dávkování).
Existuje řada způsobů, jak zavést postupy s 3D strojovým viděním. Navíc rozmanitost současných technologií senzorů nabízí široké spektrum jak rozlišovacích schopností, tak cen.

Stereo strojové vidění

3D informaci o jednom dílu lze získat sledováním jeho obecné charakteristiky ze dvou různých pohledů. Přímku v prostoru lze vypočítat z každého z příslušných pohledů na analyzovanou charakteristiku. Průsečík těchto dvou přímek na charakteristice dílu udá příslušné hodnoty X-Y-Z. Je-li na dílu více charakteristik, je možné vypočítat informaci o úplné 3D orientaci. Obrázky 1 až 3 ukazují, jak dvě pevné kamery zaměřují bod o souřadnicích X-Y-Z na dílu výpočtem průsečíku dvou přímek ve 3D prostoru.

Obr.1. Stereo strojové vidění se dvěma pevnými kamerami – průsečík 3D přímek z kamer udává hodnotu souřadnic X–Y–Z dílu.Systém 3D strojového vidění pro strojovým viděním řízenou robotiku nemusí být drahý; je možné ho realizovat jedinou 2D kamerou umístěnou na robotu, který ji může umístit do dvou pohledových míst. U stereo zobrazování je rozlišovací schopnost v ose Z závislá na vzdálenosti dvou pohledových míst kamery. Hlavním nedostatkem však je, že z jednoho snímku je možné určit polohu pouze jediného dílu.
Obr. 2. Pohled 1 pořízený stereokamerou – zelený křížek je společný v pohledech z obou kamer.
Obr. 3. Pohled 2 pořízený stereokamerou – zelený křížek je společný v pohledech z obou kamer.

Stereo strojové vidění pomocí strukturovaného světla

Pomocí strukturovaného světla ve stereo systému strojového vidění nejsou charakteristiky dílu zjišťovány více kamerami, ale každá kamera zjišťuje charakteristiky dílu vytvořené strukturovaným světlem. To obvykle probíhá na velké ploše s mnoha 3D body zjištěnými při každém snímku. Výsledkem je mračno bodů, které skládá několik poloh X-Y-Z do těsného sledu přes zobrazovanou 3D scénu. Systémy strojového vidění, které generují mračna bodů, jsou velmi užitečné u strojovým viděním řízené robotiky, protože polohy dílů lze zjišťovat simultánně. Ceny systémů strojového vidění se strukturovaným světlem se pohybují v širokém rozmezí v závislosti na rozlišovací schopnosti výsledného mračna bodů a požadovaného odstupu senzoru.

Příklady stereo strojového vidění pomocí strukturovaného světla

Jedná se například o 3D Area Sensor od firmy FANUC, řady stereokamer N10 a N20 od firmy Ensenso a senzor Kinekt od Microsoftu. Všechny tyto senzory generují mračna bodů založená na strukturovaném světle a stereo strojovém vidění. U některých senzorů se strukturované světlo skládá z nahodilých bodů infračerveného světla. U jiných je strukturované světlo velmi uspořádané a využívá viditelného světla. Na obr. 4 je příklad mračna bodů.


Obr. 4. Mračno bodů zásobníku plného ojnic vygenerované senzorem 3D Area Sensor firmy FANUC

Laserový profiler

Jiným přístupem ke generování 3D dat je analýza, jak dopadá laserový paprsek na díl nebo na několik dílů. Laserový profil se měří pomocí senzoru 2D strojového vidění; při známé vzdálenosti mezi laserem a senzorem lze obdržet 3D informaci. Abychom obdrželi plnou 3D informaci pro významně velký objem, musí se laserový profil pohybovat přes scénu nebo sám laser se musí pohybovat nebo otáčet (jako v případě senzoru PLB firmy Sick) a potom informace snímat. Tímto způsobem lze zkombinovat násobné 3D snímané obrazy tak, aby vytvořily mračno bodů příslušející dané scéně. Obr. 5 ukazuje senzor PLB používaný pro robotické vyjímání ze zásobníku, na obr. 6 je senzor 3D Area Sensor.

PLB robotický bin picking systém firmy Sick

Obr. 5. PLB robotický bin picking systém firmy Sick


Obr.6. 3D Area Sensor pro řešení iRVision

TOF senzory

Time of flight (TOF) 3D senzory slouží k měření času, který potřebuje světlo, aby doputovalo na scénu a zpět do příslušného senzoru v systému snímačů, podobně jako fungují pixely v obrazových senzorech CCD nebo CMOS. Touto metodou je možné obdržet informace o souřadnici Z z každého senzoru v řadě a vytvořit mračno bodů. K měření času tam a zpět se používá různých technik, neboť změřit čas pohybu světla na tak krátkou vzdálenost je běžnými technikami nemožné. Dostatek informací k výpočtu časového rozdílu však obvykle přináší fázový posun mezi emitovaným a vráceným světlem; vzdálenost lze vypočítat z této informace ve vztahu ke známé rychlosti světla. Ačkoli TOF senzory mají nižší rozlišovací schopnost ve směru Z (cca 1 až 2 cm) než jiné 3D senzory, snímková frekvence je u technologie TOF je mnohem vyšší než u jiných typů senzorů.

Analýza 3D dat

Jakékoli údaje z 3D senzorů je nutné analyzovat, aby průmyslový robot dostal údaje o poloze a orientaci, které pochopí. K dispozici je mnoho open source knihoven mračen bodů (point clouds), které jsou pohotově k dispozici pro analýzu a čerpání užitečných informací z 3D mračna bodů k navádění průmyslového robota.
Například firma MVTec Software GmbH nabízí software s nástroji pro 3D analýzu a aplikační programová rozhraní (API), která pracují s řadou formátů mračen bodů a programovacích jazyků dávajících 3D údajům smysl. Firma FANUC má ve svém portfoliu 3D stereo senzor, který je nastaven a programován prostřednictvím firemního řešení iRVision. To je zaměřeno na procesy prostorového 3D vidění prostřednictvím senzoru, které umožňují rychlou kalibraci a vyhledání dílů pro jejich vyjmutí ze zásobníku, depaletizaci nebo obecné 3D řízení. Výše zmíněný senzor PLB nabízí sofistikované nástroje pro nastavování parametrů potřebných ke zpracování 3D dat tak, aby mohla být použita pro řízení robota.

Využití CAD modelů nebo blobů

Při určování polohy dílu v mračnu bodů lze část 3D CAD údajů tohoto dílu použít jako model k jeho vyhledání v mračnu bodů. Je to proces náročný pro procesor a vyžaduje velice pokročilé algoritmy a značnou kapacitu počítače. Jiným přístupem je hledání pouze souvislých ploch, někdy nazývaných 3D bloby. Například 2D bloby jsou využívány při hledání 2D pixelů, které jsou nějakým způsobem spojené a podobné 2D obrazu, který je typicky v odstínech šedi. U 3D mračna bodů je podobnost s pixely daná vzdáleností od rovné plochy. Takové typy algoritmů lze provádět mnohem rychleji než srovnávání úplných 3D modelů. Když je zjištěn plošný blob, nemusí být nutně známá přesná poloha dílu a jeho orientace, často však je tato informace dostatečná k navedení nástroje robota k určité části dílu, kde ho lze uchopit za účelem jeho vyjmutí ze zásobníku.

Vyjmutí dílu ze zásobníku

Při navádění průmyslového robota k zásobníku je nutné zkontrolovat cílovou polohu a orientaci robota vzhledem k fyzickému omezení představovanému stěnami toho zásobníku. Podle toho, jak je v zásobníku díl umístěn a orientován a jak má robot a jeho nástroj uchopit díl, aby ho ze zásobníku vyjmul, může se stát, že robot nebude schopen ze zásobníku díl vyjmout, aby nedošlo k jeho kolizi se zásobníkem. Některé softwary zaměřené na odběr dílů ze zásobníků obsahují různé „odběrné polohy“ pro určité polohy a orientace dílů, aby zajistily, že nedojde ke kolizi robota se zásobníkem, a pokud takové řešení nelze nalézt, tento díl opustit a vyhodnotit jiný.

Pokud robot zjistí, že nelze ze zásobníku vyjmout žádný díl, je nutné provést další 3D sken a prozkoumat tuto novou řadu získaných dat. Jestliže asi po dvou pokusech nelze ze zásobníku nic vyjmout, je nutné prozkoumat alternativní přístupy k odběru dílů ze zásobníku. To obvykle znamená přemísťování dílů v zásobníku spíše než jejich vyjímání, což vyžaduje jiný 3D algoritmus ke zjištění charakteristiky dílu nebo pouze jejího nejvyššího bodu. Systém pak navádí robot k tomuto bodu a je určena dráha ke změně polohy dílu, k jeho odtažení od stěny zásobníku nebo prosté shození.

Stanovení trvání pracovního cyklu

Jednou z výzev problematiky týkající se odběru dílů ze zásobníků (bin picking) je stanovení trvání pracovního cyklu. U většiny tradičních robotických aplikací bude trvání pracovního cyklu velice opakovatelné (pohyby robota a celá doba pracovního cyklu jsou značně opakovatelné, jestliže jsou díly uložené v zásobníku na přesných místech a vždy je k dispozici místo, kam se má díl vyjmutý ze zásobníku položit). U 3D aplikací pro vyjímání dílů ze zásobníků však bude v praxi vždy docházet k situacím, kdy dojde k tomu, že díl nebude vyjmut – například, když ho bude blokovat jiný díl, nebo když s tímto dílem robot koliduje a musí přehodnotit situaci. Dojde-li k nalezení dalších dílů, software se posune k dalšímu dílu a pokusí se o jeho vyjmutí. Pokud nebudou nalezeny další díly, robot opustí prostor zásobníku a vyvolá nové přeskenování.

Tyto situace vyvolávají značné rozdíly v délce pracovního cyklu, což z hlediska navazujících operací ve výrobě může být nepřijatelné. Systémy pro bin picking mají obvykle mezi robotem vyjímajícím díly ze zásobníku a zbytkem automatizovaného procesu nainstalovaný buffer určený k absorpci takových periodicky se opakujících delších cyklů.

Typ uchopovače limituje možnosti vyjmutí

Nástrojové vybavení určené k uchopení dílu a jeho vyjmutí ze zásobníku je specificky navrženo pro daný typ dílu a příslušnou aplikaci a zvolená technologie může vést jak k úspěchu, tak k selhání. Vakuová nebo magnetická chapadla jsou přednostními typy nástrojů pro vyjímání ze zásobníku, protože umožňují robotu dotýkat se dílu na řadě míst a chapadlo se nemusí nořit příliš hluboko mezi ostatní díly. To snižuje pravděpodobnost kolize s jinými díly.

Některé díly je však možné vyjmout pouze mechanickými chapadly, a proto jsou k dispozici i 3D algoritmy napsané speciálně pro mechanická chapadla. Tyto algoritmy vyhledávají v mračnu bodů bílé místo nebo prostory bez bodů, kde prsty mechanického chapadla budou zapadat do prostoru mezi jednotlivými mračny bodů. Při tomto přístupu je chapadlo naváděno do toho prostoru cílového dílu, kde jej lze uchopit a poté vyjmout, aniž by přesná poloha dílu, ale ani jeho orientace byly známy. Lze je však zjistit druhotným 2D nebo 3D postupem provedeným jiným robotem, nebo i tím samým, dovolí-li to doba cyklu.

Volba technologie strojového vidění

Pokud jde o 3D strojovým viděním naváděnou robotiku (VGR), je volba správné 3D technologie vidění důležitá, což závisí na dané aplikaci. Některé aplikace 3D VGR nevyžadují přesný odběr dílů robotem, ale jen jednoduché vyjmutí ze zásobníku nebo palety a nahodilé položení na dopravník nebo stůl. U těchto aplikací mají 3D senzory typu TOF smysl, zvlášť je-li požadovaný výkon vysoký. U aplikací, u nichž záleží na přesnosti polohování dílu pro následnou fázi automatizovaného procesu, je 3D senzor s dobrou rozlišovací schopností v osách X–Y–Z a software schopný určit polohu dílu v mračnu bodů nutností. Je však možné použít méně přesné 3D informace k vyjmutí dílu ze zásobníku a potom použít druhotný 2D systém strojového vidění k dosažení přesnějšího určení polohy dílu. Tento postup o dvou krocích se obvykle používá u 3D VGR aplikací pro vyjímání dílů ze zásobníku, obvykle proto, že přestože je polohu dílu v zásobníku možné zjistit přesně, nemusí dojít k jeho správnému uchopení, protože jeho přednostní místo odběru, tak jak ho určil robot, je systémem nedosažitelné.

Senzory pracující s delšími dobami cyklu (tj. při nízkých snímkových frekvencích), jsou velmi vhodné pro aplikace typu bin picking, protože umožňují zjišťovat polohu většího počtu dílů z jediného skenu. Zatímco robot zpracovává díl, který právě vyjmul ze zásobníku, je dostatek času, aby senzor oskenoval zásobník a vyhledal další díly. V tomto případě je významná rozlišovací schopnost osy Z, ale často je možné chyby vykompenzovat v rámci systému uspořádání nástrojů. Obvykle je do chapadla robota zabudována možnost určitého pohybu ve směru osy Z, což umožňuje robotu absorbovat vzniklou chybu, aniž by došlo ke kolizi.

U vakuového systému mají vakuové přísavky měchy, které fungují jako kompenzátory v ose Z. Když se robot pokusí uchopit nějaký díl, stav vakua může být průběžně monitorován a jakmile se dosáhne dostatečného vakua, robot se zastaví a začne se se pohybovat směrem ven ze zásobníku. Robot může též sám zjistit, že přišel do kontaktu s nějakou překážkou, přičemž není nutné spuštění kolizního alarmu, pokud je rychlost robotu nízká (<100 mm.s-1). To se provádí pečlivým monitorováním krouticího momentu na každé ose robota při hodnotách, které překračují ty očekávané. Náklady na senzory mohu být problémem, který závisí na dané aplikaci (hmotnosti dílu a typu technologie použité pro manipulaci s díly). Pro aplikace pro zpracování těžkých dílů ve dvou až třech směnách denně je možné dovolit si dražší senzory, protože automatizací takové operace se návratnost investice velmi zrychlí.


FANUC America Corp.

David Bruce

david.bruce@fanucamerica.com

daniel.havlicek@fanuc.eu

www.fanuc.eu/cz/cs

Reklama
Vydání #6
Kód článku: 190614
Datum: 05. 06. 2019
Rubrika: Výroba / Automatizace
Autor:
Firmy
Související články
Využití robotů při úpravě stehenních kostí pro implantáty

Belgický start-up Texere Biotech v nedávné době zahájil v plně automatizovaném závodě výrobu, která je ve světovém měřítku první svého druhu. Firma odebírá femorální hlavice (tj. horní konec lidské stehenní kosti) a zpracovává je do kostkovitých implantátů, tzv. alograftů. Ve sterilních podmínkách zpracovává tento materiál do kostních náhrad šest robotů Stericlean dodávaných firmou Stäubli.

Automatická přeprava hliníkových desek s milimetrovou přesností

Dopravu těžkých hliníkových desek zajišťují ve společnosti Austria Metall AG (AMAG) autonomní transportní platformy a přispívají tak významným způsobem k flexibilitě interní logistiky. Tyto všesměrové plošiny se pohybují zcela autonomně a provádějí tak samostatně poslední výrobní krok.

Elektrické polohování? Snadno a pro každého!

S výjimkou specialistů si většina z nás pod pojmem elektrické servo v oboru automatizace představí složitou techniku určenou právě oněm expertům. Pokrok nejen v oboru elektrických pohonů však směřuje k výraznému zjednodušení, nejnovější generaci servomotorů Festo uvede do provozu i laik. Výrazně přitom pomáhá především software Festo Automation Suite, postupně integrující všechny dříve samostatné pomůcky a nástroje.

Související články
Praktický návod, jak zavést robotizaci

V posledních letech jsou výrobní firmy doslova bombardovány tématy o robotizaci a automatizaci. Z praxe ale víme, že problém nastává v momentě, kdy se firmy rozhoupou udělat první krok. Jednoduše neví, kde začít. A není se čemu divit. Tak výraznou změnou často procházejí vůbec poprvé a nemůžou se opřít o předchozí vlastní zkušenost.

Reklama
Reklama
Reklama
Reklama
Související články
Roboty a bavorské klobásy

Robot KUKA paletizuje plechovky bavorských klobás u výrobce potravin v Bavorsku. Systém urychluje proces balení a tím uvolňuje pracovníky firmy z namáhavé práce.

Multispojky zrychlují odlévání statorů elektromotorů

Mohelnický závod společnosti Siemens je největším evropským závodem na výrobu nízkonapěťových asynchronních elektromotorů. Založen byl v roce 1904. Siemens vyrábí elektromotory také v závodech v Drásově a Frenštátu pod Radhoštěm, kde se vyrábějí elektromotory s vyššími osovými výškami (nad 200 mm), zatímco v Mohelnici se vyrábějí asynchronní elektromotory s osovými výškami od 63 do 200 mm. Mohelnický závod denně vyrobí více než čtyři tisíce elektromotorů, které většinou slouží k pohonu průmyslových zařízení, jako jsou například ventilátory, čerpadla, kompresory či obráběcí stroje.

Propojené procesy a inteligentní výroba

Světové potravinářské společnosti se povedlo sloučením informačních a provozních technologií propojit procesy, lidi a technologie. Přineslo to zvýšení produktivity, méně papírování i úspory energií. S transformací pomohla společnost Rockwell Automation svým konceptem Connected Enterprise.

Mobilní roboty pro štíhlou výrobu

Flex je technologická společnost s více než 200 000 zaměstnanci ve 30 zemích, která vyrábí inteligentní produkty s mottem Live Smarter. V rámci svého provozu využívá štíhlých, efektivních a flexibilních výrobních procesů. Inovativní výrobní technologie zahrnují aplikace postavené na Průmyslu 4.0, internetu věcí (IoT) a robotické automatizaci.

Pokrytí výroby materiálem

Řadíte se ke skeptikům, nebo k optimistům v zavádění Průmyslu 4.0 v českých podnicích? V době, kdy plným proudem běží kampaň na podporu Průmyslu 4.0 a kdy se jednotliví výrobci zařízení předhánějí v nabídce, jak podpořit automatizaci, se název článku může zdát už jako z minulého století.

Použití RCD s frekvenčními měniči

Jak vybrat správný RCD pro použití s frekvenčními měniči a vyhnout se tak nežádoucímu vypínání a dosáhnout maximální doby nepřetržitého provozu?

Výroba založená na cloudových řešeních

Navzdory ekonomickým propadům a neustále se měnícímu pracovnímu prostředí zůstává výroba dlouhodobě a v celosvětovém měřítku hlavním zdrojem pracovních míst a zásadní oblastí tvorby hodnot. Přesto, že se postupně podařilo do značné míry vylepšit kvalitu vyráběných součástí a zvýšit efektivitu celého výrobního procesu, existují i nadále významné zdroje plýtvání, které se doposud nepodařilo efektivně vyřešit. V důsledku toho se provozní náklady v oblasti výroby vytrvale drží na vysoké úrovni. Existují však významné příležitosti umožňující tento trend zvrátit pomocí digitálních a cloudových řešení.

Český řídicí systém SandRA pro energetiku

Řídicí systémy a know-how české společnosti ZAT využívají energetické společnosti i firmy z oblasti průmyslu v téměř 60 zemích světa. „V současné době působíme na 265 klasických elektrárnách, teplárnách a spalovnách a více než čtvrtině jaderných elektráren v Evropské unii a na 10 procentech ve světě. V České republice jsme letos úspěšně dokončili několikaletý projekt rekonstrukce SKŘ Elektrárny Opatovice,“ konstatuje Ivo Tichý, člen představenstva ZAT.

Technická řešení zítřka se rodí v týmu

Díky simultánnímu inženýrství mohou společnosti ve strategickém partnerství se zákazníkem vytvářet a realizovat systémy průmyslové automatizace, které optimálně splňují nejrůznější požadavky.

Roboty pro automobilový sektor

Kompletní obnova automatizovaných robotických linek iniciovaná vrcholovým managementem společnosti Magneti Marelli vedla v závodě nacházejícím se v Crevalcore (územně správní celek města Bologna) ke zvyšování počtu zaměstnanců i efektivity těchto automatizovaných výrobních linek. Jak vysvětluje Marco Calabrese, ředitel údržby výrobního závodu, mnoho úkolů, které byly manuálního charakteru, je nyní zautomatizováno. „V těchto případech potřebujeme dosáhnout vyšší přesnosti, opakovatelnosti, výkonnosti a výrobní kvality a v zájmu vyšší efektivity samozřejmě i snížit dobu trvání cyklu. Integrací robotické automatizace zvýšila kvalitu a produktivitu práce a vedla i ke zvýšení počtu zaměstnanců pracujících v našem závodě.“

Reklama
Předplatné MM

Dostáváte vydání MM Průmyslového spektra občasně zdarma na základě vaší registrace? Nejste ještě členem naší velké strojařské rodiny? Změňte to a staňte se naším stálým čtenářem. 

Proč jsme nejlepší?

  • Autoři článků jsou špičkoví praktici a akademici 
  • Vysoký podíl redakčního obsahu
  • Úzká provázanost printového a on-line obsahu ve špičkové platformě

a mnoho dalších benefitů.

... již 25 let zkušeností s odbornou novinařinou

      Předplatit