Témata
Reklama

3D strojové vidění pro průmyslové roboty

Průmyslové roboty existují již několik desetiletí a své místo si našly nejprve v automobilovém průmyslu. S úkoly vyžadujícími vysokou míru opakovatelnosti, velkými sériemi a nevysokými rychlostmi byly automobilky ideálním místem pro využití prvních typů průmyslových robotů. Dnes jsou roboty v rostoucích počtech rozmisťovány do dalších průmyslových odvětví včetně potravinářského, farmaceutického a leteckého. Mnoho průmyslových robotů je dnes vybavováno systémem 3D strojového vidění.

Nově vznikající aplikace vyžadují od robotů nejen zvýšenou rychlost, ale také to, aby robot byl schopen určit polohu dílů umístěných náhodně na pohybujících se dopravnících nebo uložených v zásobnících či na paletách. Systémy strojového vidění, které v minulosti existovaly již několik desítiletí, se v současnosti montují do robotů, aby pomohly automatizačním systémům takové díly zpracovávat.

Reklama
Reklama
Reklama

Strojovým viděním naváděná robotika

Strojovým viděním naváděná robotika (vision guided robotics, VGR) se rychle stává technologií umožňující automatizaci různých postupů v mnoha různých průmyslových odvětvích. Tuto technologii je možné rozdělit do dvou hlavních podskupin: 2D a 3D. 2D strojovým viděním naváděný robotický systém je schopen zpracovávat náhodně rozmístěné díly vzhledem k robotu na rovné ploše. 3D strojovým viděním naváděný robotický systém může zpracovávat náhodně rozmístěné díly vzhledem k robotu ve třech rozměrech (tj. X-Y-Z) a je též schopen přesně zjistit 3D orientaci každého dílu. V praxi se 2D strojní vidění realizuje digitální kamerou a softwarem, který analyzuje digitální obraz 2D umístění tohoto dílu a jeho orientaci pro jeho manipulaci pomocí robotu nebo při jeho zpracování (například při svařování nebo dávkování).
Existuje řada způsobů, jak zavést postupy s 3D strojovým viděním. Navíc rozmanitost současných technologií senzorů nabízí široké spektrum jak rozlišovacích schopností, tak cen.

Stereo strojové vidění

3D informaci o jednom dílu lze získat sledováním jeho obecné charakteristiky ze dvou různých pohledů. Přímku v prostoru lze vypočítat z každého z příslušných pohledů na analyzovanou charakteristiku. Průsečík těchto dvou přímek na charakteristice dílu udá příslušné hodnoty X-Y-Z. Je-li na dílu více charakteristik, je možné vypočítat informaci o úplné 3D orientaci. Obrázky 1 až 3 ukazují, jak dvě pevné kamery zaměřují bod o souřadnicích X-Y-Z na dílu výpočtem průsečíku dvou přímek ve 3D prostoru.

Obr.1. Stereo strojové vidění se dvěma pevnými kamerami – průsečík 3D přímek z kamer udává hodnotu souřadnic X–Y–Z dílu.Systém 3D strojového vidění pro strojovým viděním řízenou robotiku nemusí být drahý; je možné ho realizovat jedinou 2D kamerou umístěnou na robotu, který ji může umístit do dvou pohledových míst. U stereo zobrazování je rozlišovací schopnost v ose Z závislá na vzdálenosti dvou pohledových míst kamery. Hlavním nedostatkem však je, že z jednoho snímku je možné určit polohu pouze jediného dílu.
Obr. 2. Pohled 1 pořízený stereokamerou – zelený křížek je společný v pohledech z obou kamer.
Obr. 3. Pohled 2 pořízený stereokamerou – zelený křížek je společný v pohledech z obou kamer.

Stereo strojové vidění pomocí strukturovaného světla

Pomocí strukturovaného světla ve stereo systému strojového vidění nejsou charakteristiky dílu zjišťovány více kamerami, ale každá kamera zjišťuje charakteristiky dílu vytvořené strukturovaným světlem. To obvykle probíhá na velké ploše s mnoha 3D body zjištěnými při každém snímku. Výsledkem je mračno bodů, které skládá několik poloh X-Y-Z do těsného sledu přes zobrazovanou 3D scénu. Systémy strojového vidění, které generují mračna bodů, jsou velmi užitečné u strojovým viděním řízené robotiky, protože polohy dílů lze zjišťovat simultánně. Ceny systémů strojového vidění se strukturovaným světlem se pohybují v širokém rozmezí v závislosti na rozlišovací schopnosti výsledného mračna bodů a požadovaného odstupu senzoru.

Příklady stereo strojového vidění pomocí strukturovaného světla

Jedná se například o 3D Area Sensor od firmy FANUC, řady stereokamer N10 a N20 od firmy Ensenso a senzor Kinekt od Microsoftu. Všechny tyto senzory generují mračna bodů založená na strukturovaném světle a stereo strojovém vidění. U některých senzorů se strukturované světlo skládá z nahodilých bodů infračerveného světla. U jiných je strukturované světlo velmi uspořádané a využívá viditelného světla. Na obr. 4 je příklad mračna bodů.


Obr. 4. Mračno bodů zásobníku plného ojnic vygenerované senzorem 3D Area Sensor firmy FANUC

Laserový profiler

Jiným přístupem ke generování 3D dat je analýza, jak dopadá laserový paprsek na díl nebo na několik dílů. Laserový profil se měří pomocí senzoru 2D strojového vidění; při známé vzdálenosti mezi laserem a senzorem lze obdržet 3D informaci. Abychom obdrželi plnou 3D informaci pro významně velký objem, musí se laserový profil pohybovat přes scénu nebo sám laser se musí pohybovat nebo otáčet (jako v případě senzoru PLB firmy Sick) a potom informace snímat. Tímto způsobem lze zkombinovat násobné 3D snímané obrazy tak, aby vytvořily mračno bodů příslušející dané scéně. Obr. 5 ukazuje senzor PLB používaný pro robotické vyjímání ze zásobníku, na obr. 6 je senzor 3D Area Sensor.

PLB robotický bin picking systém firmy Sick

Obr. 5. PLB robotický bin picking systém firmy Sick


Obr.6. 3D Area Sensor pro řešení iRVision

TOF senzory

Time of flight (TOF) 3D senzory slouží k měření času, který potřebuje světlo, aby doputovalo na scénu a zpět do příslušného senzoru v systému snímačů, podobně jako fungují pixely v obrazových senzorech CCD nebo CMOS. Touto metodou je možné obdržet informace o souřadnici Z z každého senzoru v řadě a vytvořit mračno bodů. K měření času tam a zpět se používá různých technik, neboť změřit čas pohybu světla na tak krátkou vzdálenost je běžnými technikami nemožné. Dostatek informací k výpočtu časového rozdílu však obvykle přináší fázový posun mezi emitovaným a vráceným světlem; vzdálenost lze vypočítat z této informace ve vztahu ke známé rychlosti světla. Ačkoli TOF senzory mají nižší rozlišovací schopnost ve směru Z (cca 1 až 2 cm) než jiné 3D senzory, snímková frekvence je u technologie TOF je mnohem vyšší než u jiných typů senzorů.

Analýza 3D dat

Jakékoli údaje z 3D senzorů je nutné analyzovat, aby průmyslový robot dostal údaje o poloze a orientaci, které pochopí. K dispozici je mnoho open source knihoven mračen bodů (point clouds), které jsou pohotově k dispozici pro analýzu a čerpání užitečných informací z 3D mračna bodů k navádění průmyslového robota.
Například firma MVTec Software GmbH nabízí software s nástroji pro 3D analýzu a aplikační programová rozhraní (API), která pracují s řadou formátů mračen bodů a programovacích jazyků dávajících 3D údajům smysl. Firma FANUC má ve svém portfoliu 3D stereo senzor, který je nastaven a programován prostřednictvím firemního řešení iRVision. To je zaměřeno na procesy prostorového 3D vidění prostřednictvím senzoru, které umožňují rychlou kalibraci a vyhledání dílů pro jejich vyjmutí ze zásobníku, depaletizaci nebo obecné 3D řízení. Výše zmíněný senzor PLB nabízí sofistikované nástroje pro nastavování parametrů potřebných ke zpracování 3D dat tak, aby mohla být použita pro řízení robota.

Využití CAD modelů nebo blobů

Při určování polohy dílu v mračnu bodů lze část 3D CAD údajů tohoto dílu použít jako model k jeho vyhledání v mračnu bodů. Je to proces náročný pro procesor a vyžaduje velice pokročilé algoritmy a značnou kapacitu počítače. Jiným přístupem je hledání pouze souvislých ploch, někdy nazývaných 3D bloby. Například 2D bloby jsou využívány při hledání 2D pixelů, které jsou nějakým způsobem spojené a podobné 2D obrazu, který je typicky v odstínech šedi. U 3D mračna bodů je podobnost s pixely daná vzdáleností od rovné plochy. Takové typy algoritmů lze provádět mnohem rychleji než srovnávání úplných 3D modelů. Když je zjištěn plošný blob, nemusí být nutně známá přesná poloha dílu a jeho orientace, často však je tato informace dostatečná k navedení nástroje robota k určité části dílu, kde ho lze uchopit za účelem jeho vyjmutí ze zásobníku.

Vyjmutí dílu ze zásobníku

Při navádění průmyslového robota k zásobníku je nutné zkontrolovat cílovou polohu a orientaci robota vzhledem k fyzickému omezení představovanému stěnami toho zásobníku. Podle toho, jak je v zásobníku díl umístěn a orientován a jak má robot a jeho nástroj uchopit díl, aby ho ze zásobníku vyjmul, může se stát, že robot nebude schopen ze zásobníku díl vyjmout, aby nedošlo k jeho kolizi se zásobníkem. Některé softwary zaměřené na odběr dílů ze zásobníků obsahují různé „odběrné polohy“ pro určité polohy a orientace dílů, aby zajistily, že nedojde ke kolizi robota se zásobníkem, a pokud takové řešení nelze nalézt, tento díl opustit a vyhodnotit jiný.

Pokud robot zjistí, že nelze ze zásobníku vyjmout žádný díl, je nutné provést další 3D sken a prozkoumat tuto novou řadu získaných dat. Jestliže asi po dvou pokusech nelze ze zásobníku nic vyjmout, je nutné prozkoumat alternativní přístupy k odběru dílů ze zásobníku. To obvykle znamená přemísťování dílů v zásobníku spíše než jejich vyjímání, což vyžaduje jiný 3D algoritmus ke zjištění charakteristiky dílu nebo pouze jejího nejvyššího bodu. Systém pak navádí robot k tomuto bodu a je určena dráha ke změně polohy dílu, k jeho odtažení od stěny zásobníku nebo prosté shození.

Stanovení trvání pracovního cyklu

Jednou z výzev problematiky týkající se odběru dílů ze zásobníků (bin picking) je stanovení trvání pracovního cyklu. U většiny tradičních robotických aplikací bude trvání pracovního cyklu velice opakovatelné (pohyby robota a celá doba pracovního cyklu jsou značně opakovatelné, jestliže jsou díly uložené v zásobníku na přesných místech a vždy je k dispozici místo, kam se má díl vyjmutý ze zásobníku položit). U 3D aplikací pro vyjímání dílů ze zásobníků však bude v praxi vždy docházet k situacím, kdy dojde k tomu, že díl nebude vyjmut – například, když ho bude blokovat jiný díl, nebo když s tímto dílem robot koliduje a musí přehodnotit situaci. Dojde-li k nalezení dalších dílů, software se posune k dalšímu dílu a pokusí se o jeho vyjmutí. Pokud nebudou nalezeny další díly, robot opustí prostor zásobníku a vyvolá nové přeskenování.

Tyto situace vyvolávají značné rozdíly v délce pracovního cyklu, což z hlediska navazujících operací ve výrobě může být nepřijatelné. Systémy pro bin picking mají obvykle mezi robotem vyjímajícím díly ze zásobníku a zbytkem automatizovaného procesu nainstalovaný buffer určený k absorpci takových periodicky se opakujících delších cyklů.

Typ uchopovače limituje možnosti vyjmutí

Nástrojové vybavení určené k uchopení dílu a jeho vyjmutí ze zásobníku je specificky navrženo pro daný typ dílu a příslušnou aplikaci a zvolená technologie může vést jak k úspěchu, tak k selhání. Vakuová nebo magnetická chapadla jsou přednostními typy nástrojů pro vyjímání ze zásobníku, protože umožňují robotu dotýkat se dílu na řadě míst a chapadlo se nemusí nořit příliš hluboko mezi ostatní díly. To snižuje pravděpodobnost kolize s jinými díly.

Některé díly je však možné vyjmout pouze mechanickými chapadly, a proto jsou k dispozici i 3D algoritmy napsané speciálně pro mechanická chapadla. Tyto algoritmy vyhledávají v mračnu bodů bílé místo nebo prostory bez bodů, kde prsty mechanického chapadla budou zapadat do prostoru mezi jednotlivými mračny bodů. Při tomto přístupu je chapadlo naváděno do toho prostoru cílového dílu, kde jej lze uchopit a poté vyjmout, aniž by přesná poloha dílu, ale ani jeho orientace byly známy. Lze je však zjistit druhotným 2D nebo 3D postupem provedeným jiným robotem, nebo i tím samým, dovolí-li to doba cyklu.

Volba technologie strojového vidění

Pokud jde o 3D strojovým viděním naváděnou robotiku (VGR), je volba správné 3D technologie vidění důležitá, což závisí na dané aplikaci. Některé aplikace 3D VGR nevyžadují přesný odběr dílů robotem, ale jen jednoduché vyjmutí ze zásobníku nebo palety a nahodilé položení na dopravník nebo stůl. U těchto aplikací mají 3D senzory typu TOF smysl, zvlášť je-li požadovaný výkon vysoký. U aplikací, u nichž záleží na přesnosti polohování dílu pro následnou fázi automatizovaného procesu, je 3D senzor s dobrou rozlišovací schopností v osách X–Y–Z a software schopný určit polohu dílu v mračnu bodů nutností. Je však možné použít méně přesné 3D informace k vyjmutí dílu ze zásobníku a potom použít druhotný 2D systém strojového vidění k dosažení přesnějšího určení polohy dílu. Tento postup o dvou krocích se obvykle používá u 3D VGR aplikací pro vyjímání dílů ze zásobníku, obvykle proto, že přestože je polohu dílu v zásobníku možné zjistit přesně, nemusí dojít k jeho správnému uchopení, protože jeho přednostní místo odběru, tak jak ho určil robot, je systémem nedosažitelné.

Senzory pracující s delšími dobami cyklu (tj. při nízkých snímkových frekvencích), jsou velmi vhodné pro aplikace typu bin picking, protože umožňují zjišťovat polohu většího počtu dílů z jediného skenu. Zatímco robot zpracovává díl, který právě vyjmul ze zásobníku, je dostatek času, aby senzor oskenoval zásobník a vyhledal další díly. V tomto případě je významná rozlišovací schopnost osy Z, ale často je možné chyby vykompenzovat v rámci systému uspořádání nástrojů. Obvykle je do chapadla robota zabudována možnost určitého pohybu ve směru osy Z, což umožňuje robotu absorbovat vzniklou chybu, aniž by došlo ke kolizi.

U vakuového systému mají vakuové přísavky měchy, které fungují jako kompenzátory v ose Z. Když se robot pokusí uchopit nějaký díl, stav vakua může být průběžně monitorován a jakmile se dosáhne dostatečného vakua, robot se zastaví a začne se se pohybovat směrem ven ze zásobníku. Robot může též sám zjistit, že přišel do kontaktu s nějakou překážkou, přičemž není nutné spuštění kolizního alarmu, pokud je rychlost robotu nízká (<100 mm.s-1). To se provádí pečlivým monitorováním krouticího momentu na každé ose robota při hodnotách, které překračují ty očekávané. Náklady na senzory mohu být problémem, který závisí na dané aplikaci (hmotnosti dílu a typu technologie použité pro manipulaci s díly). Pro aplikace pro zpracování těžkých dílů ve dvou až třech směnách denně je možné dovolit si dražší senzory, protože automatizací takové operace se návratnost investice velmi zrychlí.


FANUC America Corp.

David Bruce

[email protected]

[email protected]

www.fanuc.eu/cz/cs

Reklama
Vydání #6
Kód článku: 190614
Datum: 05. 06. 2019
Rubrika: Výroba / Automatizace
Autor:
Firmy
Související články
Praktický návod, jak zavést robotizaci

V posledních letech jsou výrobní firmy doslova bombardovány tématy o robotizaci a automatizaci. Z praxe ale víme, že problém nastává v momentě, kdy se firmy rozhoupou udělat první krok. Jednoduše neví, kde začít. A není se čemu divit. Tak výraznou změnou často procházejí vůbec poprvé a nemůžou se opřít o předchozí vlastní zkušenost.

Roboty a bavorské klobásy

Robot KUKA paletizuje plechovky bavorských klobás u výrobce potravin v Bavorsku. Systém urychluje proces balení a tím uvolňuje pracovníky firmy z namáhavé práce.

Propojené procesy a inteligentní výroba

Světové potravinářské společnosti se povedlo sloučením informačních a provozních technologií propojit procesy, lidi a technologie. Přineslo to zvýšení produktivity, méně papírování i úspory energií. S transformací pomohla společnost Rockwell Automation svým konceptem Connected Enterprise.

Související články
Použití RCD s frekvenčními měniči

Jak vybrat správný RCD pro použití s frekvenčními měniči a vyhnout se tak nežádoucímu vypínání a dosáhnout maximální doby nepřetržitého provozu?

Reklama
Reklama
Reklama
Reklama
Související články
Výroba založená na cloudových řešeních

Navzdory ekonomickým propadům a neustále se měnícímu pracovnímu prostředí zůstává výroba dlouhodobě a v celosvětovém měřítku hlavním zdrojem pracovních míst a zásadní oblastí tvorby hodnot. Přesto, že se postupně podařilo do značné míry vylepšit kvalitu vyráběných součástí a zvýšit efektivitu celého výrobního procesu, existují i nadále významné zdroje plýtvání, které se doposud nepodařilo efektivně vyřešit. V důsledku toho se provozní náklady v oblasti výroby vytrvale drží na vysoké úrovni. Existují však významné příležitosti umožňující tento trend zvrátit pomocí digitálních a cloudových řešení.

Made in Česko: Zdění bez dotyku lidské ruky

Psal se rok 2012, když majitel firmy KM Robotics začal pracovat na projektu WLTR – robotického zedníka. Tento stroj nemá v Evropě konkurenci, představuje revoluci ve stavebnictví a otevírá nové možnosti v oblasti efektivity, přesnosti a udržitelnosti výstavby. Díky pokročilým algoritmům a integrovanému senzorickému systému dokáže operovat s minimálními odchylkami a rychlostí, která výrazně převyšuje lidské zedníky. Vývoj robotického zedníka byl v roce 2019 finančně podpořen z programu Trend TA ČR.

Co přinese rok 2024 v oblasti automatizace?

Řada otřesů v posledních několika letech předznamenala novou éru zvýšených geopolitických a ekonomických rizik. Výrobci jsou nuceni k tomu, aby do obchodních modelů začlenili odolnost a flexibilitu a aby přehodnotili globální dodavatelské řetězce a vztahy. Zároveň stoupá tlak na začlenění principů ESG do rozhodování o provozu (tato zkratka z anglických slov environment, social a governance označuje vliv firmy na životní prostředí, pracovní podmínky ve firmě a její vliv na společnost, celkové fungování firmy uvnitř i navenek a její transparentnost).

Automatizace plug and play bez programování

Automatizace má za úkol usnadnit život lidem pracujícím u obráběcích center a samozřejmě zvýšit produktivitu, zajistit stabilní kvalitu výroby a stát se úsporným opatřením v nelehkých časech. Pokud se podíváte správným směrem, nemusí být robotizace frézky nikterak nedosažitelná, i když jste třeba společnost skromnějších poměrů.

Přeceňujeme, nebo nedoceňujeme automatizaci?

Ať už se jedná o jakýkoli proces ve firmě nebo provozovně, má se často za to, že automatizace je tím zázračným nástrojem, který přinese efektivitu do jakékoli činnosti a jistě zajistí prosperitu a rozvoj firmy. Ano i ne, automatizace má své zastánce, ale i odpůrce, a argumenty obou táborů jsou podnětné.

Automatizace masové výroby vs. 3D tisk

Automatizace ve velkých společnostech je již dlouho běžnou praxí. V posledních letech se však setkáváme s poptávkou po automatizaci i v případech malosériové výroby a u dodavatelů s kusovou výrobou. Mnohdy jde o produkty s vysokou přidanou hodnotou, ať už to jsou výrobky pro automobilový průmysl, nebo pro maloodběratele.

Automatizace v malých a velkých firmách

Automatizace přináší velké výzvy a příležitosti, ale má i svá úskalí. Jedním z nich je otázka návratnosti investic. Velké a globální společnosti mají v tomto ohledu vždy velkou výhodu oproti malým, lokálním firmám. I menší firmy však mají šanci uspět.

Automatizace výroby a kontrola kvality

Stejně jako rostou požadavky na přesnější a efektivnější výrobní procesy, rostou velmi výrazně i požadavky na kvalitu produktu. Kvalita produktu je sledována již od prvopočátku, kdy je za každý vstupní komponent zodpovědný výrobce a dodavatel.

Vzdělávání a rozvoj v provozech s automatizací

Moderní technologie s sebou přinášejí nejen vyšší stupeň automatizace, ale i velkou míru zodpovědnosti v oblasti obsluhy těchto technologií a obecně v oblasti spolupráce mezi lidskou obsluhou a strojem. I když jsou moderní technologie na vysoké automatizované úrovní a např. koboty se dnes vyrábějí s cílem až osmiletého bezúdržbového provozu, je velmi důležité mít na paměti, že i ta nejlepší technologie na světě stále vyžaduje lidský faktor. Další díl seriálu Fenomén automatizace pojednává o přístupu ke vzdělávání a rozvoji zaměstnanců.

Technologie stárnou stejně jako lidé

V minulém díle našeho seriálu Fenomén automatizace jsme uvedli, jak správně vybrat dodavatele automatizace. S úspěšným výběrem dodavatele přichází na řadu výzkum a vývoj technologie, která bude zajišťovat výrobu, montáž a všeobecně zisky. Takové technologie jsou poptávány s úmyslem sloužit celé roky, jen ve výjimečných případech se staví linky pro krátkodobé použití. Automatizace má pomoci s dlouhodobými plány na celé dekády, ovšem mnohdy s sebou nese velké náklady a trvá roky, než si na sebe začne vydělávat. A pak se často začne hlásit ke slovu potřebná modernizace či únava materiálu vyžadující investice a náklady jsou opět velkým strašákem. S výběrem dodavatele jde v ruku v ruce i výběr partnera na dlouhá léta.

Reklama
Předplatné MM

Dostáváte vydání MM Průmyslového spektra občasně zdarma na základě vaší registrace? Nejste ještě členem naší velké strojařské rodiny? Změňte to a staňte se naším stálým čtenářem. 

Proč jsme nejlepší?

  • Autoři článků jsou špičkoví praktici a akademici 
  • Vysoký podíl redakčního obsahu
  • Úzká provázanost printového a on-line obsahu ve špičkové platformě a mnoho dalších benefitů....  již 30 let zkušeností s odbornou novinařinou
Předplatit