Strojové vidění ve službách výroby

The English version of this article can be found here:

MM: Jak byste pro naše čtenáře popsal, čím se vaše firma zabývá?

L. Brzobohatý: Firmu Sanezoo jsme s kolegou před více než šesti lety založili, abychom lidem ve výrobě pomohli automatizovat kontrolu kvality. Začali jsme s kamerovými systémy. Řekli jsme si, že je škoda, že lidé ve výrobě dělají nezáživnou manuální práci, náročnou na pozornost a náchylnou k chybám, jež mají negativní vliv na kvalitu výroby. Lidé totiž dělají chyby – neudrží pozornost, přemýšlejí o něčem jiném, mohou být indisponováni a podobně. Ani při vší snaze není v lidských silách takovou práci dělat soustředěně a bezchybně po dobu několika hodin, natož po celou směnu. Je zřejmé, že to je úkol pro roboty. Proto jsme začali vyvíjet systém pro vizuální kontrolu kvality, který pomáhá výrobním firmám tyto činnosti automatizovat. Hned na začátku jsme zjistili, že spousta úloh, jako je například vizuální kontrola, měření a porovnávání, je už vyřešena. Co však spolehlivě vyřešeno není, to je kontrola hůře skenovatelných (typicky lesklých) povrchů. Tomu se automatizační firmy bránily, protože kamerové systémy mají problémy s různě odraženým světlem a také s různými artefakty, které kamera vidí jako odchylku, i když jde o vizuální rozdíly, nikoli o funkční vady. Různé odlesky nebo odchylky v mikrostruktuře povrchu materiálu, které při určité kombinaci osvětlení a úhlu pohledu kamerový systém vyhodnotí jako změnu tvaru nebo třeba vryp, často způsobují falešnou identifikaci chyby. Stává se, že kontrolní systém vykazuje takové množství falešných zmetků, že firma musí nasadit další lidi, aby jeho výstupy kontrolovali. Takový kontrolní systém se stává zbytečným. Na tento problém jsme se soustředili a řešíme jej, a to nejen pomocí algoritmů umělé inteligence.

MM: V čem je váš systém pro vizuální kontrolu kvality lepší?

L. Brzobohatý: Naše přidaná hodnota je v tom, že náš systém dokáže zmíněné obtížně rozlišitelné odchylky adresovat a bezpečně rozpoznat vadné kusy od těch dobrých. Navrhli jsme speciální design svítidel pro různé materiály a pro různé typy výrobků. Naše svítidla jsou složena z většího počtu nezávisle řízených sekcí. Jejich postupnou aktivací systém napodobuje člověka, který si například lesklý předmět na světle různě natáčí, aby našel úhel pohledu, pod kterým dokáže vadu rozpoznat. My v rychlém sledu pořídíme několik snímků dílu s různými parametry nasvícení a tyto snímky analyzujeme.

Podobných případů je v různých oblastech výroby mnoho – jde například o díly vyrobené z lesklého kovu či plastu, o díly lakované nebo uložené v blistru. V takovýchto situacích si běžné kamerové systémy nedokážou poradit. Na trhu je spousta aplikací, pro které jsou naše řešení určena.

Když to řeknu stručně, řešíme problémy ve výrobě, které výrobní firmy dosud řešit nedokázaly. Jednak v oblasti kontroly kvality, jednak při vychystávání dílů do linek. Většinu ostatních operací se daří automatizovat, ale výstupní (nebo i průběžná) kontrola kvality a manipulace s díly zůstávají doménou ruční práce. Při těchto dvou činnostech se i moderní firmy s vysokou mírou automatizace výroby musí spoléhat na zaměstnance. Dokonce osmdesát procent lidí, kteří v moderní výrobě pracují, se zabývá právě těmito dvěma úkoly. A tyto činnosti my dokážeme automatizovat.

MM: Kdo jsou vaši klienti, do jakých firem svoje produkty dodáváte a jak se vám daří získávat nové zákazníky?

L. Brzobohatý: Naše systémy slouží zpravidla v automobilovém průmyslu, a to buď přímo v automobilkách, nebo u jejich dodavatelů kategorie Tier-1 a Tier-2. Naším typickým partnerem je systémový integrátor automatizace a robotizace nebo line builder – firma, která staví celé linky.

Navštěvujeme výrobní firmy a ptáme se jich, co je trápí. A když slyšíme, že něco nejde automatizovat, zpozorníme a nabízíme řešení. Tak nacházíme příležitosti a mezery na trhu. Zpočátku nás nikdo moc neznal, ale díky tomu, že už máme velmi přesvědčivé reference, se postupně dostáváme k dalším velkým a zajímavým zákazníkům, jimž můžeme rychle ukázat, že naše řešení u nich bude fungovat. Zákazníci bývají zpočátku skeptičtí, protože často mají zkušenosti se systémy, které nefungují tak dobře a jejich problém nevyřešily, byť šlo třeba o výrobky velkých firem z velmi vyspělých států. To je naše příležitost: Když zákazníkům ukážeme, že to může fungovat a že my dokážeme danou úlohu splnit, oni pak s námi chtějí spolupracovat.

MM: Co vlastně zákazníkům dodáváte, z čeho se váš systém vizuální kontroly skládá? Jde o nějaké zařízení, nebo je to hlavně software?

L. Brzobohatý: Naše výhoda spočívá v tom, že nejsme firma zaměřená jenom na hardware, ani pouze jenom na software, ani na umělou inteligenci, ale že všechny tyto tři oblasti propojujeme. Tím se lišíme od jiných řešení dostupných na trhu. Co se týče hardwaru, základy našeho systému vizuální kontroly tvoří kamera, již zmíněné speciální osvětlení a počítač. Nedílnou součástí je samozřejmě také software.

Data pro zpracování jsou generována našimi kamerami s využitím našich speciálních svítidel. Nějaké předzpracování dat může proběhnout už v kameře, ale veškerá data kamera předává do zařízení, takzvaného kontroléru pro strojové vidění (machine vision). To v našem případě může být serverový počítač s výkonnou grafickou kartou (GPU). V tomto počítači běží řada vysoce paralelizovaných algoritmů, jimiž data z kamer zpracováváme. Jde jednak o takzvanou inferenci neuronových sítí, jednak o analytické algoritmy strojového vidění. Všechno je to propojené. Nepoužíváme běžné neuronové sítě, jaké jsou známé z jiných aplikací počítačového vidění. Jde o naše proprietární sítě strojového učení, kterým říkáme multikanálové, protože zpracovávají více kanálů najednou.

MM: Co si pod těmi více kanály máme představit?

L. Brzobohatý: Zatímco běžná kamera generuje jeden kanál – v daném okamžiku jeden snímek složený z černých a bílých bodů –, náš systém v jednu chvíli zpracovává několik snímků pořízených při různém osvětlení, strukturu povrchu, snímky HDR (s velkým dynamickým rozsahem), snímky zbavené odlesků a snímky se zvýšeným rozlišením obrazu. Všechna tato data jakožto jednotlivé kanály vstupují současně jak do zpracování pomocí analytických algoritmů, tak do zpracování pomocí neuronových sítí. Všechny zmíněné komponenty pracují společně, a proto celý systém nazýváme Unity.

MM: To je zajisté obrovské množství dat, která je třeba rychle zpracovávat. Kde ty výpočty fyzicky probíhají? Kde jsou ty servery? Je to přímo u strojů, nebo v nějakém výpočetním středisku, anebo to může být třeba i v cloudu?

L. Brzobohatý: V produkčním provozu zpravidla všechno běží u klienta, a to na jeho žádost, protože on potřebuje nepřetržité zpracování dat z výroby nezávisle na tom, jestli mu funguje připojení k internetu či jiná infrastruktura. Dalším častým důvodem je obava z kybernetických útoků zvenčí nebo ze ztráty dat či jejich úniku. Velké korporace většinou mají striktní podmínky, pokud jde o možnost připojení zvenčí, a nelze si představit přenos terabajtů dat někam na vzdálený server a zpět, nehledě na extrémní nároky takového datového provozu na přenosovou kapacitu lokálních sítí i internetového připojení. V případě rychlých lokálních ethernetových sítí existuje možnost umístit naše kontroléry strojového vidění centrálně do podnikové serverovny, ale klient je zpravidla chce mít přímo u stroje, stejně jako třeba PLC nebo robotický kontrolér. My dokážeme klientovi vzdáleně pomoci například s nastavením, ale jeho data se nikam neposílají.

MM: Jak se váš systém naučí rozpoznávat vady?

L. Brzobohatý: Běžné systémy založené na umělé inteligenci (AI) pracují tak, že se učí na dobrých dílech. Vy jim předložíte tisíc dobrých dílů, AI se je naučí a při detekci jakékoli anomálie ohlásí vadu. Ale ve výrobě je příliš mnoho faktorů, které se v průběhu času mění (opotřebovávají se nástroje, mění se materiál apod.), a kontrolní systém je nutné často přenastavovat podle změněných podmínek. To stojí čas a peníze a po několikerém přenastavení uživatel zpravidla přestane systém používat.

Náš přístup je jiný. My chápeme obecné vlastnosti různých povrchů a kategorie jejich běžných vad a náš systém je už dopředu zná. Klient tedy nemusí připravovat sady dobrých a špatných výrobků, protože z hlediska kontroly kvality povrchu žádný výrobek není pro náš systém neznámý. Nám stačí vědět, která místa na povrchu daného výrobku máme kontrolovat a jakou závažnost jednotlivých typů vad lze v daném místě akceptovat, aby výrobek při kontrole obstál.

MM: To tedy byla vizuální kontrola kvality. V úvodu jste však zmiňoval také automatizaci vychystávání dílů. Jaké řešení pro tuto úlohu nabízíte?

L. Brzobohatý: Ano, ačkoli jsme se na začátku věnovali pouze kamerovým systémům a s roboty jsme neměli nic společného, brzy jsme zjistili, že strojové vidění a robotické manipulace spolu souvisejí a ve výrobě se uplatňují společně. Dává tedy smysl obě technologie spojit. A přitom lidé zabývající se strojovým viděním toho o robotech většinou moc nevědí a platí to i naopak. My oba tyto světy propojujeme a dáváme je do jedné platformy. Vyvinuli jsme produkt Grasp, což je ucelený systém pro 3D vybírání dílů z bedny, tzv. bin-picking, a pro jejich zakládání do linky nebo do stroje. Během manipulace s dílem může ve spolupráci se systémem Unity zároveň provést automatickou vizuální kontrolu kvality. Grasp používá pasivní stereovizi – dvojici kamer umístěných přímo na robotickém ramenu – a náš systém osvětlení, jenž eliminuje chyby způsobené odrazem světla od lesklých povrchů.

MM: Vývoj svých produktů a jejich výrobu soustředíte doma v České republice?

L. Brzobohatý: Ano, na vývoji se samozřejmě podílejí naši kolegové a také vyrábíme vše, co můžeme, v České republice. Vyrábíme přímo vlastní svítidla a kontroléry a plánujeme výrobu vlastních kamer pro modul Grasp. Nemáme však veškerou výrobu ve vlastní režii, protože mnoho komponentů zadáváme dodavatelsky. Například nemáme vlastní obrobnu, nevyrábíme vlastní desky plošných spojů ani sami neosazujeme komponenty. Tyto moduly odebíráme přednostně od osvědčených partnerů v České republice. Naše společnost má v současné době více než třicet spolupracovníků a v případě potřeby najímáme další externí specialisty na konkrétní úkoly.