POLITECHNIKA ŁÓDZKAWYDZIAŁ ELEKTROTECHNIKIELEKTRONIKI INFORMATYKI

I AUTOMATYKI

STRESZCZENIE ROZPRAWY DOKTORSKIEJ

Zaawansowane metodyteleoperacji chwytaków

wielopalczastychz wykorzystaniem

zewnętrznych sensorów

Autor:Igor Zubrycki

Promotor: dr hab. inż. Grzegorz Granosik, prof. PŁ

Łódź, 2018

Spis treści

1 Wprowadzenie 21.1 Cele pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.1.1 Problemy badawcze oraz tezy pracy . . . . . . . . . . . 41.2 Osiągnięcia naukowe i technologiczne . . . . . . . . . . . . . . 51.3 Struktura pracy . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 Teleoperacja chwytaków wielopalczastych – przegląd zagad-nień 92.1 Zagadnienia teleoperacji w zadaniach ratowniczych . . . . . . 10

3 Teleoperacja z wykorzystaniem rękawicy sensorycznej i me-tod rozpoznawania charakteru chwytu 13

4 Wykorzystanie zintegrowanych systemów wizyjnych przy te-leoperacji chwytaków 16

5 Urządzenie do dostarczania sprzężenia kinestetycznego wy-korzystujące zjawisko jammingu 18

6 Klasyfikacja sztywności dłoni za pomocą mechanomiografii 22

7 Implementacja systemu teleoperacji na stanowisku Kuka KU-BE 247.1 Architektura i implementacja teleoperacji chwytakiem wielo-

palczastym . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

8 Podsumowanie 298.1 Podsumowanie i główne wnioski . . . . . . . . . . . . . . . . . 298.2 Realizacja tez pracy . . . . . . . . . . . . . . . . . . . . . . . 318.3 Kierunki rozwoju . . . . . . . . . . . . . . . . . . . . . . . . . 32

1

Rozdział 1

Wprowadzenie

Tematem niniejszej rozprawy są zaawansowane metody teleoperacji chwy-taków wielopalczastych montowanych na mobilnych manipulatorach robotówinspekcyjnych, poszukiwawczych i ratowniczych.

Teleoperacja, od greckiego tele – zdalne lub na dystans oraz łacińskiegooperatio – operacja czy działanie oznacza wykonywanie działania na dystans.Historia teleoperacji rozpoczyna się więc od historycznych urządzeń pozwala-jących człowiekowi sięgać w niebezpieczne miejsca – szczypiec pozwalającychprzenosić rozżarzone węgła czy prętów pozwalających zrzucać owoce z drzew.[18]. Nowoczesna teleoperacja pozwalająca na manipulację związana jest zwykorzystaniem siłowników i serwomechanizmów zastępujących poprzedniowykorzystywane cięgna i taśmy mechaniczne oraz zastosowaniem kamer dodostarczania podglądu dla operatora, są to lata 50 XX wieku [16]. Rola tele-operacji przy sterowaniu robotów ratowniczo-eksploracyjnych nie maleje bozadanie to wymaga zdolności poznawczych i inteligencji człowieka [12], copodkreślają słowa Don Norman’a „Robotycy automatyzują to co jest prostea pozostawiają resztę ludziom” (Roboticist automate what is easy and leavethe rest to the human) [11]. Z racji nieznanego i niebezpiecznego środowiskapracy robota, operatorzy muszą nieprzerwanie kontrolować w jakim stanieznajduje się robot i czy jego działanie odpowiada zadawanym komendom.Operatorzy robotów mogą zaobserwować czy nieścisłości pomiędzy intencjąa pracą robota są wynikiem awarii lub przeszkody i mogą podjąć decyzję oprzerwaniu lub skorygowaniu misji.

Celem misji teleoperowanego robota może być zadanie telemanipulacji ta-kie jak przesunięcie przeszkody, pobranie próbki czy udzielenie pomocy oso-bom poszkodowanym. Roboty ratownicze są wyposażone w manipulatory zchwytakami, aby mogły wykonywać tak złożone zadania. Teleoperacja chwy-taków w zadaniach ratowniczych jest obecnie bardzo dużym wyzwaniem, zpowodu konieczności pracy na podstawie obrazu z kamer, który może być

2

bardzo słabej jakości, jak i pracy z wykorzystaniem nieintuicyjnych interfej-sów.

Autorzy “Disaster robotics” zauważają, że współczesne interfejsy do kon-trolowania robotów ratunkowych są najczęściej bardzo proste (klawiatury,gamepady) i nie do końca zbudowane zgodnie ze stanem wiedzy na tematintuicyjnych interfejsów i interakcji człowiek-maszyna [13]. Przez to mogąprzyczyniać się do zwiększenia ilości błędów, spowalniać pracę czy znacz-nie zwiększać obciążenie umysłowe operatorów. Interfejsy mogą mieć jeszczewiększy wpływ na sukces telemanipulacji, gdzie robot wchodzi w kontakt zotoczeniem. W przypadku sterowania chwytakiem wielopalczastym operatormusiałby równocześnie sterować wszystkimi jego palcami, gdyż podczas pra-cy w sposób sekwencyjny (sekwencja ruchów pojedynczych złączy) następujeograniczenie jego zręczności.

Chwytaki wielopalczaste, szczególnie wyposażone w czujniki taktylne lubczujniki siły posiadają potencjał do zastosowania w zadaniach ratowniczych.Związane jest to szczególnie ze zręcznością (dexterity) takich chwytaków awięc zdolnością do bardziej zaawansowanej interakcji z chwytanymi obiekta-mi niż przy zastosowaniu chwytaków prostych. Informacja przekazywana zczujników taktylnych lub siłowych może zaś pozwalać operatorowi na więk-szą delikatność i pewność pracy, jeśli zostanie ona przekazana we właściwysposób, np. za pomocą haptycznego sprzężenia zwrotnego.

W konkursie robotów ratowniczo-eksploracyjnych DARPA Robotics Chal-lenge (2012-2015) większość zespołów posiadało wielopalczaste, zręczne chwy-taki gdyż pozwalały one na wykonywanie zaawansowanych zadań manipula-cyjnych, takich jak wykorzystywanie ręcznych narzędzi (przeznaczonych dlaczłowieka), otwieranie drzwi, prowadzenie samochodu czy zamykanie zawo-rów [21]. Nie były to jednak chwytaki antropomorficzne to znaczy wygląda-jące i zachowujące się jak ludzka dłoń, tylko chwytaki takie jak trójpalczastychwytak Robotiq, charakteryzujący się dużą siłą ścisku i zwiększoną odpor-nością [2]. Ten wybór ma jednak ważne konsekwencje, gdyż istnieją stosunko-wo proste metody intuicyjnego sterowania chwytakami antropomorficznymi,poprzez śledzenie dłoni operatora, natomiast w przypadku chwytaka o in-nej strukturze kinematycznej, musi zostać stworzona zależność (mapowanie)łącząca ruch dłoni operatora z ruchem chwytaka.

W pracy skupiono się na określeniu metod, które mają największy poten-cjał poprawy interfejsów teleoperatorów chwytaków w zadaniach ratowniczo-eksploracyjych, kierując się wskazaniami z dziedziny human-robot interactioni biorąc pod uwagę unikalne środowisko ich pracy. Istnieje powód dlaczegoobecne interfejsy są często prostą skrzynką z zestawem guzików i pokręteł,podłączoną do przenośnego ekranu. Operatorzy, chociaż nie bezpośredniow zagrożeniu, pracują blisko obszaru katastrofy w warunkach terenowych.

3

Ich sprzęt jest częstokrotnie przestawiany, a oni sami mogą być zmuszenido ewakuacji jeśli warunki bezpieczeństwa ulegną pogorszeniu. Dodatkowo,często pracują w wyposażeniu ochronnym (rękawice, hełmy, maski) co możezmniejszać ich pole widzenia i ograniczać zdolność precyzyjnego ruchu. Dlaprzykładu, zaawansowany egzoszkielet może dawać bardzo dobrą zdolność dośledzenia ruchu ciała i sprzężenie zwrotne, jednak może nie dać się założyćna odzież ochronną i może zwiększać zagrożenie dla operatora w warunkachewakuacji gdyż będzie musiał on zostać z operatora zdjęty.

Powstały w wyniku niniejszej pracy zestaw ulepszeń dla teleoperacji, za-implementowany na stanowisku Kuka KUBE w Politechnice Łódzkiej, de-monstruje system z lekkimi, przenośnymi i niedrogimi urządzeniami wyko-rzystującymi rozwiązania z robotyki miękkiej, sensoryki i uczenia maszyno-wego.

1.1 Cele pracyCelem pracy było stworzenie zintegrowanego systemu do teleoperacji chwy-

taków wielopalczastych, zaprojektowanego dla operatorów robotów ratowni-czych i modyfikowalnego do ich bieżących potrzeb.

Chociaż idea konstrukcji intuicyjnych interfejsów dla teleoperacji chwy-taków wielopalczastych była już wcześniej badana, to dotychczas ta klasaurządzeń nie została wykorzystana w rzeczywistych zadaniach ratowniczych.W pracy dokonano analizy literaturowej potrzeb operatorów manipulatoróww zadaniach ratowniczych w celu doboru kierunku badań i poprawy poszcze-gólnych elementów systemu teleoperacji robotów ratowniczych. Osiągnięciecelu pracy wymagało rozwiązania kilku problemów badawczych, zaś uzyska-ne efekty naukowe i rozwiązania technologiczne zostały ujęte w postaci trzechtez.

1.1.1 Problemy badawcze oraz tezy pracyW pracy podjęto następujące problemu badawcze:1. W jaki sposób operator chwytaka wielopalczastego mógłby intuicyjnie

kierować chwytakiem o budowie kinematycznej innej niż jego własnadłoń i przystosowywać pracę chwytaka do swoich potrzeb?

2. W jaki sposób dostępne zintegrowane systemy wizyjne mogłyby wes-przeć pracę operatora, przy uwzględnieniu ich ograniczeń?

3. W jaki sposób można wykorzystać postępy w miękiej robotyce do udo-stępnienia sprzężenia haptycznego przy teleoperacji?

4

W kolejnych rozdziałach pracy przedstawiono metody usprawnienia sys-temu teleoperacji. Sformułowano następujące tezy niniejszej rozprawy:

• Wykorzystanie uczenia maszynowego pozwala na stworzenieskutecznych algorytmów mapowania ruchów ludzkiej dłonina ruchy chwytaka wielopalczastego o kinematyce nieantro-pomorficznej, dając dodatkową możliwość adaptacji do okre-ślonych potrzeb.

• Zjawisko jammingu umożliwia skonstruowanie pasywnego sys-temu do kinestetycznego sprzężenia zwrotnego w procesie te-leoperacji chwytaków wielopalczastych.

• Zastosowanie sensorów mechanomiograficznych i zintegrowa-nych systemów wizyjnych rozszerza możliwość teleoperacji chwy-taków wielopalczastych poprzez umożliwienie kontroli sztyw-ności chwytaka oraz bezprzewodowe śledzenie pozycji dłonioperatora.

1.2 Osiągnięcia naukowe i technologicznePraca prezentuje badania nakierowane na stworzenie lepszych niż obec-

nie dostępne narzędzi wspomagających teleoperację chwytaków wielopalcza-stych. Jej wkład w dziedzinę robotyki zawiera się w dwóch obszarach: popierwsze prezentuje zestaw nowatorskich narzędzi i algorytmów poprawiają-cych poszczególne elementy systemu teleoperacji, po drugie dostarcza danychi analiz porównujących już dostępne narzędzia i algorytmy, tłumacząc ichmiejsce w nowoczesnej teleoperacji.

Wkład technicznyGłównym wkładem technicznym pracy jest:

• Wprowadzenie dwustopniowej metody przekładania (mapowania) pozydłoni operatora w rękawicy sensorycznej na pozę nieantropomorficzne-go chwytaka wielopalczastego. Metoda wykorzystuje uczenie maszy-nowe pozwalając na adaptację elementów mapowania w zależności odpotrzeb. Dwustopniowość metody – składającej się z rozpoznawania ty-pu chwytu (kategoryzację) oraz przekładanie dla określonego chwytu(regresję) umożliwia przeprowadzenie procedury uczenia jednego lubdrugiego etapu bezpośrednio przez operatora w przystępny sposób.

• Opracowanie nowatorskiego urządzenia pozwalającego na dostarczeniekinestetycznego sprzężenia zwrotnego z wykorzystaniem tak zjawiska

5

jammingu. Zaprojektowane urządzenie jest w porównaniu do istnie-jących urządzeń tej klasy lżejsze, łatwiej oddaje wrażenie chwytaniarzeczywistego obiektu i posiada prostą budowę.

• Opis wykorzystania prostych urządzeń opartych na mechanomiografiido określania sztywności dłoni. Mechanomiografia, wykorzystuje me-chaniczne wibracje mięśni do określania ich stanu. Urządzenia pozwala-ją na zbieranie sygnału mechanomiograficznego z wykorzystaniem sondwykonanych metodą druku addytywnego (lub form do odlewów siliko-nowych wykonanych tą metodą) oraz mikrofonu elektretowego połą-czonego z kartą audio komputera klasy PC. Zastosowane przetwarzaniezebranych danych oraz algorytm klasyfikacji daje dużą pewność przyokreślaniu sztywności dłoni i jest mało wrażliwy na przesuwanie sięsondy po ramieniu.

• Opis sposobów aplikacji zintegrowanych systemów wizyjnych do wspar-cia procesu teleoperacji. Zastosowano makietę chwytaka wielopalczaste-go śledzoną przez system wizyjny. Wykorzystano także śledzenie poło-żenia dłoni w połączeniu ze śledzeniem pozy dłoni za pomocą rękawicysensorycznej oraz przełączania stanów układu do teleoperacji za pomo-cą gestów.

• Opis implementacji regulatora sztywności opartego na danych z czuj-ników taktylnych. Wyprowadzono odpowiednie równania kinematyki istatyki pozwalające na przeliczanie odczytów z dyskretnych macierzyczujnika na momenty w złączach.

Wkład naukowyGłównym wkładem naukowym pracy jest:

• Analiza aplikowalności algorytmów uczenia maszynowego do zadań roz-poznawania chwytu i przekładania pozy (mapowania); skonstruowanieprocedury uczenia chwytów i analiza właściwości opracowanego sche-matu mapowania pod względem szybkości i parametrów walidacyjnych.

• Analiza zastosowania różnych materiałów do konstrukcji urządzeniado dostarczania kinestetycznego sprzężenia zwrotnego z wykorzysty-waniem zjawiska jammingu; analiza właściwości statycznych i dyna-micznych urządzenia.

• Analiza właściwości sygnału mechanomiograficznego pod kątem okre-ślania sztywności dłoni; porównanie algorytmów analizy danych i ucze-nia maszynowego do tego zadania.

6

• Teoretyczne opracowanie listy ważnych cech urządzeń do wsparcia te-leoperacji chwytaków wielopaczastych do zastosowania przy zadaniachratowniczych pod kątem interakcji człowiek-robot (ang. human-robotinteraction, HRI)

1.3 Struktura pracyW pracy opisano rozwiązania bazujące na różnych dziedzinach nauki i mo-

gące poprawić proces teleoperacji chwytaków wielopalczastych. W pierwszejczęści pracy przeprowadzono analizę aktualnego stanu wiedzy na temat chwy-taków wielopalczastych, interfejsów teleoperacji oraz zagadnień HRI związa-nych z teleoperacją pod kątem określenia kierunków poprawy dotychczaso-wych urządzeń.

W kolejnych rozdziałach opisano przeprowadzone analizy i zaproponowa-ne rozwiązania poprawiające system teleoperacji. Ostatni rozdział poświęco-ny jest opisowi implementacji schematu teleoperacji i integracji urządzeń nastanowisku Kuka KUBE (Politechnika Łódzka) z wykorzystaniem robotówKuka iiwa oraz chwytaka wielopalczastego Schunk SDH-2.

Praca podzielona jest na 8 rozdziałów:Rozdział 1 zawiera motywację i wprowadzenie do tematyki pracy, opis

wkładu technicznego i badawczego oraz tezy pracy.Rozdział 2 zawiera wprowadzenie do zagadnień teleoperacji chwytaków

zręcznych. Opisujemy sens zastosowania w zadaniach ratowniczych chwyta-ków wielopalczastych, w szczególności wyposażonych w czujniki taktylne lubsiłowe. Opisano możliwe schematy teleoperacji oraz urządzenia dostępne dotakich zadań. W oparciu o literaturę przedmiotu omówiono konieczne i po-żądane cechy systemu teleoperacji manipulatorów i chwytaków w zadaniachratowniczych.

Rozdział 3 opisuje projekt, konstrukcję i badania rękawicy sensorycznej(Sensor Glove), oraz metodę wykorzystania rękawicy do teleoperacji chwy-taka wielopalczastego. Użycie pozy własnej dłoni przez operatora jest intu-icyjnym sposobem teleoperacji, jednak wymaga odpowiedniego mapowaniazbieranych informacji przed zadaniem pozy chwytakowi o budowie niż ludzkadłoń. Przedstawiono schemat mapowania oparty na uczeniu maszynowym ianalizę zastosowanych algorytmów.

Rozdział 4 opisuje ewaluację zastosowania zintegrowanych systemów wi-zyjnych do wsparcia teleoperacji chwytaków wielopalczastych. Porównanocechy dwóch komercyjnie dostępnych systemów – Leap Motion oraz ThreeGears. Zaproponowano różne sposoby ich zastosowania do teleoperacji, szcze-gólnie do zadawania pozycji chwytaka oraz sterowania gestami.

7

Rozdział 5 opisuje zastosowanie zjawiska jammingu wykorzystywanego wmiękkiej robotyce do skonstruowania urządzenia dostarczającego kinestetycz-nego sprzężenia zwrotnego dla teleoperatora. Opisano zjawisko jammingu,zbadano zastosowanie różnych materiałów jako wypełnienia; przedstawionodwa urządzenia “jamming pads” oraz “jamming tubes”. Opisano ich dyna-miczne i statyczne właściwości oraz porównano z dostępnymi rozwiązaniami.

Rozdział 6 prezentuje ewaluację prostej sondy mechanomiograficznej dookreślania sztywności dłoni. Mechanomiografia stanowi atrakcyjną alternaty-wę do elektromiografii, ponieważ może być bardziej odporna na zakłócenia (wpołożeniu sondy, impedancji skóry). Z drugiej strony wymaga ona zaawan-sowanego przetwarzania sygnałów. Przedstawiono algorytmy pozwalające naokreślenie sztywności dłoni i porównanie ich właściwości. W efekcie pracy po-wstał schemat pozwalający na klasyfikację z dużą precyzją (>0,9) sztywnościdłoni, przy zastosowaniu prostych urządzeń.

Rozdział 7 opisuje schemat teleoperacji manipulatora Kuka iiwa orazchwytaka wielopalczastego Schunk SDH-2 na stanowisku Kuka KUBE orazintegrację urządzeń opisanych w poprzednich rozdziałach. Opisano działanieczujnika taktylnego chwytaka Schunk SDH-2. Przeanalizowano kinematykę iwyprowadzono równania statyki pozwalające na przeliczanie zmierzonych siłdziałających na komórki czujnika taktylnego na momenty w złączach pozwa-lające na wyprowadzenie regulatora sztywności działającego na zmiennychzłączowych. Ponadto, opisano implementację schematu teleoperacji z wyko-rzystaniem systemu ROS (ang. Robot Operating System).

W rozdziale 8 znajduje się podsumowanie pracy w kontekście postawio-nych celów badawczych oraz tez. Opisano potencjalne kierunki rozwoju pro-jektu.

8

Rozdział 2

Teleoperacja chwytakówwielopalczastych – przeglądzagadnień

W rozdziale przedstawiono przegląd współczesnych zagadnień teleopera-cji oraz projektowania chwytaków wielopalczastych pod kątem znalezieniamożliwości ulepszenia ich teleoperacji przy zadaniach ratowniczych.

Konstrukcje przypominające współczesne chwytaki wielopalczaste wy-przedzają powstanie robotyki gdyż pierwsze zastosowania podobnego typuurządzeń miały miejsce w protetyce, na początku XX w. [1]. Chwytaki wie-lopalczaste mogą mieć formę odwzorowującą formę ludzkiej ręki – mówimywtedy o antropomorfii. Mogą mieć też zbliżoną do ludzkiej, wysoką funk-cjonalność, głównie rozumianą jako zręczność (ang. dexterity), a więc zdol-ność do chwytania w więcej niż jeden sposób oraz możliwość operowania jużuchwyconym obiektem, wewnątrz dłoni.

Oprócz podziału na chwytaki nieantropomorficzne i antropomorficzneoraz ze względu na stopień zręczności, ważnym kryterium podziału chwy-taków jest liczba ich stopni swobody oraz ilość parametrów sterowania. Gdyliczba paramentów sterowania chwytaka jest mniejsza od liczby stopni swobo-dy chwytaka, wówczas jest on określany jako “underactuated”. Jest to ważnekryterium, ponieważ w przypadku ludzkiej dłoni liczba sygnałów płynących zmózgu jest także niższa niż ilość stopni swobody dłoni (tzw. synergie dłoni)[8]. Mimo, że układy mechaniczne typu “underactuated” mogą być dyna-miczne i określone zachowanie realizuje się poprzez odpowiednie sterowaniew czasie, to w przypadku chwytaków najczęściej sprzęga się ze sobą stopnieswobody elementami elastycznymi [1]. Chwytaki są projektowane w taki spo-sób, aby w czasie chwytania obiektów o różnym kształcie ruch w kolejnychzłączach pozwalał na bardziej stabilny chwyt bez konieczności komplikowania

9

sterowania.W przypadku chwytaków wielopalczastych nieposiadających elementów

elastycznych, zaciskanie się palców chwytaka na obiekcie w celu otrzyma-nia stabilnego chwytu realizowane jest przez kontroler wykorzystujący ze-wnętrzne lub wewnętrzne czujniki siły lub momentów. Wielopalczaste chwy-taki mogą być wyposażone w różnego typu czujniki taktylne, począwszy odprzycisków, poprzez czujniki optyczne aż po macierze czujników taktylnychpozwalające na określenie sił, jak i estymację kształtu łapanego obiektu.

2.1 Zagadnienia teleoperacji w zadaniach ra-towniczych

Teleoperacja, rozumiana jako sterowanie na odległość, jest najczęściej sto-sowanym trybem sterowania robotów ratowniczych [12].

Wymóg udziału człowieka przy teleoperacji powoduje, że konstruktorzyurządzeń teleoperowanych muszą poświęcać dużą uwagę czynnikom ludzkimzwiązanym z takimi elementami procesu jak: przetwarzanie i prezentacja in-formacji, świadomość sytuacyjna i wysiłek umysłowy, biomechanika i ergo-nomia oraz podejmowanie decyzji i zagadnienia socjalne [17]. Wpływ takszerokiego zakresu zagadnień na pracę teleoperatora z systemem powodu-je, że projektowanie takich systemów jest trudne, a czynniki ludzkie są wgraportów najczęstszą przyczyną niepowodzeń misji ratowniczych z udziałemrobotów.

Przy podjęciu próby stworzenia interfejsu dla zadania ratowniczego, na-leży wziąć pod uwagę szczególne potrzeby zadań ratowniczych. Operatorzyczęsto pracują bezpośrednio na miejscu katastrofy, przy bardzo stresującychzadaniach, często bez odpoczynku i snu. Dodatkowo, często muszą pracowaćw odzieży ochronnej i przy zastosowaniu innych środków ochrony (Rys. 2.1.To wszystko stanowi istotne ograniczenie pod względem ergonomii pracy iwspółpracy człowiek-robot.

W pracy wyróżniono najważniejsze właściwości interfejsów: podstawowązdolność wykorzystania kontrolowalnych mechanizmów robota, łatwość ob-sługi, przenośność, bezpieczeństwo pracy, niezawodność, zdolność do wyko-rzystania bez długotrwałego treningu (intuicyjność), ergonomia oraz koszt.

Istnieją także ogólne heurystyczne zalecenia co do tworzenia interfejsów,w szczególności oparte na pracach Scheridana [19] oraz Nielsena [15]. Pra-ce te zostały wielokrotnie analizowane pod kątem interakcji człowiek-robot.Ujednolicenie tych heurystyk na potrzeby tworzenia interfejsów dla robo-tów zaproponowano w [4]: dostateczne prezentowanie informacji, widoczność

10

(a) Działanie ratownicze zwykorzystaniem robota-węża[7]. Źródło: Human-RobotInformatics Laboratory https://www.japantimes.co.jp

(b) Tymczasowe stanowisko kierowania akcją wczasie katrastrofy nuklearnej Fukushima Daiichi.Źródło: Tepco Co. http://photo.tepco.co.jp[9].

Rysunek 2.1: Środowisko pracy operatorów robotów w zadaniachratowniczo-eksploracyjnych.

statusu systemu, odpowiednie prezentowanie informacji, wykorzystanie na-turalnych sygnałów, synteza systemu i interfejsu, wsparcie użytkownika wrozpoznawaniu, diagnozowaniu oraz wychodzeniu z błędów, elastyczność in-terakcji oraz estetyczny i minimalistyczny projekt (ang. design).

Dostępne interfejsy do teloperacji manipulatorów oraz chwytaków majązróżnicowane pochodzenie i właściwości. W przypadku komercyjnie dostęp-nych urządzeń są to zazwyczaj proste pokrętła i dżojstiki połączone z monito-rem prezentującym obraz z kamery. Istnieje trend wykorzystania kontrolerówpochodzących z konsol do gier (ang. gamepad) z uwagi na ich powszechnośći znajomość wśród młodych operatorów, a także większą ergonomię. Częstostosowane w przypadku sterowania robotów latających jest wykorzystywaniewyświetlaczy w formie hełmu wideo, w którym obraz z kamery prezentowanyjest na okularach.

Urządzenia klasy master-slave, tj wykorzystujące parę urządzeń gdzie jed-no pełni rolę sterowniczą master a drugie jest urządzeniem wykonawczym sla-ve. Urządzenia master mogą mieć postać manipulatorów pozwalających nakontrolę podobnej ilości stopni swobody co manipulator slave poprzez ma-nipulowanie konfiguracją mastera. Takie interfejsy mogą być wyposażone wsprzężenie haptyczne poprzez aktywne kontrolowanie mastera pod wpływemsił działających na robota wykonawczego.

Większość innych klas interfejsów do kontroli chwytaków i manipulato-

11

rów ma charakter badawczy. Mogą to być egzoszkielety, gdzie manipulator– master jest przez operatora noszony na ramieniu lub ręce. Szerszą klasęinterfejsów wykorzystujących ruch ciała stanowią naturalne interfejsy użyt-kownika (ang. natural user interfaces, NUI), dzięki którym ruch ciała możebyć śledzony przez skanery 3D (kinect, leap motion) lub wykorzystywane mo-gą być inne sensory zamontowane do ciała operatora lub noszone na ubraniu.

12

Rozdział 3

Teleoperacja z wykorzystaniemrękawicy sensorycznej i metodrozpoznawania charakteruchwytu

W rozdziale przedstawiono rozwiązanie prostej rękawicy sensorycznej orazalgorytm przekładający otrzymane dane na pozę chwytaka wielopalczastego.Wykorzystanie rękawicy sensorycznej do przetwarzanie pozy dłoni na war-tości położenia złącz chwytaka jest intuicyjną metodą teleoperacji. Niemniejjednak, znajduje najlepsze zastosowanie w przypadku chwytaka o budowiepodobnej do ludzkiej dłoni (budowie antropomorficznej) [5]. W tym rozdzia-le omówiono w jaki sposób z wykorzystaniem uczenia maszynowego możnadokonać przekładania (mapowania) dla wielopalczastych, ale nie antropo-morficznych chwytaków. Badania przeprowadzono na przykładzie chwytakaSchunk SHD-2.

Do określania pozy dłoni przygotowano prostą rękawicę sensoryczną opar-tą na ogólnie dostępnych czujnikach ugięcia i pokazaną na Rys. 3.1. Doko-nano badań czujników sensorycznych za pomocą zbudowanej do tego celuaparatury, przeanalizowano ich odpowiedź statyczną i dynamiczną.

Przygotowana rękawica została wykorzystana przy pozyskiwaniu danychsłużących do klasyfikacji chwytów oraz ich późniejszego mapowania na pozędłoni. Do przygotowania danych do klasyfikacji chwytów wykorzystano danezebrane w badaniach chwytów siedmiu użytkowników. W pierwszym badaniuużytkownicy wykorzystywali 5 klasycznych chwytów (według nomenklaturyNapiera [14]) mając nałożoną rękawicę sensoryczną. Wielokrotnie chwytaliprzedmioty codziennego użytku, a otrzymane w wyniku tego wektory posłu-żyły do przygotowania systemu rozpoznawania chwytów.

13

Rysunek 3.1: Rozmieszczenie czujników ugięcia na rękawicy sensorycznej: a)wewnętrzna rękawica góra, b)wewnętrzna rękawica, dół c) zewnętrznarękawica, czujniki ucisku. Fotografia M. Fraszczyński.

W rozdziale przeanalizowano działanie różnych dostępnych algorytmówklasyfikacji (Support Vector Machines (SVM), Forest of Random Trees, SieciNeuronowe) pod kątem ich zdolności do klasyfikacji oraz szybkości działania.Algorytmy miały podobną zdolność klasyfikacji, na poziomie 79% dla Forestof Random Trees, 82% dla SVM i 81% Sieci Neuronowych, jednak znaczącoróżniły się szybkością działania 2.56 ms dla Forest of Random Trees oraz 4ms dla Sieci Neuronowej przy 79 us dla SVM.

W drugim eksperymencie użytkownicy wykorzystywali zadany chwyt doustawienia pozy chwytaka wielopalczastego, aby odpowiadał ich oczekiwa-niom przy określonej pozie dłoni.

W przypadku każdego z chwytów użytkownicy ustawiali rękę w kilkuna-stu pozach, które odpowiadały rozwartej lub ściśniętej dłoni. W czasie eks-perymentu badani mogli obserwować zmiany w mapowaniu (przekładaniu)pozy dłoni na pozę chwytaka. Kiedy mapowanie odpowiadało ich oczekiwa-niom, kończyli eksperyment.

W zależności od kategorii nadawanej pozie dłoni stosowanie dyskretnegoprzełączania macierzy mapowań skutkowałoby gwałtownymi przełączeniamiw przypadku pozy dłoni, która jest rozpoznawana przez algorytm i znajdujesię na skraju danej kategorii.

Zamiast dyskretnego przełączania wykorzystano wartość prawdopodo-bieństwa, a w przypadku SVM odległość punktu od hiperpłaszczyzny decyzji,przeliczoną na wartość posiadającą cechy podobne do prawdopodobieństwa.Obliczone prawdopodobieństwo wykorzystano przy obliczaniu wektora za-dań położeń chwytaka jako średniej ważonej wektorów zadań dla każdychz mapowań, gdzie wagami jest pewność przyporządkowania do danej klasy.

14

Pozwoliło to na upłynnienie zachowań chwytaka, jak też wykorzystanie jegocech, trudnych do konwencjonalnego opisania, takich jak zdolność do obrotupalców.

W efekcie badań powstała dwustopniowa procedura pozwalająca na ła-twe trenowanie oraz kalibrację systemu i przystosowywanie do konkretnychpotrzeb zadania.

15

Rozdział 4

Wykorzystanie zintegrowanychsystemów wizyjnych przyteleoperacji chwytaków

W rozdziale opisano w jaki sposób zintegrowane systemy wizyjne mogąbyć stosowane przy tworzeniu interfejsów dla chwytaków zręcznych. Przepro-wadzono porównanie urządzeń Leap Motion oraz Three Gears. Zaprezento-wano oparte na tych urządzeniach rozwiązania teleoperacji.

Obydwa badane urządzenia posiadają zdolność śledzenia pozycji dłoni,podawania ich pozy, jak i rozpoznawania gestów dłoni. W porównaniu doThree Gears, LeapMotion charakteryzuje się lepszą precyzją śledzenia pozy-cji, dokumentacją oraz większą popularnością.

Zaproponowano kilka form wsparcia teleoperacji za pomocą systemu wi-zyjnego. Jedną z nich jest Visual gripper, który jest oprogramowaniem po-zwalającym na teleoperowanie chwytakiem za pomocą manipulacji makietąchwytaka. Makieta chwytaka posiada formę, której fragmenty (cylindryczneelementy) można w przystępny sposób śledzić wykorzystując oprogramowa-nie Leap Motion. Następnie z podanych przez urządzenie współrzędnych 6Dobu końcówek makiety wyliczono zadawane położenie chwytaka oraz kąt roz-warcia szczęk.

Przeprowadzono ewaluację zastosowania badanych systemów wizyjnychdo bezpośredniego zadawania położeń złącz chwytaka. Niestety, obydwa urzą-dzenia podawały położenia złącz obarczone bardzo dużym błędem. Przesło-nięcie fragmentów palców względem kamery urządzenia skutkowało szczegól-nie dużymi i nieregularnymi błędami określenia ugięcia palców. Stąd wyko-rzystywano informację tylko o położeniu i orientacji samej dłoni. Zapropono-wano aby informacja o pozycji dłoni z systemu wizyjnego była uzupełnianiainformacją o pozie dłoni uzyskiwanej z rękawicy sensorycznej.

16

(a) System Three Gearsoparty o skaner RGB-DKinect

(b) Urządzenie Leap Motion działające zwykorzystaniem stereowizji. Źródło: SparkFunhttps://learn.sparkfun.com/tutorials/leap-motion-teardown

Rysunek 4.1: Zintegrowane systemy wizyjne do śledzenia dłoni oraz kontroliza pomocą gestów

Zbadano także zastosowanie gestów w teleoperacji. W przypadku zastoso-wania systemu wizyjnego do teleoperacji wykorzystanie gestów może popra-wić wygodę teleoperacji. Operator powinien mieć łatwy sposób na odłączenieśledzenia oraz umożliwienie pracy tylko części systemu. Opisano, w jaki spo-sób rozpoznawanie gestów wbudowane w zintegrowane systemy wizyjne możezostać wykorzystywane do przełączania trybów pracy teleoperacji chwytakawielopalczastego.

W efekcie połączenia odczytu informacji z rękawicy sensorycznej orazgestów, pozycji i orientacji dłoni ( z systemu wizyjnego) powstał systemhybrydowy. Jego zaletą w porównianiu do obecnie stosowanych systemów jestintuicyjna kontrola pozy i pozycji chwytaka jak i możliwość pracy operatoraw odzieży ochronnej, gdyż nie musi on korzystać z klawiatury ani z joystickatylko wykonywać naturalne ruchów dłoni i gesty teleoperujące urządzenie.

17

Rozdział 5

Urządzenie do dostarczaniasprzężenia kinestetycznegowykorzystujące zjawiskojammingu

W rozdziale zaprezentowano opis nowego rozwiązana do dostarczaniasprzężenia haptycznego w formie zdolnego do noszenia (wearable) miękkie-go urządzenia, które uzupełnia rękawicę sensoryczną podczas teleoperacji.Przedstawiono dwa alternatywne rozwiązania jamming tubes or jamming padsoraz ich system sterowania.

Urządzenia wykorzystują zjawisko jammingu do zmiany sztywność swo-ich elementów poprzez modyfikację ciśnienia. Zjawisko jammingu występujegdy granularny materiał taki jak piasek czy kawa, który w odpowiednichwarunkach posiada właściwości podobne do cieczy (łatwość zmiany kształtu,bardzo niska sztywność), przy niewielkiej zmianie objętości zaczyna przy-pominać bardziej ciało stałe (zdolność do utrzymywania kształtu) [3]. Tozjawisko może być wywołane, poprzez zamykanie granularnego materiału welastycznych membranach i przepompowywanie płynu (powietrza lub oleju),w którym jest zawieszony granulat. Wypompowanie płynu powoduje różnicęciśnienia pomiędzy wnętrzem a otoczeniem membrany, co wymusza kurczeniesię membrany uciskającej na granulat. Wpływa to na zdolność granulek doprzemieszczania się wewnątrz membrany, a przez to wpływa na sztywnośćelementu. Podobne do zjawiska klasycznego jammingu jest zjawisko Lay-er jamming, zdefiniowane przez Yong-Jae et al. jako mechanizm, w którympodciśnienie wpływa na tarcie między warstwami umieszczonego w mem-branie materiału [10]. W stanie luźnym warstwy materiału mogą swobodnieprzesuwać się przy działaniu zewnętrznej siły i nie stawiać oporu. W stanie

18

jammingu poruszanie się warstw jest uniemożliwione.Przeprowadzono badania statycznych i dynamicznych właściwości ele-

mentów wykonawczych przy zastosowaniu różnych wypełnień urządzenia.Zaprojektowane urządzenia były w stanie stawiać opór siłom do 7 N przy5-milimetrowym przemieszczeniu oraz symulować sztywność materiału mak-symalnie do sztywności LDPE lub twardej gumy (Moduł Younga 70MPa).Wyniki badań wykazały stosunkowo długi czas reakcji elementu wykonawcze-go (stała czasowa około 0,5 s). Stąd w urządzeniu haptycznym zastosowanododatkowe aktuatory w formie małych silników wibracyjnych, dostarczają-cych informacji o występowaniu kontaktu - styczności (dostarczane są jedynieinformacje dyskretne opisujące czy kontakt miał miejsce).

Zbadano wpływ wykorzystywanych materiałów na właściwości jammin-gu. Największą zmianę w sztywności i maksymalną sztywność uzyskano przywykorzystaniu warstw papieru (czterdziestokrotna zmiana modułu Younga),przy granularnych materiałach – laserowo wyciętych drewnianych kostkachoraz kulkach polistyrenowych otrzymano zarówno kilkakrotnie słabszą zmia-nę sztywności (sześciokrotna zmiana modułu Younga), jak i niższą maksymal-ną sztywność. Wykres zmiany sztywności dla różnych materiałów przedstawiaRys.5.2.

W dalszej części badań wykorzystano element zawierający 64 warstwypapieru posiadający dobrą zdolność do zmiany sztywności przy małej sztyw-ności początkowej. Dla tego elementu wykonano dodatkowe badania zacho-wania dynamicznego. Modelowano odpowiedź na skok jednostkowy jako zło-żenie tłumionych oscylacji i sygnału opadającego wykładniczo. Zbadano od-powiedź skokową elementu przy rożnych ciśnieniach.

Zaproponowano rozwiązania Jamming Pads oraz Jamming Tubes zapre-zentowane na rysunku 5.1. Jamming Tubes pozwalało na szczególnie sku-teczne blokowanie palców.

Zaprojektowane urządzenie zostało wyposażone w:

1. Rękawicę sensoryczną do zbierania informacji o pozie dłoni [22].

2. Silniki wibracyjne dostarczające sprzężenia haptycznego poprzez wibra-cję skóry (tzw. coutaneous interface).

3. Element peneumatyczny jamming tubes lub jammig pads blokującyruch dłoni i pozwalający na otrzymanie kinestetycznego sprzężenia zwrot-nego.

4. Lokalny układ sterujący oparty o mikrokontroler, pozwalający na zbie-ranie informacji z czujników ugięcia rękawicy sensorycznej, kontrolę

19

(a) Prototyp urządzenia jamming tubes (b) Prototyp urządzenia jamming pads

Rysunek 5.1: Prototypy urządzeń do dostarczania kinestetycznegosprzężenia zwrotnego, z wykorzystaniem zjawiska jammingu

0.0 0.2 0.4 0.6 0.8 1.0

Absolute pressure [bar]

0

1

2

3

4

5

6

7

Young’smodulus[Pa]

×107 Stiffness as function of vacuum

wooden cubes

y=4.40e+06 (1- exp(2.19 * (x-1)))+5.27e+05

64 layers of 90g paper with 3 foam layers

y=1.46e+07 (1- exp(14.63 * (x-1)))+1.27e+06

112 layers of 90g paper

y=6.24e+07 (1- exp(5.66 * (x-1)))+9.98e+04

polystyrene beads

y=1.55e+06 (1- exp(1.59 * (x-1)))+2.36e+05

Rysunek 5.2: Sztywność w funkcji poziomu próźni przy różnychwypełnieniach próbki

20

ciśnienia/podciśnienia w elementach pneumatycznych oraz pracę sil-ników wibracyjnych. Element jest połączony z komputerem poprzezinterfejs RS232 lub WiFi.

Powstałe urządzenie, wraz z systemem wizyjnym opisanym w poprzed-nim rozdziale, stanowi interfejs do sterowania chwytakiem wielopalczastym.W szczególności, pozwala na otrzymywanie kinestetycznego i wibrotaktylne-go sprzężenia zwrotnego przez co operator chwytaka ma łatwiejszą zdolnośćorientowania się o stanie zadania. Poprzez stosunkowo prostą budowę urzą-dzenie to jest bardzo lekkie oraz wytrzymałe, co może mieć istotne znaczenieprzy jego stosowaniu w zadaniach ratowniczo-eksploracyjnych. Urządzenieotrzymało polski patent [6].

21

Rozdział 6

Klasyfikacja sztywności dłoniza pomocą mechanomiografii

W rozdziale opisano zestaw pozwalający na pomiar sygnałów mechano-miograficznych do klasyfikacji sztywności dłoni operatora w czasie teleopera-cji manipulatorem z chwytakiem wielopalczastym. Mechanomiografia opierasię na mierzeniu mechanicznych wibracji mięśni, które pojawiają się przy ichwysiłku.

Przedstawiono konstrukcję urządzenia, schemat akwizycji danych i ichobróbki oraz analizę wykorzystanych algorytmów uczenia maszynowego po-zwalających na klasyfikację sztywności dłoni z dużą precyzją bez koniecznościkalibracji urządzenia.

(a) Schemat sondymechanomiograficznej

(b) Fotografia wykonanej sondy

Rysunek 6.1: Sonda mechanomiograficzna z silikonową podstawką.

Wykorzystując wyniki z pracy Silvy na temat maksymalizacji czułościsond mechanomiograficznych z[20], skonstruowano sondę przedstawioną nailustracji 6.1. Urządzenie posiada silikonową podstawkę naturalnie tłumią-cą dźwięki wysokich częstotliwości oraz komorę powietrzną pozwalającą na

22

zbieranie dźwięków o niskich częstotliwościach (częstotliwości rzędu kilkuHz). Dźwięk z mikrofonu elektretowego (nie wymagającego dodatkowego za-silania) sondy zbierano za pomocą karty audio komputera klasy PC do pro-gramu akwizycji danych napisanego w języku Python. Następnie sygnał byłtransformowany (transformata Fouriera lub Wavelet Packet). Współczynnikirozkładu zostały wykorzystane do klasyfikacji danego sygnału jako pocho-dzącego od naprężonej lub rozluźnionej ręki.

Rysunek 6.2: Umieszczenie czujnika przy zbieraniu danych do klasyfikacjiusztywnienia dłoni

Sygnał mechanomiograficzny zmienia się w zależności od położenia sondyi zmęczenia mięśni. Dodatkowo nakłada się na niego sygnał audio pochodzącyod przemieszczania się ubrania czy ruchów całej ręki. W związku z tym nie ist-nieje prosta formuła pozwalająca na określenie sztywności mięśni na podsta-wie zbieranego sygnału. Zamiast tego, można zastosować uczenie maszynowegdzie przykłady sygnału zaklasyfikowane jako „sztywna dłoń” lub „rozluź-niona dłoń” posłużą do nauczenia klasyfikatora. Do nauczenia klasyfikatoraposłużono się eksperymentem, w którym sonda zostawała umieszczona wróżnych punkach ramienia na obszarze o promieniu 35 mm. Operator zostałpoproszony o wykonywanie różnych ruchów mając odpowiednio usztywnionąlub luźną dłoń. Dane z 5 punktów rozmieszczenia sondy posłużyły jako danetreningowe a z 2 jako testowe.

W pracy zostały przeanalizowane różne kombinacje metod obróbki sy-gnału i algorytmów klasyfikacji. Najlepszy wynik osiągnięto stosując Wa-velet Packets oraz konwolucyjną sieć neuronową osiągając 94% skutecznośćklasyfikacji. Inne metody, łącznie z wykorzystaniem modułów transformatyFouriera oraz Linear SVM jako klasyfikatorów osiągały zadowalające wyniki(około 90%), co udowodniło możliwość zastosowania sygnału mechanomio-graficznego dla klasyfikacji usztywnienia dłoni.

Powstałe urządzenie stanowi uzupełnienie systemu do teleoperacji o moż-liwość klasyfikacji sztywności dłoni operatora, co może stanowić informacjępozwalającą na kontrolę podatności teleoperowanego chwytaka lub manipula-tora w trybie on-line, bez konieczności odrywania się od zadania teleoperacji.

23

Rozdział 7

Implementacja systemuteleoperacji na stanowiskuKuka KUBE

W rozdziale przedstawiono badania pozwalające na integrację opracowa-nych elementów na stanowisku Kuka KUBE oraz opis architektury stanowi-ska. Rozdział zawiera opis stanowiska Kuka KUBE, chwytaka Schunk SDH-2, metodykę badania czujników taktylnych chwytaka oraz opracowanie algo-rytmu sterowania podatnościowego z wykorzystaniem czujników taktylnychjako źródła przybliżonej informacji o sile kontaktu z chwytanym obiektem.W rozdziale znajduje się opis architektury systemu teleoperacji oraz metodyimplementacji tej architektury z wykorzystaniem systemu ROS.

Kuka KUBE (Rys. 7.1) jest zrobotyzowaną sześcienną celą o boku dłu-gości 2,5 m z dwoma robotami Kuka LBR iiwa 14 R820 zamocowanymi naszynach. Jedno z ramion celi zostało wyposażone w chwytak wielopalczastySchunk SDH-2.

Chwytak Schunk SDH-2 jest wyposażony w czujniki taktylne mierzącewartość ciśnienia pochodzącą od siły przykładanej do danej komórki macie-rzy czujnika. Wartości te nie są skalibrowane. Do kalibracji wykorzystanoprocedurę, w której robot Kawasaki FS03N wyposażony w czujnik momentuJR3 naciskał sondą znajdując się nad kolejnymi komórkami czujnika. Bada-nia z wykorzystaniem robota wykazały dużą rozbieżność miedzy komórkamimacierzy pod względem wskazań oraz histerezę czujnika (Rys. 7.2).

Przy sterowaniu chwytakiem posłużono się sterownikiem sztywności (stif-fness controller), w którym zewnętrzna pętla sterowania poszczególnego złą-cza chwytaka realizuje równanie (7.1), tj. zachowuje się w stanie statycz-nym jak sprężyna skrętna o współczynniku sprężystości K pod działaniemzewnętrznego momentu τext przy położeniu początkowym będącym zadaną

24

a b

Rysunek 7.1: Fotografia celi zrobotyzowanej stanowiska Kubea – Fotografia wspólnej przestrzeni roboczej robotówb – Fotografia chwytaka wielopalczastego Schunk SDH-2 - Źródło: SchunkPromotional Materials, https://www.nist.gov/sites/default/files/documents/2017/05/09/9020173R1.pdf

0 2 4

0

2

4

6

8

10

12

An array of mappings a (gain) coefficients

0.00

0.01

0.02

0.03

0.04

0.05

0.06

(a) Rozłożenie wartości wzmocnieńczujnika taktylnego

0 20 40 60 80Force [N]

0

5000

10000

15000

20000

25000

30000

Sum of tac

tile read

ings

(b) Histereza czujnika taktylnego

Rysunek 7.2: Charakterystyka czujnika taktylnego chwytaka Schunk SDH-2

25

pozycją złączową. Wewnętrzna prędkościowa pętla sterowania realizowanajest przez sterownik PID prędkości wbudowany w Schunk SDH-2.

θ̇ref = kθerr −Kτext (7.1)Do otrzymania estymacji momentu zewnętrznego działającego na złącze

chwytaka, przeliczono wartości sił działających na komórki czujników tak-tylnych na momenty w złączach. W tym celu obliczona została kinematykaprosta chwytaka, siły działające na komórki chwytaka zostały przeliczone zukładu chwytaka do układu bazowego a następnie z wykorzystaniem Jako-bianu transponowanego zostały policzone statyczne momenty w złączach.

7.1 Architektura i implementacja teleopera-cji chwytakiem wielopalczastym

Rysunek 7.3 przedstawia schemat ideowy systemu teleoperacji. Do za-implementowania systemu wykorzystano Robot Operating System (ROS)pozwalający w łatwy sposób łączyć programy uruchomione na różnych kom-puterach oraz pisane w różnych językach. Zostały zastosowane biblioteki dlajęzyków Python i C++ (na komputerach PC systemu), biblioteki dla syste-mów wbudowanych (ROS Serial) oraz ROS JAVA zainstalowana na sterow-niku robota Kuka.

W skład systemu teleoperacji wchodzą:

• Kontroler rękawicy Sensor Glove - zbiera dane z czujników ugięciarękawicy sensorycznej oraz steruje pracą sterowników elementów Jam-ming Tubes oraz silników wibracyjnych. Kontroler komunikuje się zROS node (ROS Serial) do przekazywania informacji między rękawicąw formie wiadomości ROS’owych

• Sonda mechanomiograficzna - jest podłączana bezpośrednio do kom-putera za pomocą karty audio, gdzie dane zbierane są przez programdo akwizycji danych i kategoryzacji sztywności dłoni.

• Program do generowania akcji - sprzęga informacje publikowaneprzez Sensor Glove oraz system wizyjny (Leap Motion podłączony bez-pośrednio do komputera PC) . Na ich podstawie rozpoznaje chwyt orazodpowiednio generuje zadania (mieszane zadania) zgodnie z metodąopisaną w Rozdziale 3. Dane z czujnika wizyjnego służą do przełącza-nia pracy całego systemu teleoperacji (tryby pracy: teleoperacja chwy-takiem, teleoperacja całym zestawem, teleoperacja samym manipulato-rem, stop - zatrzymanie) oraz w przypadku poruszania manipulatorem

26

- do zadawania pozycji chwytaka. Dane z czujnika mechanomiograficz-nego mogą służyć do zmiany sztywności zestawu, tj. ustawiać wartośćsztywności złączy chwytaka lub impedancję całego manipulatora.

• Kontroler chwytaka - pozwala na realizację sterownika sztywnościkomunikując się z chwytakiem za pomocą protokołu TCP/IP i wysy-łając rozkazy realizacji pozycji/ prędkości.

• Sterownik sprzężenia haptycznego - sterownik wykorzystuje danepublikowane przez węzeł komunikujący się ze sterownikiem czujnikówtaktylnych chwytaka oraz przesyła rozkazy zmiany sztywności Jam-ming Tubes do kontrolera rękawicy.

• Sterownik robota Kuka iiwa sterownik będący fragmentem systemuROS (realizacja sterownika z wykorzystaniem ROS JAVA) pozwala narealizację sterowania impedancyjnego manipulatorem a także publikujedo systemu ROS informacje o rzeczywistej pozie manipulatora jak idziałających na niego momentach i siłach.

• Niskopoziomowy sterownik chwytaka - jest to traktowany ja-ko element wykonawczy sterownik pozycji/prędkości chwytaka SchunkSDH-2.

Prezentowana implementacja stanowi demonstrację możliwości budowysystemu do teleoperacji chwytaków wielopalczastych z wykorzystaniem ulep-szeń opisanych w poprzednich rozdziałach. System pozwala na kontrolę po-zycji i orientacji chwytaka oraz konfiguracji jego palców. Na chwytaku za-implementowano sterownik sztywności wykorzustujący sygnały z czujnikataktylnego.

27

low level tactile sensing

low level motor driver

tactile data acquisition and

formatting

haptic driver

Action generator

vibration driver

pneumatics driver

glove vibration motors

jamming tubes/pads

glove flexion sensors

vision system

ROS vision node

Use

r int

erfa

ceR

OS

nod

esG

rippe

r

Mechanomyographic probe

Mechanomyography data acquisition &

classification

KU

KA

IIW

A

Position/ Impedance

control node

Sensor Glove controller

Glove communication

node

gripper controller

Rysunek 7.3: Schemat ideowy pokazujący wszystkie elementy systemuteleoperacji. Zielone elementy: urządzenia podłączone do sterownika”Sensor Glove”. Niebieskie: elementy podłączone bezpośrednio do PC.Pomarańczowe elementy: Programy (Node’y) systemu ROS. Żółte:urządzenia podłączone do sterownika FPGA chwytaka Schunk

28

Rozdział 8

Podsumowanie

8.1 Podsumowanie i główne wnioskiW niniejszej pracy został podjęty problem intuicyjnych, zintegrowanych

interfejsów dla teleoperacji chwytaków wielopalczastych. Chwytaki wielopal-czaste mogą zostać wykorzystane w zadaniach ratowniczych i eksploracyj-nych, które wymagają niezawodnych i bezpiecznych metod teleoperacji, za-pewniając jednocześnie przenośność oraz adaptowalność w trudnych sytu-acjach akcji ratowniczych. Przy wykorzystaniu standardowych interfejsów,operatorzy narażeni są na pracę przy ograniczonym przepływie informacji copowoduje zmniejszenie wydajności ich pracy i ryzyko popełnienia błędów. Pę-tla teleoperacji składająca się z wybierania informacji, przekładania i przesy-łania informacji, wykonywania żądania oraz przekazywania informacji zwrot-nej oraz jej prezentacji zawiera wiele elementów, które można ulepszyć nowo-czesnymi technologiami. W pracy opisano rozwiązania pochodzące z różnychsubdyscyplin robotyki: sensorów robotycznych, systemów wizyjnych, uczeniamaszynowego, modelowania robotów i ich kontroli. Przedstawiono analizęposzczególnych problemów badawczych i ich potencjalne rozwiązania.

W rozdziale 2 opisano współcześnie stosowane rozwiązania teleoperacjimanipulatorów i chwytaków oraz zagadnienia związane z czynnikami ludz-kimi. Zdefiniowano cechy interfejsu do teleoperacji, szczególnie pożądane wzadaniach ratowniczych.

W rozdziale 3 zaprezentowano cechy opracowanej rękawicy sensorycznejoraz jej zastosowanie w procesie teleoperacji. Przedstawiono, w jaki sposóbmożna przekładać odczyty z czujników rękawicy na chwytak o budowie innejniż ludzka dłoń, w procesie wykorzystującym uczenie maszynowe. Dwustop-niowy proces pozwalał na oddzielenie zadania kategoryzacji chwytu od zada-nia mapowania przy określonym chwycie pozwalając na szybkie przeuczanie

29

do innych zadań i kinematyk. Ponadto przy trudno-kategoryzowanych chwy-tach następowało płynne przechodzenie między mapowaniami.

W rozdziale 4 oceniono zastosowanie komercyjnie dostępnych zintegrowa-nych systemów wizyjnych do zadania teleoperacji. Zaproponowano rozwiąza-nia pozwalające na zastosowanie takich instrumentów przy uwzględnieniu ichograniczeń. W szczególności wykorzystanie zintegrowanych systemów wizyj-nych przy równoczesnym zastosowaniu rękawicy sensorycznej pozwoliło naśledzenie pozycji całej dłoni jak i oddzielnie palców, a wykorzystanie gestów(rozpoznawanych przez zintegrowany system wizyjny) pozwoliło na przełą-czanie trybów pracy chwytaka i manipulatora w naturalny sposób.

W rozdziale 5 przedstawiono urządzenie dostarczające kinestetycznegosprzężenia zwrotnego z wykorzystaniem zjawiska jammingu. Urządzenie po-zwalało na uzyskanie pasywnego sprzężenia zwrotnego, umożliwiając opera-torowi zorientowanie, że nastąpił kontakt z obiektem oraz utrzymywanie dło-ni na obiekcie w czasie dłuższej teleoperacji. Zbadano materiały poprawiającewartość użytkową urządzenia, zaproponowano dwa rozwiązania: “JammingTubes” oraz “Jamming Pads”, a także ich system kontroli. Zbadano właści-wości gotowego urządzenia oraz zaproponowano dodatkowy element zapew-niający szybkie wykrycie chwytu poprzez wibrowanie pod palcami operatora.

W rozdziale 6 zaproponowaliśmy proste urządzenie pozwalające na okre-ślanie sztywności dłoni operatora. Urządzenie jest oparte na zjawisku mecha-nomiografii i wraz z algorytmami obróbki danych oraz uczenia maszynowegozapewnia dużą zdolność do klasyfikacji sztywności dłoni. Porównano zacho-wanie się algorytmów klasyfikacji oraz opublikowano program open-sourcedo zbierania danych i klasyfikacji.

W rozdziale 7 opisano implementację wykorzystywanego schematu tele-operacji na stanowisku Kuka KUBE z robotem Kuka iiwa oraz chwytakiemSchunk SDH-2 wyposażonym w czujniki taktylne. Rozwiązanie teleoperacjize sprzężeniem zwrotnym wymagało modelowania kinematyki chwytaka orazopisu jego statyki w celu określenia udziału sił działających na poszczególnekomórki czujnika na moment w złączach chwytaka. Opisano przeprowadzo-ne badania nad kalibracją czujników taktylnych. Finalnie, opisaliśmy imple-mentację oraz przepływ sygnałów przy wykorzystaniu systemu ROS (RobotOperating System).

30

8.2 Realizacja tez pracyWe wprowadzeniu sformułowano trzy tezy rozprawy, które zostały sku-

tecznie wykazane w niniejszej pracy:Wykorzystanie uczenia maszynowego pozwala na stworzenie

skutecznych algorytmów mapowania ruchów ludzkiej dłoni na ru-chy chwytaka wielopalczastego o kinematyce nieantropomorficz-nej, dając dodatkową możliwość adaptacji do określonych potrzeb.

Ta teza została zbadana w Rozdziale 3. W nim opisano wypracowaną pro-cedurę uczenia maszynowego, pozwalającą na mapowanie danych zebranychprzez rękawicę sensoryczną na pozycje nieantropomorficznego chwytaka, naprzykładzie chwytaka SDH-2. Procedura ma dwa etapy, pierwszy pozwalają-cy na rozpoznawanie typu chwytu, a drugi na mapowanie złącz w określonymchwycie. Takie podejście umożliwia oddzielenie obu tych części i przyśpiesze-nie procedury uczenia.

W czasie działania systemu estymacja pewności przyporządkowania da-nego chwytu do danej kategorii wpływa na stopień wykorzystania danegomapowania pozwalając na płynne przechodzenie między mapowaniami przychwytach będących trudno klasyfikowalnymi.

Zjawisko jammingu umożliwia skonstruowanie pasywnego sys-temu do kinestetycznego sprzężenia zwrotnego w procesie teleope-racji chwytaków wielopalczastych.

Ta teza została opisana w Rozdziale 5. W nim dokonano analizy zjawi-ska jammingu oraz wpływu materiałów na charakter tego zjawiska. Opraco-wane zostało urządzenie wykorzystujące zjawisko jammingu pozwalające nakinestetyczne sprzężenie zwrotne, posiadające atrakcyjne cechy w porówna-niu do obecnie stosowanych urządzeń wykorzystywanych do sprzężenia ki-nestetycznego. Zostały także określone ograniczenia stosowanego podejściaoraz zaproponowane rozwiązanie uzupełniające system. Tezę można uznaćza prawdziwą. Urząd Patentowy Rzeczypospolitej Polskiej udzielił patentuna powstałe urządzenie [6].

Zastosowanie sensorów mechanomiograficznych i zintegrowa-nych systemów wizyjnych rozszerza możliwość teleoperacji chwy-taków wielopalczastych poprzez umożliwienie kontroli sztywnościchwytaka oraz bezprzewodowe śledzenie pozycji dłoni operatora.

Wykorzystanie systemów wizyjnych zostało zbadane i przedstawione wRozdziale 4. Stwierdzono, że zintegrowane systemy wizyjne mogą posłużyćza precyzyjne czujniki do określania pozycji dłoni, jednak z powodu zjawi-ska przesłaniania, nie mogą być traktowane jako źródło danych o układziepalców. Zaproponowano wykorzystanie rozwiązania hybrydowego obejmują-cego pomiar pozycji palców za pomocą Sensor Glove oraz śledzenie pozycji

31

i orientacji całej dłoni za pomocą sygnału wizyjnego lub wykorzystanie sy-gnału wizyjnego do przełączania trybu pracy za pomocą gestów.

Zastosowanie sondy do zbierania sygnałów mechanomiograficznych omó-wiono w Rozdziale 6. Pokazano, że niedroga w wykonaniu sonda mechano-miograficzna może służyć do zbierania informacji pozwalających na określeniesztywności dłoni z dużą pewnością (> 90%). Taka informacja może następniesłużyć do modyfikacji ustawiania parametrów kontrolera sztywności opisa-nego w rozdziale 7.

Na podstawie powyższych wyników, można uznać że dane ze zintegrowa-nych systemów wizyjnych oraz sondy do sygnałów mechanomiograficznychmogą stanowić kluczowe uzupełnienie rękawicy sensorycznej do teleoperacjichwytaków wielopalczastych.

8.3 Kierunki rozwojuW rozprawie opisano serię ulepszeń do systemu teleoperacji chwytaków

wielopalczastych, szczególnie do wykorzystania ich w zadaniach ratowniczo-eksploracyjnych. Zalecenia projektowe oparte zostały na literaturze opisu-jącej unikalne wyzwania zadań ratowniczych jak również na ogólnych zale-ceniach związanych z interacją człowiek-robot. Jednakże faktyczną zdolnośćinterfejsów w zadaniach ratowniczych należy przetestować w terenie. Prze-prowadzenie takich eksperymentów stanowić będzie kolejny cel projektu.

Opatentowany interfejs haptyczny opisany w rozdziale 5 posiada takżenaukowy oraz komercyjny potencjał. Jego mały koszt, lekkość i odporność,wynikajace ze stosunkowo prostej budowy głównego elementu – JammingTubes może być przydany nie tylko w zadaniach teleoperacji ale także przyurządzeniach do wirtualnej rzeczywistości i rehabilitacji.

Zastosowany schemat uczenia maszynowego pozwala na tłumaczenie pozyludzkiej dłoni na pozę chwytaka, przy przystępnej procedurze treningu sys-temu i kalibracji. W tezie nie przedstawiliśmy metod biorących pod uwagęzależności czasowe, co jest obszarem aktualnych prac.

32

Bibliografia

[1] Birglen, L., Laliberté, T., Gosselin, C.: Underactuated Robotic Hands.Springer Berlin Heidelberg (2008). DOI 10.1007/978-3-540-77459-4

[2] Bélanger-Barrette, M.: 3-finger adaptive gripper ra-ring to go at the darpa robotics challenge. BlogRobotiq (2015). URL https://blog.robotiq.com/3-finger-adaptive-gripper-featured-at-darpa-robotic-challenge.Accessed 15.05.2018

[3] Cates, M.E., Wittmer, J.P., Bouchaud, J.P., Claudin, P.: Jamming, forcechains, and fragile matter. Physical Review Letters 81(9), 1841–1844(1998). DOI 10.1103/physrevlett.81.1841

[4] Clarkson, E., Arkin, R.C.: Applying heuristic evaluation to human-robotinteraction systems. In: Proceedings of the Twenty-Second AAAI Confe-rence on Artificial Intelligence (2007). URL http://hdl.handle.net/1853/13111

[5] Goza, S.M., Ambrose, R.O., Diftler, M.A., Spain, I.M.: Telepresencecontrol of the NASA/DARPA robonaut on a mobility platform. In:Proceedings of the 2004 conference on Human factors in computingsystems - CHI ’04, pp. 623–629. ACM, ACM Press (2004). DOI10.1145/985692.985771

[6] Granosik, G., Zubrycki, I.: Urządzenie do sprzężenia haptycznego dło-ni użytkownika obiektu wirtualnego lub rzeczywistego z tym obiektem.Patent num. P.413061, 18.05.2018

[7] Hatazaki, K., Konyo, M., Isaki, K., Tadokoro, S., Takemura, F.: Activescope camera for urban search and rescue. In: 2007 IEEE/RSJ Inter-national Conference on Intelligent Robots and Systems. IEEE (2007).DOI 10.1109/iros.2007.4399386

33

[8] Jarrassé, N., Ribeiro, A., Sahbani, A., Bachta, W., Roby-Brami, A.:Analysis of hand synergies in healthy subjects during bimanual mani-pulation of various objects. Journal of NeuroEngineering and Rehabili-tation 11(1), 113 (2014). DOI 10.1186/1743-0003-11-113

[9] Kakogawa, A., Nishimura, H., Ma, S.: Underactuated modular fingerwith pull-in mechanism for a robotic gripper. In: 2016 IEEE Internatio-nal Conference on Robotics and Biomimetics (ROBIO). IEEE (2016).DOI 10.1109/robio.2016.7866381

[10] Kim, Y.J., Cheng, S., Kim, S., Iagnemma, K.: A novel layer jammingmechanism with tunable stiffness capability for minimally invasive sur-gery. IEEE Transactions on Robotics 29(4), 1031–1042 (2013). DOI10.1109/tro.2013.2256313

[11] Murphy, R.: Being there (2009). URL http://www.robocup2009.org/247-0-invited-talks.html

[12] Murphy, R.R.: Disaster Robotics. The MIT Press (2014)

[13] Murphy, R.R., Tadokoro, S., Kleiner, A.: Disaster Robotics, pp. 1577–1604. Springer International Publishing, Cham (2016). DOI10.1007/978-3-319-32552-1_60. URL https://doi.org/10.1007/978-3-319-32552-1_60

[14] Napier, J.R.: The prehensile movements of the human hand. The Journalof Bone and Joint Surgery. British volume 38(4), 902–913 (1956). DOI10.1302/0301-620x.38b4.902

[15] Nielsen, J.: Enhancing the explanatory power of usability heuristics. In:Proceedings of the SIGCHI Conference on Human Factors in ComputingSystems, CHI ’94, pp. 152–158. ACM, New York, NY, USA (1994). DOI10.1145/191666.191729. URL http://doi.acm.org/10.1145/191666.191729

[16] Olson, O.J., Slouka, R.A.: Electro-mechanical manipulator (1957)

[17] Salvendy, G.: Handbook of Human Factors and Ergonomics. John Wiley& Sons, Inc. (2012). DOI 10.1002/9781118131350

[18] Sheridan, T.B.: Telerobotics, Automation, and Human Supervisory Con-trol. MIT Press, Cambridge, MA, USA (1992)

34

[19] Shneiderman, B., Plaisant, C.: Designing the User Interface: Strategiesfor Effective Human-Computer Interaction, 3rd edn. Addison-WesleyLongman Publishing Co., Inc., Boston, MA, USA (1997)

[20] Silva, J., Chau, T.: Coupled microphone-accelerometer sensor pair fordynamic noise reduction in MMG signal recording. Electronics Letters39(21), 1496–1498 (2003). DOI 10.1049/el:20031003

[21] Spenko, M., Buerger, S., Iagnemma, K. (eds.): The DARPA RoboticsChallenge Finals: Humanoid Robots To The Rescue. Springer Interna-tional Publishing (2018). DOI 10.1007/978-3-319-74666-1

[22] Zubrycki, I., Granosik, G.: Test setup for multi-finger gripper controlbased on robot operating system (ros). In: Proc. of 9th Int. Workshop onRobot Motion and Control, pp. 135–140 (2013). DOI 10.1109/RoMoCo.2013.6614598

35