Skomentuj 
Podziel się!
Udostępnij
Twittnij
Wyślij
Drukuj
Artykuł dotyczy problematyki wspomagania procesu obsługi i diagnostyki statków powietrznych. Przedstawiono w nim możliwość zastosowania nowoczesnych technologii ułatwiających i zwiększających bezpieczeństwo ich obsługi. Do realizacji tego celu zaproponowano mobilne urządzenie doradcze z zaimplementowanym systemem ekspertowym, wyposażonym w interfejs użytkownika oparty na technologii rozszerzonej rzeczywistości. Omówiono budowę systemu oraz sposób jego wykorzystania na przykładzie symulatora diagnostycznego samolotu M-28.
Obsługa statku powietrznego jest zagadnieniem złożonym i bardzo istotnym z punktu widzenia bezpieczeństwa lotu, dlatego czynności obsługowe powinny być wykonane z najwyższą starannością. Niestety, ze względu na ich dużą złożoność, istnieje możliwość pomyłkowego lub błędnego ich wykonania przez osobę wykonującą sprawdzenie.
Interesującym rozwiązaniem, pozwalającym na usprawnienie i zwiększenie bezpieczeństwa obsługi statku powietrznego, jest zastosowanie mobilnego systemu komputerowego, który byłby ekspertowym systemem doradczym. Zastosowanie systemów ekspertowych do wspomagania takich czynności obsługowych, jak diagnostyka obiektów technicznych, jest znanym i stosowanym rozwiązaniem [1, 7, 9].
Innym rozwiązaniem, spotykanym już od ponad 20 lat - także w urządzeniach wspomagających pracę personelu technicznego, w obsłudze i diagnostyce złożonych obiektów technicznych, w tym samolotów - jest technologia rozszerzonej rzeczywistości AR (ang. Augmented Reality). Umożliwia ona dostarczenie operatorowi danych o otoczeniu w połączeniu z danymi otrzymywanymi z systemu komputerowego. Przykłady jej zastosowania w tej dziedzinie można znaleźć w literaturze [4-6, 8].
W prezentowanym przypadku zaproponowano połączenie obydwu rozwiązań. W dalszej części artykułu zostanie omówione ogólna koncepcja systemu wykorzystującego wspomniane wyżej rozwiązania oraz sposób jego implementacji oraz przykład działania.
2. Ogólna koncepcja systemu
Systemy ekspertowe są metodą reprezentacji wiedzy z danej dziedziny przedmiotowej i rozwiązują problemy przez zastosowanie tej wiedzy. System ekspertowy składa się z czterech zasadniczych części: bazy wiedzy, maszyny wnioskującej, pamięci roboczej i interfejsu użytkownika. Architektura typowego systemu została przedstawiona na rys. 1.
W celu rozwiązania problemu użytkownik prowadzi dialog z maszyną przez interfejs użytkownika. W tym dialogu użytkownik dostarcza informacje o problemie, który ma być rozwiązany. Na podstawie tych informacji maszyna wnioskująca, w oparciu o reguły zawarte w bazie wiedzy oraz fakty dotyczące problemu zawarte w pamięci roboczej, wyznacza polecenia i przekazuje je do użytkownika za pomocą interfejsu użytkownika.
Dla zwiększenia możliwości systemu, interfejs użytkownika wykorzystuje mechanizmy rzeczywistości rozszerzonej. Zastosowanie takiego rozwiązania wspomaga dodatkowo operatora w szybkiej identyfikacji miejsc i elementów aktualnie podlegających obsłudze. W celu zapewnienia mobilności systemu zaproponowano zastosowanie lekkich i przenośnych urządzeń pracujących pod kontrolą systemu Android.
3. Implementacja systemu
Do implementacji maszyny wnioskującej oraz bazy wiedzy wykorzystano język programowania obiektowego CLIPS (C Language Integrated Production System), które jest narzędziem do tworzenia systemów ekspertowych, opracowanym i rozwijanym w NASA - agencji rządu Stanów Zjednoczonych, odpowiedzialna za narodowy program lotów kosmicznych.
CLIPS znalazł szerokie zastosowanie przy realizacji systemów ekspertowych związanych z diagnostyką [1, 7, 9]. Oprogramowanie systemu ekspertowego bazuje na niekomercyjnej wersji powłoki systemów ekspertowych CLIPS [2]. Powłoka ta jest udostępniona w postaci biblioteki otwartych źródeł, z możliwością ich kompilacji w systemie Windows i Android.
Wykorzystując biblioteki CLIPS zaimplementowano podstawowe elementy systemu ekspertowego - maszynę wnioskującą z bazą wiedzy i pamięcią roboczą. Elementy te tworzą moduł Interpretera CLIPS (rys. 2).
Działanie Interpretera CLIPS polega na wykorzystaniu mechanizmów wnioskowania zawartych w jego maszynie wnioskującej oraz zbioru faktów i reguł zapisanych w pliku tekstowym m-28.clp. Fakty opisują stan obiektu (np. rodzaj włączonego zasilania lotniskowego, stan wyłączników, lampek itp.) oraz stan procesu obsługi obiektu. Interpreter CLIPS stanowi zasadniczy moduł aplikacji Serwera CLIPS. Do komunikacji z otoczeniem aplikacja wykorzystuje moduł Komunikacja.
Podobny moduł został zaimplementowany w aplikacji Klient CLIPS. Obydwa moduły umożliwiają realizację komunikacji bezprzewodowej.
Aplikacja Klient CLIPS jest zainstalowana na przenośnym urządzeniu pracującym pod kontrolą systemu Android. Zasadniczym modułem tej aplikacji jest moduł Interfejs AR. Do budowy interfejsu użytkownika zastosowano technologię rzeczywistości rozszerzonej oraz syntezatory mowy. W tym celu wykorzystano następujące narzędzia: - Unity 3D - wieloplatformowy system tworzenia gier rozwijany przez Unity Technologies, zawierający silnik gier i zintegrowane środowisko uruchomieniowe [3, 12], - Vuforia - zestaw bibliotek SDK dla urządzeń mobilnych pozwalających budować aplikacje rozszerzonej rzeczywistości [11], - syntezatory mowy dostępne w systemie Android (np. IVONA).
Wykorzystanie rozszerzonej rzeczywistości do obsługi urządzenia wpływa na całość i specyfikę jego działania z punktu widzenia operatora i dlatego następny punkt będzie poświęcony temu właśnie zagadnieniu.
4. Działanie interfejsu systemu
Oprogramowanie interfejsu jest zainstalowane na urządzeniu przenośnym typu tablet lub smartfon, wyposażonym w kamerę.
Operator może komunikować się z urządzeniem, posługując się wirtualnymi przyciskami wyświetlanymi na dotykowym ekranie urządzenia mobilnego. Oprócz standardowych elementów graficznych, na monitorze urządzenia są wizualizowane rzeczywiste obiekty widziane przez kamerę. Z niektórymi obiektami rzeczywistymi mogą być związane wirtualne obiekty 2D i 3D. Są one automatycznie wizualizowane jako podpowiedzi, gdy kamera skierowana jest na odpowiadające im obiekty rzeczywiste.
Na rys. 4 przedstawiono przykładowy widok ekranu prototypowej aplikacji mającej za zadanie wspomaganie operatora podczas wykonywania czynności obsługowych na statku powietrznym M-28 "Bryza". W górnej części ekranu na szarym tle widoczny jest tekst informujący operatora o konieczności wykonania czynności obsługowej. Przyciski wirtualne umiejscowione w prawym dolnym rogu umożliwiają operatorowi potwierdzenie wykonanej czynności (przyciski "Tak" i "Nie").
Naciśnięcie przycisków wirtualnych powoduje wysłanie komunikatu do Serwera CLIPS. Ten komunikat powoduje wygenerowanie nowego faktu, który jest dodawany do pamięci roboczej Serwera CLIPS. Następnie maszyna wnioskująca wybiera z bazy wiedzy reguły, których poprzedniki pasują do faktów w pamięci roboczej, a następnie wykonuje działania określone w następnikach tych reguł. Wykonanie niektórych z tych działań polega na wysłaniu do operatora informacji o konieczności wykonania określonego sprawdzenia. Wiadomość taka jest wysyłana w formie tekstu na monitorze oraz fonicznie w postaci komunikatu głosowego. Następnie program oczekuje na odpowiedź operatora.
Oprócz tekstu czynności wyświetlanego na tle szarego prostokąta na ekranie urządzenia, w zależności od wykonywanego zadania, operator ma możliwość obserwować elementy mające za zadanie wspomagać go przy wykonywaniu czynności obsługowych. Biała strzałka wraz z opisem (kolor zielony) dynamicznie zmienia swoje położenie w zależności od położenia kamery, pokazując miejsce weryfikowanego stanu przełącznika.
Ponadto, w celu szybkiego zorientowania się, gdzie szukany przełącznik jest umiejscowiony w kabinie, w lewym dolnym rogu został wyświetlony cały pulpit z zaznaczonym położeniem poszukiwanego przełącznika. W lewym górnym rogu wyświetlono panel przełączników zawierający ww. przełącznik w postaci obiektu 3D.
Operator może zakończyć interakcję z serwerem, naciskając przycisk "Przerwij". Powoduje to natychmiastowe przerwanie wykonywanego scenariusza i powrót do sceny wyboru scenariusza.
5. Wnioski
W artykule przedstawiono prototyp urządzenia do wspomagania operatorów sprzętu lotniczego w zakresie wykonywania prostych czynności obsługowych i naprawczych oraz w procesie ich uczenia. Budowę i zasadę działania systemu oparto na powłoce systemów ekspertowych CLIPS. Umożliwia to rozszerzanie możliwości funkcjonalnych urządzenia przez dodawanie procedur diagnostycznych wykorzystujących mechanizmy wnioskowania tej powłoki.
Do realizacji interfejsu urządzenia wykorzystano technologię rzeczywistości rozszerzonej. Zastosowana technologia umożliwia wprowadzenie do świata rzeczywistego aktywnych obiektów 2D, interaktywnych modeli 3D oraz multimediów. Wyniki przeprowadzonych w laboratorium doświadczeń [10] potwierdzają właściwy kierunek prowadzonych prac, a także ogromne zainteresowanie personelu technicznego nowoczesnymi metodami wspomagania procesów szkoleniowych i obsługowych.
Przedstawiona technologia nie jest pozbawiona wad i ograniczeń, które w wielu wypadkach mogą drastycznie ograniczać możliwość jej używania. Do nich należą m.in.:
1) Ograniczenia technologiczne związane z wizualizacją obiektów wirtualnych - Mimo że akceleratory grafiki 3D stosowane w urządzeniach audiowizualnych umożliwiają renderowanie nawet bardzo drobnych detali obiektów 3D, to jednak wprowadzenie ich do świata rzeczywistego nie jest takie oczywiste i proste ze względu na zmienne warunki oświetlenia, kolejność poprawnego wyświetlania oraz przysłaniania elementów wirtualnych w świecie rzeczywistym.
2) Ograniczenia wykrywania i śledzenia znaczników - Podstawową funkcją każdego rodzaju znacznika jest możliwość szybkiego ich wykrycia oraz śledzenia w celu weryfikacji położenia wszystkich obiektów wirtualnych dołożonych do świata rzeczywistego. W przypadku równoczesnej weryfikacji dużej liczby znaczników może dojść do zmniejszenia liczby analizowanych klatek przechwytywanych przez kamerę. Niezależnie od zastosowanej metody detekcji, zawsze istnieje niebezpieczeństwo błędnej klasyfikacji przez algorytm innych obiektów sceny, które nie pełnią roli znaczników.
3) Ograniczenia ergonomiczne - Konieczność ciągłego trzymania w ręce urządzenia mobilnego jest bardzo problematyczne w przypadku prób wykonywania czynności obsługowych, w trakcie których należy zaangażować dwie ręce (np. podczas wykonywania regulacji czy też używania narzędzi).
W takiej sytuacji operator musiałby odkładać urządzenie, tracąc tym samym możliwość oddziaływania na wyświetlane treści.
Mimo wymienionych wad i ograniczeń, postęp technologiczny jednak jest tak wielki, że prawdopodobnie już w najbliższym czasie większość z nich zostanie wyeliminowana. Poza tym wszystkie założone ograniczenia przy wyborze urządzeń zostały zasadniczo spełnione. Małe gabaryty testowanych urządzeń oraz niewielka masa umożliwiają przenoszenie ich nawet w kieszeni, a zastosowanie komunikacji bezprzewodowej toruje drogę do zupełnego pozbycia się uciążliwych połączeń przewodowych.
Biorąc pod uwagę ograniczenia ergonomiczne, uwzględniono możliwość zastosowania wyświetlacza przeziernego z kamerą, zakładanego na głowę operatora do wyświetlenia danych oraz zastosowanie komunikacji głosowej człowiek-maszyna. Wstępne prace przeprowadzone w tym zakresie, takie jak foniczne komunikaty urządzenia, potwierdziły, że jest to właściwy kierunek działań.
Konieczne jest przeprowadzenie badań, których celem będzie potwierdzenie przydatności zaproponowanych metod stosowania technologii Rozszerzonej Rzeczywistości, intuicyjności stworzonego oprogramowania, wzrostu satysfakcji personelu, a także analizy zmienionych zachowań operatów, ich uwag na temat ergonomii używanego sprzętu, ograniczeń motorycznych związanych z jego użyciem, oraz zmęczeniem w funkcji użycia zestawu.
Bibliografia
1. Dapeng T., Li Peiyu L., Pan Xiaohong P., Embedded Fault Diagnosis Expert System Based on CLIPS and ANN, Computational Science - ICCS 2007 Lecture Notes in Computer Science, Volume 4490, 2007, 957-960.
2. Giarratano J.C., CLIPS - User’s Guide, 2002.
3. Goldstone W., Projektowanie gier w środowisku Unity 3.x, Helion, 2013.
4. Haller M., Billinghurst M., Thomas B., Emerging technologies of augmented reality - interfaces and design, Idea Group Inc., 2007, DOI: 10.4018/978-1-59904-066-0.
5. Henderson S., Feiner S., Exploring the Benefits of Augmented Reality Documentation for Maintenance and Repair. "IEEE Transactions on Visualization and Computer Graphics", Vol. 17, No. 10, 2011, 1355-1368, DOI: 10.1109/TVCG.2010.245.
6. Knöpfle C., Weidenhausen J., Chauvigne L., Stock I., Template Based Authoring for AR Based Service Scenarios, Proc. IEEE Virtual Reality, 2005, 237-240, DOI: 10.1109/ VR.2005.1492779.
7. Long H., Wang X., Aircraft fuel system diagnostic fault detection through expert system, Proc. IEEE Sixth World Congress on Intelligent Control and Automation, 2008, 7104-7107, DOI: 10.1109/WCICA.2008.4594020.
8. Wójcicki T., Supporting the diagnostics and maintenance of technical devices with augmented reality, "DIAGNOSTYKA", Vol. 15, No. 1, 2014, 43-47.
9. Yan C., Ma S., Zhou G., Fang J., Fault Diagnostic Expert System of Rolling Element Bearing Based on CLIPS, "Journal of Information and Computational Science", Vol. 10, No. 10, 2013, 3053-3062, DOI: 10.12733/jics20101806.
10. Sprawozdanie z pracy: Badanie możliwości wykorzystania urządzeń mobilnych i ich systemów operacyjnych jako sterowników dla aplikacji szkoleniowych z wykorzystaniem poszerzonej rzeczywistości (Augmented Reality), Biblioteka ITWL 8038/50, Warszawa 2014.
11. Vuforia Developer Portal - [https://developer.vuforia.com].
12. Unity - Game Engine - [http://unity3d.com].
3
KOMENTARZE (0)
Do artykułu: Zastosowanie przenośnego systemu ekspertowego z rzeczywistością rozszerzoną do obsługi statku powietrznego