Upload
dangliem
View
215
Download
0
Embed Size (px)
Citation preview
www.agh.edu.pl
Adrian Horzyk
SZTUCZNA INTELIGENCJA
MODELE OBLICZENIOWE,
BIOCYBERNETYKA I KOGNITYWISTYKA
Zasadniczym pytaniem w informatyce jest kwestia
sposobu przetwarzania danych,czyli określenia, w jaki sposób
operować na symbolach i liczbach.
MODELE OBLICZENIOWE
OGRANICZENIA WSPÓŁCZESNYCH OBLICZEŃ
BAZUJĄCYCH NA MASZYNIE TURINGA
Współczesna informatyka opiera się na deterministycznym modelu obliczeniowym, tzw. Maszynie Turinga (MT), który formalnie zdefiniowany jest jako krotka:MT = < Q, Σ, δ, Γ, q0, B, F >
gdzie:Q – skończony zbiór stanów, q0 – stan początkowy, q0 ∈ QF – zbiór stanów końcowychΓ – skończony zbiór dopuszczalnych symboliB – symbol pusty, B ∈ ΓΣ – zbiór symboli wejściowych, taki że: B Σ Γδ: Γ x Q Q x Γ x {L,P,-} – funkcja opisująca przejście od stanu q1 ∈ Q pod wpływem
symbolu wejściowego ze zbioru Γ w kolejny stan ze zbioru q2 ∈ Q zwracający symbol ze zbioru Γ oraz przesunięcie głowicy w lewo (L), prawo (P) lub nie dokonując bez przesunięcia (-).
Model MT skupia się na przetwarzaniu skończonego zbioru symboli,operuje na językach i gramatykach formalnych oraz jest podstawądziałania współczesnych komputerów.
Maszyna ta ma jednak istotne ograniczenia, np. w stosunkudo architektury i sposobu działania ludzkiego umysłu – mózguoraz biologicznych sieci neuronowych, które z natury są w stanieprzetwarzać różne dane, mimo iż nie są maszynami Turinga!
PORÓWNANIE MODELI OBLICZENIOWYCH
MASZYNA TURINGA MODEL ASOCJACYJNY
Nie zmienia stanów pod wpływem upływu czasu.
Nie zmienia sposobu swojego działania, symboli, danych ani funkcji przejścia pod wpływem upływu czasu ani przetwarzanych danych.
Nie formuje wiedzę o danych, lecz tylko może je zapamiętać oraz przetwarzać, a sposób ich przetwarzania jest zasadniczo liniowy,również w wersji zrównoleglonej.
Przetwarza dane deterministycznie według określonych algorytmów
Oddziela dane od algorytmów, gdzie dane mogą zostać zmodyfikowane tylko na skutek działania algorytmów, które muszą zostać zewnętrznie zdefiniowane oraz podane Maszynie Turinga.
Większość czasu pracy procesora (zwykle od 60% do 99%) tracą na wyszukiwanie danych i relacji pomiędzy nimi oraz przenoszenie danych pomiędzy pamięcią i rejestrami procesora!
Model więc zorientowany jest bardziej na dane niż na relacje pomiędzy danymi.
Ma wiele ograniczeń związanych ze złożonością obliczeniową (np. problemy NP-Trudne) na skutek konieczności przeszukiwania danych.
Automatycznie zmienia swoje stany pod wpływem upływu czasu, może np. zerować „słabe” dane.
Automatycznie zmienia sposób swojego działania pod wpływem formującej się wiedzy i na skutek przetwarzanych danych.
Automatycznie formuje wiedzę o danych w postaci skojarzeń (asocjacji), które dynamicznie zmieniają związki (relacje) pomiędzy danymi.
Potrafi zmieniać sposób swojego działania na skutek procesów refrakcji („odpoczywania”) i zmęczenia neuronów, co automatycznie wprowadza w życie alternatywy.
Dane formują algorytmy ich kojarzenia a następnie przetwarzania w przyszłości, więc powstają samoistnie na skutek działania tego modelu.
Dane pozostające ze sobą w pewnej relacji są ze sobą skojarzone, a ich reprezentacje neuronalne kontekstowo powiązane, dzięki czemuzwykle bardzo upraszczany jest processzukania, osiągając często stałązłożoność obliczeniową, więc mózgmoże zająć się przetwarzaniem danych.
Dane są częścią mechanizmów ich przetwarzania.
PORÓWNANIE MODELI OBLICZENIOWYCH
MASZYNA TURINGA MODEL ASOCJACYJNY
Zaniedbuje relacje pomiędzy danymi,nawet w relacyjnych bazach danych:
Musi sortować,żeby wyszukiwaćefektywniej, lecztabele są toporne!
Agregacja danych i ich podobieństwa oraz utrwalanie i wartościowanie relacji pomiędzy danymi są podstawą asocjacji, formowania wiedzy i inteligentnego kontekstowego ich przetwarzania.
Wszystko się samo sortuje dzięki podobieństwui w takiej postaci jest przechowywane, więc nie wymaga sortowania, indeksowania i wyszukiwania
BIOCYBERNETYKA
Biocybernetyka to dział cybernetyki zajmujący się badaniem procesów sterowania w układach biologicznych oraz sprzężeń pomiędzy tymi procesami a środowiskiem.
Określenie biocybernetyka wywodzi się od słów bio (z greckiego: życie) i cybernetyka (z greckiego: kybernetes "sternik; zarządca" lub od kybernán"sterować; kontrolować").
Prof. dr hab. Inż. Ryszard Tadeusiewicz – Biocybernetyk o Biocybernetyce:
http://ryszardtadeusiewicz.natemat.pl/74845,jestem-biocybernetykiem-ale-czym-wlasciwie-jest-biocybernetyka
„Biocybernetyka stanowi swoisty „most” pomiędzy dziedzinami biologii (oraz medycyny) i techniki. O tym, że dziedziny te powinny ze sobą kooperować nikogo dziś specjalnie przekonywać nie trzeba. Biologia i medycyna mogą pozyskać od techniki nowe narzędzia diagnostyczne i badawcze, których przykładem są na rysunku tomograf komputerowy i mikroskop elektronowy, a także nowe narzędzia terapeutyczne, symbolizowane na rysunku przez system robota chirurgicznego.”
BIOCYBERNETYKA
„Technika jednak także może wiele zyskać, gdyż wiele zadań inżynierskich rozwiązuje się metodą naśladowania „rozwiązań” podpatrzonych w ludzkim organizmie lub w strukturach innych tworów biologicznych. Na rysunku ten transfer „biologicznych patentów” do techniki symbolizowany jest przez system BCI (Brain – Computer Interface) czyli narzędzie do przekazywania informacji i poleceń wprost z mózgu człowieka do komputera oraz maszyna krocząca, która jest zdolna poruszać się po bezdrożach, ponieważ zamiast kół używa nóg naśladujących biologiczne odnóża.”
BIOCYBERNETYKA
Zrodziła się z obserwacji działania istot żywych oraz z modelowania procesów,jakie odgrywają się w przyrodzie.
Jej potencjał leży więc w otaczającym nas świecie.
Nauka o cybernetycznym modelowaniu procesów biologicznych i jako dział cybernetyki zajmuje się procesami informacyjnymi zachodzącymi w organizmach żywych,w szczególności w mózgu - naczelnym organie biocybernetycznym organizmów żywych.
Ma na celu wyjaśnienie, opisanie i modelowanie cybernetycznych procesów zachodzących w organizmach żywych, a w szczególności w ludzkim mózgu.
Pomost pomiędzy inteligencją ludzką i inteligencją sztuczną, czyli modelem biocybernetycznych procesów zachodzących u istot żywych.
Łączy ze sobą sposób działania organizmów żywych z działaniem systemów cybernetycznych.
Systemy cybernetyczne w czasach dzisiejszych usprawniają nasze życie w różnych obszarach, dając nam większe możliwości poznawcze oraz poszerzając nasze zmysły.
Zajmuje się interfejsami człowiek-komputer oraz modelowaniem mechanizmów obliczeniowych z tym związanych, aby ta interakcja mogła być łatwiejsza i przyjemniejsza.
Nauka po poznaniu sposobu działania organizmów żywychoraz asymilacji tych mechanizmów do współdziałania z systemami cybernetycznymi.
BIOCYBERNETYKA
Biocybernetyka obejmuje szeroki obszar nauk technicznych: od informatyki, matematyki, fizyki, biochemii, neurologii, neurobiologii, przez psychologię, socjologię aż po obszary kognitywistyki i filozofii.
Biocybernetyka zajmuje się modelowaniem biologicznych procesów cybernetycznych,a więc obejmuje:
Sztuczne sieci neuronowe
Sztuczną inteligencję
Inteligencję obliczeniową
Obliczenia miękkie
Obliczenia genetyczne
Obliczenia rozmyte
Modelowanie i reprezentację wiedzy
Celem praktycznym jest opracowanie modeli biocybernetycznych lub z zakresu inteligencjiobliczeniowej do rozwiązania wybranych zagadnień naukowych, następnie przygotowanieprezentacji oraz referatu w postaci publikacji naukowej. Przedmiot ten ma więc aktywniewspomagać doktorantów w ich aktywności naukowej i publikacyjnej, bardzo istotnej z punktuwidzenia przygotowania do otwarcia ich przewodów doktorskich oraz prowadzenia dalszychprac badawczych pod opieką ich opiekunów naukowych, zachęcając ich do współpracyi wymiany doświadczeń naukowych.
KOGNITYWISTYKACognitive Science
Kognitywistyka jest nauka o procesach poznawczych, ich modelowaniu, pamięci, formowaniu wiedzy i rozumowaniu. Jest nauką interdyscyplinarną na pograniczu psychologii poznawczej, neurobiologii, neurofizjologii, antropologii, socjologii, informatyki, sztucznej inteligencji, lingwistyki, logiki, fizyki i matematyki.
Kognitywistyka zgłębia tajniki poznawania, uczenia się, percepcji, definiowania pojęć, symboliki, języka, pamięci, myślenia, rozumowania, dedukcji, introspekcji, podejmowania decyzji, reprezentacji mentalnych, emocji, procesami motywacji, jak również formowaniu się w umyśle: wiedzy, inteligencji i świadomości.
Kognitywistyka jest dziedziną nauki zajmującą się obserwacją i modelowaniem działania umysłu (układu nerwowego, a w szczególności mózgu i zmysłów)!
Kognitywistyka symboliczna koncentruje się na modelowaniu abstrakcyjnych funkcji myślowych opartych na symbolach, tworzeniu symbolicznych baz wiedzy (Knowledge Base) i systemów opartych na nich (Knowledge Base Systems).
Architektury kognitywne próbują modelować ludzki umysł: https://en.wikipedia.org/wiki/Cognitive_architecture
Mózg i Neurony
Jak w rzeczywistości działają?
Mózg i Neurony
Uruchamiają wewnętrzne procesy równolegle i często asynchronicznie
Wykorzystują czas do temporalnych i kontekstowych obliczeń
Integrują pamięć z procedurami (algorytmami)
Jak w rzeczywistości działają?
Mózg i Neurony
Automatycznie i kontekstowo kojarzą dane i obiekty
Tworzą samo-organizujące reprezentacje danych i obiektów
Agregują dane i obiekty podobne
Jak w rzeczywistości działają?
Mózg i Neurony
Wykorzystują złożone pamięci o neuronowej strukturze grafowej
Nie są ograniczone modelem obliczeniowym maszyny Turinga
Automatycznie powracają do stanu spoczynku neuronów
Jak w rzeczywistości działają?
Mózg i Neurony
Kojarzą różne informacje w celu uformowania wiedzy
Agregują reprezentacje takich samych i bliskich obiektów
Łączą reprezentacje powiązanych obiektów
Jak w rzeczywistości działają?
Fundamentalne Pytaniei Cele Neurobiologii
Jak informacje są kodowane i dekodowane za pośrednictwem serii impulsów przesyłanych przez aktywowane neurony
po ich potencjałach czynnościowych?
Podstawowym celem neurobiologii jest wyjaśnienieczy neurony komunikują się poprzez częstotliwość pulsów
czy poprzez różnice w czasie pomiędzy impulsami?
Asocjacyjne Neurony Pulsacyjne dowodzą, że upływ czasu pomiędzy kolejnymi impulsami, jak również częstotliwość tych impulsów mają
wpływ na wynik asocjacji oraz obliczeń neuronowych.
Jak w rzeczywistości działają?
Ewolucja Modeli NeuronówGENERACJE MODELI NEURONÓW:
1. Model neuronów McCulloch-Pittsa implementuje tylko najbardziej podstawowe mechanizmy integracji (sumowania) ważonych wejść i progu aktywacji, nie modelując czasu, plastyczności i innych ważnych czynników neuronów.
2. Nieliniowy model neuronów o ciągłej funkcji transferu pozwala na zbudowanie wielowarstwowych sieci neuronowych (tj. MLP) i ich adaptację do bardziej skomplikowanych zbiorów danych uczących, które nie są liniowo separowalne.
3. Modele neuronów impulsowych wzbogacają ten model o implementację paradygmatu czasu, w którym zachodzą różne procesy wewnętrzne w neuronie w trakcie integracji bodźców.
4. Model neuronów asocjacyjno-pulsacyjnych (APN) produkuje serie impulsów, których frekwencja określa wynik działania sieci oraz stopień skojarzenia odpowiedzi z kontekstem wejściowym. Ponadto sieci zbudowane z tych neuronów w wyniku procesów plastycznych są w stanie budować, rozwijać i konfigurować strukturę połączeń pomiędzy neuronami i wyznaczać ich wagi oraz progi aktywacji, dopasowując się do różnych wzorców
i ich sekwencji.
Rzeczywiste neurony są plastyczne!
Neurony Asocjacyjno-Pulsacyjne
Łączą się warunkowo zmieniając swoją wrażliwość na bodźce wejściowe.
Modelują zachowania neuronów w czasie w sieci neuronowej.
Tworzą rzadką grafową strukturę połączeń odwzorowującą różne relacje pomiędzy obiektami, tj. podobieństwa, następstwa, definiowania.
Agregują reprezentacje takich samych lub podobnych obiektów prezentowanych sieci neuronowej za pośrednictwem pól sensorycznych.
Reprezentują te kombinacje bodźców wejściowych, które powodują ich najczęstszą aktywację i w zależności od wrażliwości specjalizują się.
Pozwalają na wywoływanie skojarzonych informacji.
Neurony Asocjacyjno-Pulsacyjne
Implementują mechanizmy integracji bodźców wejściowych w czasie tworzą wewnętrzną kolejkę procesów (internal process queue - IPQ) modelujących reakcje neuronów APN na nie.
Pozwalają na wywoływanie skojarzonych informacji.
Neurony Asocjacyjno-Pulsacyjne
Wewnętrzne procesy modelowane są liniowo, co umożliwia integrację równoległych i nakładających się bodźców w dyskretnych momentach czasu i tylko wtedy, gdy nadchodzi nowy bodziec lub kończy się jakiś proces.
Pozwalają na wywoływanie skojarzonych informacji.
Neurony Asocjacyjno-Pulsacyjne
Implementują mechanizmy plastyczne rzeczywistych neuronów, pozwalających na adaptację i samoorganizację struktury sieci. Mechanizmy te działają warunkowo dostosowując strukturę i parametry sieci do danych wejściowych, kodując klasy obiektów w skojarzonych neuronach.
Pozwalają na wywoływanie skojarzonych informacji.
EKSPERYMENTY I ANIMACJAZ SIECIAMI NEURONOWYMI APNN
Najmocniej skojarzony APNs reprezentujący najbardziej
podobne wzorce uczące pulsujące najczęściej i jako pierwsze!
Teraz spróbujmy stymulować receptory następującymi wartościami[?, 6.0, ?, 5.0, 1.5]. Który obiekt okaże się być najbardziej podobny?
12
Klasa skojarzona ze zwycięzkim obiektem
EKSPERYMENTY I ANIMACJAZ SIECIAMI NEURONOWYMI APNN
Najmocniej skojarzony APNs reprezentujący najbardziej
podobne wzorce uczące pulsujące najczęściej i jako pierwsze!
Weźmy większy zbiór danych uczących i stymulujmy receptory wartościami [?, 6.0, ?, 5.0, 1.5].
KLASYFIKACJA
12 3
APN
Podsumowanie Neurony APN automatycznie kreują dedykowane struktury neuronowe
dla podanych danych treningowych oraz dokonują szybkich porównań i wnioskowanie skojarzeniowe w porównaniu do innych algorytmów.
Sieci neuronowe APNN uczą się i pracują wielokrotnie szybciej niż inne sieci impulsowe, np. Izhikevich spiking neurons, ze względu na liniową integracjębodźców, dyskretną aktualizację neuronów i krótkie kolejki procesów.
Podsumowanie Neurony Asocjacyjno-Pulsacyjne (APNs) reprezentują te rozciągnięte
w czasie kombinacje bodźców wejściowych, które powodują ich aktywację.
Te neurony APN, które zaczynają pulsować jako pierwsze i pulsują najczęściej reprezentują najmocniej skojarzone wartości, obiekty lub informacje powiązane z kontekstem wejściowym oraz reprezentują odpowiedź sieci neuronowej która przekazywane jest w czasie przez sierie impulsów.
PodsumowaniePołączone neurony APN mogą reprezentować różne relacje asocjacyjne:
Podobieństwo wartości lub obiektów
Bliskość obiektów w przestrzeni
Następstwo obiektów w czasie
Kontekst dla dalszych bodźców
PodsumowanieNeurony APN są aktualizowane w dyskretnych i rzadkich momentach czasu:
kiedy nadchodzi bodziec zewnętrzny,
gdy skończy się jakiś wewnętrzny proces.
Ta cecha neuronów APN w połączeniu z odpowiednią implementacją kolejek procesów (IPQ) i globalnej kolejki zdarzeń równoległych (GEQ) decydują o szybkim ich działaniu w trakcie symulacji.
PodsumowanieWewnętrzne procesy neuronów APN są efektywnie zarządzane i porządkowane przez:
Wewnętrzne kolejki procesów IPQ (Internal Process Queue) które integrują wszystkie bodźce do postaci sekwencji kolejnych nie nakładających się procesów w czasie w każdym neuronie.
Globalną kolejkę zdarzeń GEQ (Global Event Queue) która sortuje wszystkie procesy względem czasu ich zakończenie i pilnuje aktualizacji neuronów w czasie.
PodsumowanieSieci APNN udzielają również odpowiedzi na fundamentalne pytanie z neurobiologii dotyczące sposobu kodowanie i dekodowania informacji:
Frekwencja serii impulsów reprezentują siłę skojarzeń pomiędzy obiektami oraz w odniesieniu do kontekstu wejściowego.
Czas pomiędzy impulsami nie koduje informacji, lecz pośrednio wpływa na możliwość reprezentacji i siłę oddziaływania kontekstu.
BIBLIOGRAFIA I LITERATURA1. A. Horzyk, J. A. Starzyk, J. Graham, Integration of Semantic and Episodic Memories, IEEE
Transactions on Neural Networks and Learning Systems, 2017, DOI: 10.1109/TNNLS.2017.2728203.
2. A. Horzyk, J. A. Starzyk, A. Horzyk and J.A. Starzyk, Fast Neural Network Adaptation with Associative Pulsing Neurons, IEEE Xplore, In: 2017 IEEE Symposium Series on Computational Intelligence, pp. 339-346, 2017. - presentation, movie Iris-4, movie Iris-12.
3. A. Horzyk, Deep Associative Semantic Neural Graphs for Knowledge Representation and Fast Data Exploration, Proc. of KEOD 2017, SCITEPRESS Digital Library, 2017.
4. A. Horzyk, Neurons Can Sort Data Efficiently, Proc. of ICAISC 2017, Springer-Verlag, LNAI, 2017, pp. 64-74, ICAISC BEST PAPER AWARD 2017 sponsored by Springer.
5. A. Horzyk, J. A. Starzyk and Basawaraj, Emergent creativity in declarative memories, IEEE Xplore, In: 2016 IEEE Symposium Series on Computational Intelligence, Greece, Athens: Institute of Electrical and Electronics Engineers, Curran Associates, Inc. 57 Morehouse Lane Red Hook, NY 12571 USA, 2016, ISBN 978-1-5090-4239-5, pp. 1-8, DOI: 10.1109/SSCI.2016.7850029.
6. A. Horzyk, Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural Associative Systems, Springer-Verlag, AISC 11156, ISSN 2194-5357, ISBN 978-3-319-19089-1, ISBN 978-3-319-19090-7 (eBook), DOI 10.1007/978-3-319-19090-7, Springer, Switzerland, 2016, pp. 39-51.
7. A. Horzyk, Innovative Types and Abilities of Neural Networks Based on Associative Mechanisms and a New Associative Model of Neurons - Invited talk at ICAISC 2015, Springer-Verlag, LNAI 9119, 2015, pp. 26-38, DOI 10.1007/978-3-319-19324-3_3.
8. Horzyk, A., How Does Generalization and Creativity Come into Being in Neural Associative Systems and How Does It Form Human-Like Knowledge?, Neurocomputing, 2014.
University of Science and Technology
in Krakow, Poland
Adrian Horzyk
Google: Horzyk
BIBLIOGRAFIA I LITERATURA9. Mariusz Flasiński, Wstęp do sztucznej inteligencji, Wydawnictwo Naukowe PWN, Warszawa, 2011.
10. Daniel T. Larose, Odkrywanie wiedzy z danych, Wydawnictwo naukowe PWN, Warszawa 2006.
11. Andrzej Łachwa, Rozmyty świat zbiorów, liczb, relacji, faktów, reguł i decyzji, Akademicka Oficyna
Wydawnicza EXIT, Warszawa, 2001.
12. Ryszard Tadeusiewicz, Elementarne wprowadzenie do techniki sieci neuronowych z przykładowymi
programami, w serii Problemy Współczesnej Nauki, Informatyka, Akademicka Oficyna Wydawnicza PLJ,
Warszawa, 1998.
13. Ryszard Tadeusiewicz, Józef Korbicz, Leszek Rutkowski, Włodzisław Duch, Sieci neuronowe w
inżynierii biomedycznej, 9. tom serii Inżynieria biomedyczna. Podstawy i zastosowania, Akademicka
Oficyna Wydawnicza EXIT, Warszawa, 2013.
14. R. Tadeusiewicz, M. Szaleniec, Leksykon sieci neuronowych, Wrocław, 2015
15. Horzyk, A., Human-Like Knowledge Engineering, Generalization and Creativity in Artificial Neural
Associative Systems, Springer Verlag, AISC 11156, ISSN 2194-5357, 2015.
16. Horzyk, A., Innovative Types and Abilities of Neural Networks Based on Associative Mechanisms and a
New Associative Model of Neurons - referat na zaproszenie na międzynarodowej konferencji ICAISC 2015,
Springer Verlag, LNAI, 2015.
17. Horzyk, A., Sztuczne systemy skojarzeniowe i asocjacyjna sztuczna inteligencja, EXIT, Warszawa, 2013.
18. Tadeusiewicz, R., Horzyk, A., Man-Machine Interaction Improvement by Means of Automatic Human
Personality Identification, Gerhard Goos, Juris Hartmanis, and Jan van Leeuwen (Eds.), Springer, LNCS
8104, 2013.
19. Horzyk, A., Gadamer, M., Associative Text Representation and Correction, Springer Verlag Berlin
Heidelberg, LNAI 7894, 2013, pp. 76-87.
20. Horzyk, A., Information Freedom and Associative Artificial Intelligence, Springer Verlag Berlin Heidelberg,
LNAI 7267, 2012, pp. 81-89.
21. Horzyk, A., Self-Optimizing Neural Network 3, L. Franco, D. Elizondo, J.M. Jerez (eds.), Constructive
Neural Networks, Springer, Series: Studies in Computational Intelligence, Vol. 258, 2009, pp. 83-101.
Adrian Horzyk
Google: Horzyk