ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ 0. ΕΙΣΑΓΩΓΗ

Ioannis E. Antoniou

Mathematics Department Aristotle University

54124,Thessaloniki,Greece iantonio@math.auth.gr

http://users.auth.gr/iantonio

ΠΡΟΓΡΑΜΜΑ ΑΝΤΙΚΕΙΜΕΝΟ ΕΚΠΑΙΔΕΥΤΙΚΟΙ ΣΤΟΧΟΙ ΜΑΘΗΣΗ ΑΣΚΗΣΕΙΣ-ΕΡΓΑΣΙΕΣ ΠΡΟΥΠΟΘΕΣΕΙΣ BΙΒΛΙΟΓΡΑΦΙΑ

ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ ΚΑΙ ΧΑΟΣ 2017 Ημερολογιο 20 Φεβρoυαριου 01 Εισαγωγη 06 Μαρτιου 02 Παρατηρηση, Μηνυματα, Χρονοσειρες,

Τυχαιες Μεταβλητες, Διαμερισεις, Λογικη 13 Μαρτιου 03 Δειγματοληψια Διακριτοποιηση, Ψηφιοποιηση 20 Μαρτιου 04 Πληροφορια και Εντροπια 27 Μαρτιου 05 Πληροφορια και Εντροπια 03 Απριλιου 06 Εντροπια και Αλληλοεξαρτηση 24 Απριλιου 07 Εντροπια και Αλληλοεξαρτηση 30 Απριλιου 08 Πηγες Πληροφοριας (Στοχαστικες Διαδικασιες) 08 Μαιου 09 Πηγες Πληροφοριας (Δυναμικα Συστηματα, Χαος) 15 Μαιου 10 Διαυλοι Επικοινωνιας

(Μετασχηματισμοι Στοχαστικων Διαδικασιων, Δυναμικων Συστηματων)

22 Μαιου 11 Κωδικοποιηση Δυαδικοι Κωδικες 29 Μαιου 12 Δικτυα Επικοινωνιας 9 Ιουνιου 08:15-11:15

ΕΞΕΤΑΣΕΙΣ Δ11

ΕΑΡΙΝΟ Εξαμηνο ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ ΚΑΙ ΧΑΟΣ Διδασκων Αντωνιου Ι. Ωρες - Τοπος Δευτερα 12:15 – 15:00 Αιθουσα Μ0 Απαιτησεις

Βασικες Γνωσεις: Αναλυση Γραμμικη Αλγεβρα Πιθανοτητες, Στατιστικη Digital Literacy = Ψηφιακη Ευχερεια (Υπολογιστες, Διαδικτυο) Αγγλικα

ΑΞΙΟΛΟΓΗΣΗ

5-7 Βασικη Κατανοηση 8-9 Εμπεδωση 10 Εμβαθυνση-Εφαρμογες

Εξεταση

Παρουσιαση Εργασιων και Συζητηση επι των Ασκησεων-Εργασιων Οι Ασκησεις-Εργασιες - διδονται/συζητωνται κατα το Μαθημα - βαθμολογουνται αναλογα με την δυσκολια - παραδιδονται/συζητωνται/αξιολογουνται εως την ημερα Εξετασης - μπορουν να γραφονται στα Αγγλικα η Παραδοσιακα (Γραπτη Εξεταση)

Η Στατιστικη Αναλυση Πληροφοριας διδασκεται από το 2005-6. Κατα το Ακαδημαικο Ετος 2012-3 μετονομαζεται «ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ» με σχετικη αναμορφωση του περιεχομενου, καθ’ υποδειξιν των Φοιτητων του Ακαδημαικου Ετους 2011-2. Κατά την διδασκαλια επεσημαναν ότι αφου η Θεωρια Πληροφοριας εχει προστιθεμενη αξια μονο στην περιπτωση Πηγων περιορισμενης προβλεψιμοτητας, δηλαδη Πηγων με Χαος, χρειαζεται περισσοτερη εμβαθυνση στο Χαος. Για τις επισημανσεις αυτές ευχαριστω τους κ.κ. Γκόλτσιου Κ., Ιωαννίδου Δ., Καμάκα Ι., Κανελλοπούλου Α., Κανούλα Ε., Καρυώτη Κ.-Β., Μαραντίδη Π., Τσέρκη Σ. Προαπαιτούμενα: Οι βασικες γνωσεις και η ευρύτερη μαθηματική παιδεία που προσφέρεται από το Τμημα Μαθηματικων. Καλλιεργειται η δημιουργικη συνθεση της γνωσης των φοιτητων από τα μαθηματα Αναλυσης, Αλγεβρας, Πιθανοτητων και Στατιστικης, μεσω Εφαρμογων καθως και Θεωρητικης Επεξεργασιας. Το Μαθημα είναι προσιτο και σε φοιτητες αλλων Τμηματων οι οποιοι δυνανται να αξιοποιησουν την Θεωρια Πληροφοριας ως εργαλειο κατανοησης και επιλυσης προβληματων και να επικεντρωθουν σε εφαρμογες σχετικες με τα ενδιαφεροντα τους

Πηγες Πληροφοριας είναι οι Παρατηρησιμες Φυσικες Διαδικασιες (Ριψη Ζαριων, Κινηση Brown, Θερμικος Θορυβος Κυκλωματων, Καιρος, Ραδιενεργες Διασπασεις, Συγγραφεις, Καλλιτεχνες) και τα σχετικα Μαθηματικα Μοντελα (Δυναμικα Συστηματα και Στοχαστικες Διαδικασιες). Η προσομοίωση των Στοχαστικων Διαδικασιων γινεται με Γεννητριες Τυχαιων Αριθμων Knuth D. 1997, The Art of Computer Programming, Volume 2: Seminumerical Algorithms, 3d Edition, Addison-Wesley Reading, Massachusetts. Οι Γεννητριες Τυχαιων Αριθμων είναι απλα Χαοτικα Δυναμικα Συστηματα. Meyers R. (Ed.) 2009, Encyclopedia of Complexity and Systems Science, Springer, New York. Skiadas Christos, Skiadas Charilaos 2009, Chaotic Modelling and Simulation. Analysis of Chaotic Models, Attractors and Forms, CRC Press, London Choe G. 2005, Computational Ergodic Theory, Springer, berlin Katok A., Hasselblatt B. 1995, Introduction to the Modern Theory of Dynamical Systems, Cambridge University Press, Cambridge, UK Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Devaney R. 1992, A First Course in Chaotic Dynamical Systems. Theory and Experiment, Addison-Wesley, Reading, Massachusetts Antoniou I. 1991, "Information and Dynamical Systems", p221-236 in "Information Dynamics", ed. Atmanspacher H. , Scheingraber H., Plenum, New York

Αλλωστε o Kolmogorov επεσημανε οτι τα Χαοτικα Δυναμικα Συστηματα παραγουν χροσειρες τις οποιες δεν μπορουμε να διακρινουμε από χρονοσειρες που παραγονται από στοχαστικες διαδικασιες. Το εγγενες κοινο γνωρισμα αυτων των Συστηματων είναι ο ρυθμος παραγωγης Πληροφοριας. Sinai Ya. 1989, Kolmogorov’s Work on Ergodic Theory, Annals of Probability 17, 833-839 Arnold V. 2008, Orbits’ Statistics in Chaotic Dynamical Systems, Nonlinearity 21 (2008) T109–T112, doi:10.1088/0951-7715/21/7/T02 Εξ αλλου οι πλειστες Στοχαστικες Διαδικασιες προκυπτουν ως προβολη Χαοτικων Δυναμικων Συστηματων. Antoniou I., Christidis Th., Gustafson K. 2004, “Probability from Chaos”, Int. J. Quantum Chemistry 98,150-159 Antoniou I., Gustafson K. and Shkarin S.A. 2004, “Positive Dilations of piecewise monotonic Markov maps”, Inf. Dim. Anal. Quantum Probability 7, 261-269 Αυτη είναι μια απαντηση στο Αντιστροφο προβλημα της Στατιστικης Μηχανικης: Ποια Δυναμικα Συστηματα μπορουν να μοντελοποιησει μια δεδομενη Στοχαστικη Διαδικασια? Η μοντελοποιηση Φυσικων Διαδικασιων με Δυναμικα Συστηματα και Στοχαστικες Διαδικασιες αποτελει αντικειμενο της Στατιστικης Φυσικης Honerkamp J. 1998, Statistical Physics. An Advanced Approach with Applications, Springer, Berlin. Farquhar I. 1964, Ergodic Theory in Statistical Mechanics, Wiley, New York Jancel R. 1963, Foundations of Classical and Quantum Statistical Mechanics, Gauthier-Villars, Paris; Pergamon Press, Oxford, U.K. 1969

ENTROPY and Information Theory Content ΠΛΗΡΟΦΟΡΙΑ και ΕΝΤΡΟΠΙΑ INFORMATION and ENTROPY

Observation, Messages (Events), Logic of Events Information of Events (Messages) Entropy is the Average Information

ΕΞΑΡΤΗΣΗ απο ΕΝΤΡΟΠΙΑ DEPENDENCE from ENTROPY

Joint Entropy Dependence from Information Exchange

ΠΗΓΕΣ ΠΛΗΡΟΦΟΡΙΑΣ SOURCES of INFORMATION

Physical: Time series from Observations. Radioactivity, Weather,… Mathematical: Time series from Model Computations-Simulations • Dynamical Systems (Differential Eqs, Difference Eqs) • Stochastic Processes • Games

ΔΙΑΥΛΟΙ ΚΩΔΙΚΕΣ ΔΙΚΤΥΑ Channels Codes Nets

Channels are Transformation of Messages (Stochastic Processes) Coding = Deterministic Channels • Low Cost Transmission Conventional Communication Engineering • Error Correction Conventional Communication Engineering • Cryptography Trust • Robustness-Adaptability Life Information Processing involving Many Channels Network Information Theory

The Communication Model and Information Theory Τι ειναι Πληροφορια? Πληροφορια είναι ο Πορος (Resource) που μεταβιβαζεται (transmitted) κατά την Επικοινωνια με την μορφη Μηνυματων Επικοινωνια είναι η ανταλλαγη Μηνυματων Υπαρχω ⟺ Επικοινωνω Διαφορα Πληροφοριας – Ενεργειας Η Πηγη Πληροφοριας δεν χανει την Πληροφορια που παρεχει!

Information Theory H Θεωρια Πληροφοριας ειναι το Μαθηματικο Μοντελο της Επικοινωνιας Πως οριζεται - υπολογιζεται η Πληροφορια? Πληροφορια από την Παρατηρηση Γεγονοτος Ποση Αβεβαιοτητα αιρεται? Ποσο αυξανει η Βεβαιοτητα των Αποφασεων που θα λαβω? Ποσο μειωνεται το ρισκο? Εντροπια: η Αναμενομενη Πληροφορια από Πολλα Γεγονοτα

Οι 7 Δρομοι Προς την Εντροπια Θερμοδυναμικη Εντροπια Clausius

Θερμικες Μηχανες, Βαθμοι Ελευθεριας Αβεβαιοτης Εκτιμησης της καταστασης του Συστηματος Επιτρεπτες Μεταβολες, Το Βελος του Χρονου

Στατιστικη Μηχανικη Εντροπια Βοltzmann-Planck-Gibbs

Παρατηρηση Moριακης Καταστασης Συστηματος

Eπικοινωνια Πληροφορια Wiener Εντροπια Shannon

Παρατηρηση Γεγονοτων, Κωδικοποιηση και Μεταφορα Μηνυματων, Αναμενομενη Πληροφορια (Εκπληξη-Αβεβαιοτητα) Κρυπτογραφια

Υπολογιστες Εντροπια Kolmogorov

Αλγοριθμικη Πολυπλοκοτης, Παραγωγη Εντροπιας

Στατιστικη

Διασπορα, Precision, Accuracy, Kατηγορικες Μεταβλητες Εξαρτηση Μη Γραμμικη / Κατηγορικες Μεταβλητες Εκτιμησεις: Θεωρημα Kramer-Rao. Πληροφορια Fisher Ελεγχος Υποθεσεων. Αποκλιση Kullback-Leibler

Οικολογια Βιοποικιλοτης Οικονομια, Παιγνια Utility, Wealth Distribution

Συμβολισμος 𝒾 Η Πληροφορια Γεγονοτων

𝒾𝐻𝐻𝐻𝐻𝐻𝐻𝐻 H Πληροφορια Hartley 𝒮 Η Εντροπια (Μεση Τιμη της Πληροφοριας) 𝒮𝑏 H Εντροπια με βαση Λογαριθμου b

𝒮2 = 𝒮𝑆𝐻𝐻𝑆𝑆𝑆𝑆 = 𝒮 H Εντροπια Shannon (b=2) 𝒮𝐵𝐵𝐵 Η Εντροπια Boltzmann-Planck-Gibbs 𝒮𝑄 Η Τετραγωνικη Εντροπια 𝒮R,α Η Εντροπια Renyi ταξεως α 𝒮𝐹 Η Πληροφορια Fisher

ℐ =𝒮

𝒮𝑚𝑚𝑚 H Κανονικοποιημενη Εντροπια

(τιμες στο Διαστημα [0,1]) 𝒮[𝛢,𝛣] Η Κοινη Εντροπια των Μεταβλητων Α, Β ℐ[𝛢,𝛣] H Κανονικοποιημενη Κοινη Εντροπια 𝒮[𝛣|𝛢] Η Δεσμευμενη Εντροπια της Μεταβλητης Β από την Μεταβλητη Α ℐ[𝛣|𝛢] H Κανονικοποιημενη Δεσμευμενη Εντροπια 𝒮[𝛢;𝛣] Η Αμοιβαια Πληροφορια των Μεταβλητων Α, Β

ℐ[𝛢;𝛣] = 𝐼𝐻𝐵 H Κανονικοποιημενη Αμοιβαια Πληροφορια 𝒟[𝑝: 𝑞] Η Αποκλιση Kullback – Leibler της κατανομης p από την κατανομη q 𝒽 H Παραγωγη Εντροπιας

Ο Συμβολισμος επελεγη αντι του συμβολισμου Shannon (H αντι 𝓢) για 2 λογους: 1) Εναρμονιση της Θεωριας Shannon με την Θερμοδυναμικη και την Στατιστικη Φυσικη 2) Προληψη συγχισης διοτι στην Κλασσικη και Κβαντικη Μηχανικη καθως και στην Στατιστικη Φυσικη το Συμβολο (Η) υποδηλει την Συναρτηση Ενεργειας (Hamiltonian). Όταν η συζητηση περιλαμβανει και την Ενεργεια ο Συμβολισμος (𝒮), σαφως πλεονεκτει Tribus M. , Mc Irving E. 1971, Energy and Information, Scientific American 225, 179-88.

Συστημα Επικοινωνιας Shannon Communication Model Η μεταδοση Πληροφορίας απαιτεί: Τον Διαυλο Επικοινωνιας ενα φυσικό συστημα-φορεα πού συνδέει στό χώρο καί στo χρόνο την Πηγη της Πληροφοριας με τον Αποδεκτη της Πληροφοριας.

SOURCE TRANSMITTER CHANNEL RECEIVER MESSAGE DESTINATION Nature Observable

Events Experimental Devise

Voltmeter Thermometer Tηλεσκοπιο

Changes of Variables Scientist

Show TV Station EM Field TV-Receiver Images,Sounds Τηλεθεατης Αuthor Editor Distribution

Network Eyes, Brain Text People

Orchestra Amplifier Concert Hall Ears,Eyes, Brain

Musical Piece People

Painter Painting Exhibition Hall

Eyes, Brain Image People

Genotype DNA Biomolecular Web

Phenotype Bio-Information Organism

People

PC Internet WWW

PC Email,Text,Image,Video People

Producers Sellers MARKET Buyers Product Consumers

Πληροφορια Εφαρμογες Στατιστικη Φυσικη Σε μικρο και μακρο κλιμακες Στατιστικη Εκτιμησεις, Εξαρτησεις, Αποφασεις, Ελεγχος Υποθεσεων Υπολογιστες, Ορια Υπολογισιμοτητας Εκτιμησεις Πολυπλοκοτητας

Χρονος Επεξεργασιας Χωρος Επεξεργασιας (Μνημη) Αξιολογηση Αλγοριθμων Επεξεργασιας Αλγοριθμοι Αναζητησης Προσεγγισεις

Δικτυα Επικοινωνιας Internet, WWW, Σημασιολογικος Ιστος Γνωση, Οντολογιες Koινωνικα Δικτυα, Κοινωνια Γνωσης, Koινωνιολογια Ασφαλεια, Αξιοπιστια, Απατη, Πολεμος e-Government, e-Business

Βιολογια Μοριακη Βιολογια, Βιοποικιλοτης, Ιατρικη Διακριση Παθογενειων, Αξιολογηση θεραπειων Οικονομια, Παιγνια Χρηματο-οικονομικα, Risk, Αποφασεις Γλωσσολογια Χαρακτηρισμος Γλωσσων Μαθηση-Νοημοσυνη Ψυχολογια Κοινωνιολογια

Shannon introduced the qualitative and quantitative statistical model of communication “Τhe fundamental problem of communication is that of

reproducing at one point, (DESTINATION) either exactly or approximately, a Message selected at another point (SOURCE)

Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages. The system must be designed to operate for each possible selection, not just the one which will actually be chosen since this is unknown at the time of design.” Shannon Information Theory is Syntactic Information Theory The Meaning of Symbols is not considered Γενικευση μεσω Δικτυων: Σημασιολογικη Πληροφορια, Γνωση, Οντολογιες

SEMANTIC PROCESSING The paradox of Poetry and Information theory Quotation from Alfred Renyi by his student [Szekery G. 1986, Paradoxes in Probability and Statistics, Reidel,Dordrecht].

"Since I started to deal with information theory I have often meditated upon the conciseness of poems; How can a single line of verse contain far more 'information' than a highly concise telegram of the same length. The surprising richness of meaning of literary works seems to be in contradiction with the laws of information theory. The key to this paradox is, I think, the notion of “resonance”. The writer does not merely give us information, but also plays on the strings of the language with such virtuosity, that our mind, and even the subconscious self resonate. A poet can recall chains of ideas, emotions and memories with a welI-turned word. In this sense, writing is magic."

Words in a Text are not independent, they interact. As they are nodes in Semantic Nets Semantic Processing in the Directed Semantic Graph (Ontology) In parallel to the Syntactic Processing πάντα ἀλλήλοις δύναμιν ἔχειν ἐπικοινωνίας Πλατων Σοφιστης 252δ διὰ γὰρ τὴν ἀλλήλων τῶν εἰδῶν συμπλοκὴν ὁ λόγος γέγονεν ἡμῖν. (Ο λόγος εχει γινει διοτι τα ειδη (των εννοιων) αλληλο-συμπλεκονται. Πλατων Σοφιστης 259ε

The 5 Basic Theorems of (Syntactic) Information Theory 1. Source Coding Theorem= Data Compression Theorem= = Shannon-McMillan-Breiman Theorem = Ergodic Thm = Asymptotic Equipartion Thm Find shortest sequences to code messages 2. Channel Coding Theorem Reliable Information Transmission over Unreliable (Noisy) Channels Error Correction Codes 3. Rate Distortion Theorem Min Distortion 4. Sampling Theorem How to Transform Continuous (Functions) Messages to Discrete (Functions) Messages 5. Cryptography Theorem Min Information Rate for Max (Unconditional) Security

Η Θεωρια Πληροφοριας μας προσδιοριζει τα ορια του Εφικτου (τι δυναται να γινει). Ο Σχεδιασμος της Υλοποιησης είναι Τεχνη-Τεχνικη. Knowledge Processing 21st Century Meta-Data Feature Selection Meaning (Νοημα), Significance (Σημασια) Semantic Processing (Σημασιoλογικη Επεξεργασια) Ontologies (Οντολογιες) Semantic Web Mind, Consciousness, Self

ΕΚΠΑΙΔΕΥΤΙΚΟΙ ΣΤΟΧΟΙ H Aποστηθηση Γυζης

Το Κρυφο Σχολειο

Κου-Κου

Η Αρμονια

Μαθηση Αντιληψη Εμπειρια

Ιστορια Those who lack a sense of the Past are condemned to live in the narrow darkness of their own generation [Old Armenian Proverb] Διαισθηση Φιλοσοφια, Τεχνη

Κατανοηση Λογικες Σχεσεις-Δομη Αφαιρεση-Εμβαθυνση Αποδειξεις «Καθαρα» Μαθηματικα

Εμπεδωση Λυση Προβληματων Εφαρμογες «Εφαρμοσμενα» Μαθηματικα

Νυξεις για οσους ενδιαφερονται να προχωρησουν παραπερα

ΑΣΚΗΣΕΙΣ-ΕΡΓΑΣΙΕΣ ΕΠΩΝΥΜΟ ΟΝΟΜΑ ΑΡΙΘΜΟΣ ΜΗΤΡΩΟΥ Ημερομηνια ----------------------------------------------------------------------------- ΕΡΓΑΣΙΑ στο Μαθημα ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΠΛΗΡΟΦΟΡΙΑΣ 2008-9 ΘΕΜΑ: Το Θεωρημα Liouville ----------------------------------------------------------------------------- ΠΕΡΙΛΗΨΗ: 4-8 γραμμες ΠΕΡΙΕΧΟΜΕΝΑ: εάν κρινεται χρησιμο (μεγαλες Εργασιες) ΕΙΣΑΓΩΓΗ εάν κρινεται χρησιμο (μεγαλες Εργασιες) ΟΡΟΙ-ΕΝΝΟΙΕΣ: οριζονται με σαφηνεια και ακριβεια ειτε με παραπομπη στην βιβλιογραφια ΠΡΟΤΑΣΕΙΣ,ΘΕΩΡΗΜΑΤΑ: διατυπωνονται με σαφηνεια και ακριβεια ειτε με παραπομπη στην βιβλιογραφια

ΑΠΟΔΕΙΞΕΙΣ: πληρεις , ότι αναφερεται τεκμηριωνεται λεπτομερως αποφευγουμε εκφρασεις "ευκολα φαινεται ότι…" . Η τεκμηριωση μπορει να γινεται με συντομη επεξηγηση και αναφορα στην βιβλιογραφια , πχ. Για την κατασκευη των ιδιοσυναρτησεων παραπεμπουμε στην εργασια Antoniou et al (2000), Θ. 12.1, σ. 37. Στα πλαισια της εργασιας χρησιμοποιουμε την αποδειξη του Arnold (1978), Θ. 12.1, σ. 37. ΣΥΜΠΕΡΑΣΜΑΤΑ, ΠΡΟΟΠΤΙΚΕΣ: εάν κρινεται χρησιμο

ANAΦΟΡΕΣ- ΒΙΒΛΙΟΓΡΑΦΙΑ: Ακολουθωντας την σειρα εμφανισης στο κειμενο [1] Arnold V.I., Ordinary Differential Equations, MIT Press, Cambridge, MA (1978). [2] Yosida K., Lectures on Differential and Integral Equations, Interscience, New York (1960); reprint Dover, New York (1991). [3] Antoniou I.,Shkarin S., Analyticity of Smooth Eigenfunctions and Spectral Analysis of the Gauss Map, J. Stat. Phys. 111, 355-369 (2003). [4] Antoniou I., Shkarin S., Spectral Analysis of Operators of Chaos, Proc. 9th Math. Αnalysis Conference, Crete (2003). [5] http…Chaos… / …Prigogine, Laws of Chaos (2006-12-13) Αλφαβητικα Arnold V.I. 1978, Ordinary Differential Equations, MIT Press, Cambridge, MA Antoniou I.,Shkarin S. 2003a, Analyticity of Smooth Eigenfunctions and Spectral Analysis of the Gauss Map, J. Stat. Phys. 111, 355-369 Antoniou I., Shkarin S. 2003b, Spectral Analysis of Operators of Chaos, Proc. 9th Math. Αnalysis Conference, Crete. Prigogine 2006-12-13, Laws of Chaos, http…Chaos… /… Yosida K. 1960, Lectures on Differential Equations, Interscience, New York; reprint Dover, New York Εαν η Εργασια δεν εχει δημοσιευτει, τοτε Προστιθεται κατα περιπτωση [submitted] [accepted] [in press]

Παραδοση Εργασιας Καθε Φοιτητης,-ρια εχει τον Φακελλο του οπου ευρισκονται οι Εργασιες του Στον Φακελο Εργασιας μπορειτε να εχετε εφ οσον χρειαζονται Εργασιες Αλλων, Προγραμματα που γραψατε η Βρηκατε

Προσοχη! 1) Το κειμενο Καθε Εργασιας πρεπει να ειναι δομημενο. Οχι Moνο Copy→Paste με αλλαγη συμβολων 2) Δεν γραφονται λεξεις η προτασεις που δεν ειναι κατανοητες. 3) Αξιολογειται η Κατανοηση του θεματος. Εαν Διαπιστωθει οτι ο συντακτης δεν διαφερει απο Ψηφιακο Επεξεργαστη, ο βαθμος της Εργασιας ειναι Μηδεν 4) Μπορειτε να ρωτατε πριν παραδωσετε ειτε να δηλωνετε οτι δεν εχετε κατανοησει

ΠΡΟΥΠΟΘΕΣΕΙΣ Βασικες Γνωσεις: Αναλυση Γραμμικη Αλγεβρα Πιθανοτητες, Στατιστικη Digital Literacy = Ψηφιακη Ευχερεια (Υπολογιστες, Διαδικτυο) Αγγλικα Επαγγελματισμος {οχι Ρητορικες Kενολογιες} Eφεση, Αγαπη {η ζωη δεν ειναι βαρετη αγγαρεια} Knowing Ignorance is Strength. Ignoring Knowledge is Sickness [Lao Tsu 600BC , Tao Te Ching]

BΙΒΛΙΟΓΡΑΦΙΑ Probability, Statistics Billingsley P. 1985, Probability and Measure, Wiley, New York Caratheodory C. 1919, Uber den Wiederkehrsatz von Poincare, Sitz. Preuss. Akad. Wiss. Phys. Math. 580-584. Caratheodory C. 1956, Algebraic Theory of Measure and Integration, 2nd ed., Chelsea, New York 1986 Cox R. 1961, The Algebra of Probable Inference, John Hopkins Press, Baltimore. Doob J.L. 1953 Stochastic Processes, Wiley, New York. Doob J.L. 1994 Measure Theory, Springer-Verlag New York. Epstein R. 1977, The Theory of Gambling and Statistical Logic, Academic Press, London Feller W. 1968, An Introduction to Probability Theory and Its Applications I, Wiley, New York Feller W. 1971, An Introduction to Probability Theory and Its Applications II, Wiley, New York Ferguson T. 1997, Mathematical Statistics: a Decision Theoretic Approach, Academic Press Gardiner C. 1983, Handbook of Stochastic Methods for Physics, Chemistry and the Natural Sciences, Springer, Berlin Gheorghe A. 1990, Decision Processes in Dynamic Probabilistic Systems, Kluwer, Dodrecht Gray R. 1988, Probability, Random Processes and Ergodic Properties, Springer, New York. Halmos P. 1944, The Foundations of Probability Am. Math. Monthly 51, 493-510 Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Kallenberg O. 2001, Foundations of Modern Probability, 2nd ed., Springer, Berlin Kolmogorov A.N. 1933, Foundations of the Theory of Probability, 2nd English Edition, Chelsea, New York 1956. Kolmogorov A.N. and Fomin S.V. 1970, Introductory Real Analysis, Dover, New York 1975. Whittle W. 2000, Probability via Expectation, 4th ed., Springer, Berlin Van Kampen N. 1981, Stochastic Processes in Physics and Chemistry, North-Holland, Amsterdam Information, Entropy Applebaum D. 2008, Probability and Information. An Integrated Approach 2nd ed, Cambrigre Univ. Press, Cambridge, UK. Ash, R. 1965, Information Theory, Wiley; Dover, New York 1990. Berstel J., Perrin D. , Reutenauer C. 2009, Codes and Automata, Cambridge University Press. Billingsley P. 1965, Ergodic Theory and Information, Wiley, New York

Blum L., Cucker F., Shub M., Smale S. (1998) Complexity and Real Computation, Springer, New York. Brillouin L. 1956, Science and Information Theory, Academic Press, New York. Cover T.,Thomas J. 2006, Elements of Information Theory, Wiley, New York Cucker F. , Smale S. 2001, On the Mathematical Foundations of Learning, Bull. Am. Math. Soc. 39, 1-49 Frieden R. 2004, Science from Fisher Information: A Unification, Cambridge University Press, Cambridge. Girardin V. 2005, On the Different Extensions of the Ergodic Theorem of Information Theory, in “Recent Advances in Applied Probability”, ed. Baeza-Yates R., Glaz J.,ea, Springer, Boston, 163-179. Golomb S., Berlekamp E., Cover T. , Gallager R., Massey J. , Viterbi A. 2002, Claude Elwood Shannon (1916–2001), AMS Notices 49, 8-16 Gray R. 1990, Entropy and Information Theory, Springer, New York. Han, Te Sun 2003, Information-Spectrum Methods in Information Theory, Springer, New York. Jelinek F. 1968, Probabilistic Information Theory, MacGraw-Hill, New York. Kakihara Y. 1999, Abstract Methods in Information Theory, World Scientific, Singapore Khinchin A. 1957, Mathematical Foundations of Information Theory, Dover, New York. Kotelnikov V. A. 1933 , On the carrying capacity of the ether and wire in telecommunications, First All-Union Conference on Questions of Communication, Izd. Red. Upr. Svyazi RKKA, Moscow Kullback S. 1968, Information Theory and Statistics, Dover, New York. Levin B. 1982, Statistical Communication Theory and its Applications, Mir, Moscow. Li M.,Vitanyi P. 1993, An Introduction to Kolmogorov Complexity and its Applications, Springer. New York MacKay D. 2003, Information Theory, Inference, and Learning Algorithms, Cambridge ,UK. Nyquist H.1928 , Certain topics in telegraph transmission theory, Trans. AIEE 47, 617-644. Reprint as classic paper in: Proc. IEEE, Vol. 90, No. 2, Feb 2002 Pinsker M. 1964, Information and Stability of Random Variables and Processes, Holden-Day, San Francisco. Rényi A. 1961, On Measures of Entropy and Information, Proc. 4th Berkeley Symposium on Mathematics, Statistics and Probability, University of California Press, p 547-561 Renyi A. 1984, A Diary in Information Theory,Wiley, New York. Reza F. 1961, An Introduction to Information Theory, McGraw-Hill, New York ; Dover Reprint (1994) Rohlin V. 1967, Lectures on the Entropy Theory of Measure Preserving Transformations, Russ. Math. Surv. 22, No 5,1-52 Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana. Shannon C. 1949, Communication in the presence of noise, Proc. Institute of Radio Engineers 37, 10-21. Reprint as classic paper in: Proc. IEEE, Vol. 86, No. 2, (Feb 1998) Urbanik K. 1973, On the Definition of Information, Rep. Math. Phys. 4, 289-301

Yanglom A. ,Yanglom I. 1983, Probability and Information, Reidel, Dordrecht. Yockey R. 2005, Information Theory, Evolution and the Origin of Life, Cambridge Univ. Press, New York Yeung R. 2002, A First Course in Information Theory. Norwell, MA/New York: Kluwer/Plenum Dynamical Systems, Chaos, Stochasticity Antoniou I., Christidis Th., Gustafson K. 2004, “Probability from Chaos”, Int. J. Quantum Chemistry 98,150-159 Antoniou I., Gustafson K. and Shkarin S.A. 2004, “Positive Dilations of piecewise monotonic Markov maps”, Inf. Dim. Anal. Quantum Probability 7, 261-269 Antoniou I. 1991, "Information and Dynamical Systems", p221-236 in "Information Dynamics", ed. Atmanspacher H. , Scheingraber H., Plenum, New York Arnold V. 2008, Orbits’ Statistics in Chaotic Dynamical Systems, Nonlinearity 21,T109–T112, doi:10.1088/0951-7715/21/7/T02 Choe G. 2005, Computational Ergodic Theory, Springer, Berlin Devaney R. 1992, A First Course in Chaotic Dynamical Systems. Theory and Experiment, Addison-Wesley, Reading, Massachusetts Farquhar I. 1964, Ergodic Theory in Statistical Mechanics Wiley, New York Honerkamp J. 1998, Statistical Physics. An Advanced Approach with Applications, Springer, Berlin. Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York Katok A., Hasselblatt B. 1995, Introduction to the Modern Theory of Dynamical Systems, Cambridge University Press, Cambridge, UK Jancel R. 1963, Foundations of Classical and Quantum Statistical Mechanics, Gauthier-Villars, Paris; Pergamon Press, Oxford, U.K. 1969 Knuth D. 1997, The Art of Computer Programming, Volume 2: Seminumerical Algorithms, 3d Edition, Addison-Wesley Reading, Massachusetts. Meyers R. (Ed.) 2009, Encyclopedia of Complexity and Systems Science, Springer, New York. Skiadas Christos, Skiadas Charilaos 2009, Chaotic Modelling and Simulation. Analysis of Chaotic Models, Attractors and Forms, CRC Press, London Sinai Ya. 1989, Kolmogorov’s Work on Ergodic Theory, Annals of Probability 17, 833-839

Δικτυα Antoniou I. , Tsompa E. 2008, Statistical Analysis of Weighted Networks, Discrete Dynamics in Nature and Society 375452, doi:10.1155/2008/375452. Barabasi A.-L. 2002, Linked: The new Science of Networks, Perseus, Cambridge Massachussetts. Bondy J. and Murty U. 2008, Graph Theory, Springer. Bollobas B. , 1985, Random Graphs, Academic Press, London. Dehmer M. 2008, Information-Theoretic Concepts for the Analysis of Complex Networks, Applied Artificial Intelligence 22, 684–706 Dehmer Μ., Mowshowitz A. 2011, A history of graph Εntropy measures, Information Sciences 181, 57-78 De Nooy W., Mrvar A., Batagelj V., 2007, Explanatory Social Network Analysis with Pajek, Cambridge University Press, NY. Dorogovtsev S., Mendes G. , 2003, Evolution of Networks, Oxford Univ. Press, UK. Easley D. and Kleinberg J., 2010, Networks, Crowds, and Markets: Reasoning about a Highly Connected World, Cambridge University Press. Baldi P., Frasconi P. and Smyth P., 2003, Modeling the Internet and the Web, Wiley, West Sussex. Boccaletti S., Latora V., Moreno Y., Chavez M., Hwang D.-U., 2006, Complex networks: Structure and dynamics, Physics Reports, 424, 175 – 308. Brandes U., Erlebach T. 2005, Network Analysis, Springer-Verlag Berlin Heidelberg. Li J. ,ea 2008, Network Entropy Based on Topology Configuration and Its Computation to Random Networks, Chin. Phys. Letters 25, 4177-4180 Rosen K. et al., 2000, Handbook of Discrete and Combinatorial Mathematics, CRC Press, USA. Sole R. and Valverde S. 2004, Information Theory of Complex Networks: on Evolution and Architectural Constraints, Lect. Notes Phys. 650, 189-204 Tutzauer F. 2007, Entropy as a measure of centrality in networks characterized by path-transfer flow, Social Networks 29, 249–265