Upload
biana
View
34
Download
0
Embed Size (px)
DESCRIPTION
VERAP: VERification Approchée de systèmes Probabilistes. Michel de Rougemont Université Paris II & LRI http://www.lri.fr/~mdr/verap/. Equipes de Recherche. Université Paris-Sud Algorithmes et Complexité F. Magniez M. de Rougemont M. Santha M. Tracol (thésard depuis 2007) - PowerPoint PPT Presentation
Citation preview
1
VERAP: VERification Approchée de systèmes Probabilistes
Michel de Rougemont
Université Paris II & LRI
http://www.lri.fr/~mdr/verap/
1. Université Paris-Sud• Algorithmes et Complexité
• F. Magniez• M. de Rougemont• M. Santha• M. Tracol (thésard depuis 2007)• 2 Nouveaux thésards en 2009: X. Zeitoun et C. Konrad
• Test formel/Parallélisme• M.C. Gaudel• T. Hérault• S. Peyronnet• F. Zaidi
2. Université Paris VII: Logique mathématique• A. Durand• R. Lassaigne
Equipes de Recherche
3
Sujets
Systèmes probabilistes:– Chaines de Markov étiquetées– MDP: Markov Decision Processes– Réseaux de capteurs
Vérification approchée:– Test de propriété – Black-Box Checking– Conformance Testing– MC probabiliste
4
http://www.lri.fr/~mdr/verap/
5
I
I
III
I
I
II
6
Tâches et Fonctionnement de Verap
1. AD: Approximate Distance.
2. AVP: Approximate Verification of a Property.
3. EPE: Estimation of the Probability by approximate Enumeration.
4. ABCT: Approximate Black-Box and Conformance Testing.
5. ST: Streaming Testers.
Fonctionnement:• Rdv toutes les 2 semaines, • Workshop tous les trimestres.
7
Plan
1. AD et AVP: Approximate Verification of a Property.
– Système Markovien: approximation de la probabilité de satisfaire une formule,
– MDP (non déterminisme et probabilités): approximation sur les traces.
– Réseaux de capteurs: représentation compacte (démo)
2. EPE et ABCT: Approximate Black-Box and Conformance Testing.
3. ST: Streaming Testers.
8
I. Chaines de Markov et MDPs [AVP]
Vérifier: Pr[Après chaque a il y a un b]>0.9 ? Pour toute stratégie,Pr[Densité de a >0.3 ]=1? Pr[Après chaque a il y a un b]>0.9 ?
Pr[Densité de a >0.3 ]=1?
t u
a a
: .5b
: .5b b
s
t
v
u
a
a
: .5b
: .5b b
cs v
a
σ(t)=b, σ(v)=b
1a. Vérification probabiliste classique
VERAP 9
Système(représentation
Succincte)
Modèle
Propriétéou suited’actions
Formuleou trace
ModelChecker
probabiliste
Probap
Input:• chaîne de Markov étiquetée (avec actions)• formule temporelle ou trace
Output:• probabilité de satisfaction de la formule ou de la trace
Complexité: polynomiale dans la taille du modèle (explosion combinatoire)
Schéma probabiliste d’approximation
VERAP 10
Générateur aléatoire de
chemins
Schéma d’approximation A
Formule ou trace
Paramètres e,∂
Pr[(p-e) ≤ A ≤ (p+e)] ≥ 1 - ∂e : paramètre d’approximation (erreur absolue)∂ : paramètre de confiance (algorithme probabiliste)Le schéma est pleinement polynomial si le temps de calcul est poly(|input|, 1/e, log (1/∂))Le générateur aléatoire n’utilise qu’une représentation succincte du système
Approximate Probabilistic Model Checker Richard Lassaigne and Sylvain Peyronnet (2008) Probabilistic verification and approximation.
Annals of Pure and Applied Logic, 152(1-3):122-131.
Méthode:• génération aléatoire de chemins de longueur k à partir d’une représentation succincte• estimation de type Monte-Carlo avec borne polynomiale (Chernoff) sur la taille de
l’échantillon
Résultats:• approximation de la probabilité de satisfaction de propriétés bornées en temps
polynomial• approximation de la probabilité de satisfaction de propriétés non bornées
(accessibilité, sûreté) en espace logarithmique• approximation de la probabilité d’une trace d’exécution en temps polynomial
VERAP 11
Distances entre Systèmes probabilistes [AD]
Métriques de bisimulation:• permettent de mesurer le degré d’équivalence entre deux modèles probabilistes
• l’équivalence considérée est la bisimulation sur les états• définies par J. Desharnais et al.• obtenues par point fixe à partir de la métrique de Kantorovich
Métriques de traces• Equivalence exacte de Tzeng est polynomiale• Equivalence approchée est difficile
đ-distance• Statistiques de processus ergodiques
• Lien avec l’approximation sur les mots
VERAP 12
13
1b. Markov Decision Processes [AVP] transitions non détermistes et probabilistes :
S : Etats :s,t,u,v
Σ: actions : a,b,c
P(u |t,b)=0.5
Stratégie σ résoud le non determinisme.
Exemple: σ(t)=b, σ(v)=b
Exécution: s,a,t,b,u,a,v
Trace: aba
s
t
v
u
a
a
a
: .5b
: .5b b
c
14
Stratégies σ
SD: σ(t)=b, σ(v)=c
Trace 1: abac ab abac ab …….
Trace 2: ab abac ab abac…….
s
t
v
u
a
a
: .5b
: .5b b
c
HR: dépendant de l’historique et
Randomisées,MR(k): Memoire k, Randomisées
SD: Stationaires Déterministes
MDP communiquant
a
1
.5
. ( ) .33
.17
x u stat trace
15
Résultat classique: k=1
Fréquence Etat-action :
Pour une classe K de stratégies:
Theorem (Puterman, Derman, Tsitsiklis )
Pour un MDP communiquant,
1[ . ( )]
lim si elle existe
T
x E u stat Trace
x x
KH x
H ( )
HR SDH Convex Hull H
16
Statistiques uniformes: k-gram
W=001010101110 longueur n,
u.stat: densité des sous-mots de longueur k, n-k+1 shingles
1
2
# nombre de "00...0"
# nombre de "00...1"
.. ..
n
n
2
.. ..
# nombre de "11...1"
kn
1
412, . ( )
411
2
k u stat W
1Remarque: . ( ) . ( ') ( , ') /
( , ') est la distance d'Edition avec déplacements
u stat W u stat W dist W W n
dist W W
1k
1...
1( ) avec échantillons
ii N
Y w X NN
17
Generalisation aux statistiques d’ordre k Theorem: Pour un MDP communiquant:
( )
[ . ( )]
H ( )
Kk
HR MR k
H x x E u stat Trace
H Convex Hull H
Hu.statk
1: . ( ) . ( )
n n k k nB w r u stat r u stat w
18
Existence d’une stratégie Input: MDP, wn , ε, λ
Theorem: Existence d’une stratégie est PESPACE dure, mais testable.
(M. de Rougemont and M. Tracol (2009) Statistical Analysis for Probabilistic Processes. In IEEE Logic In Computer Science. LICS 2009)
Tester: Sample wn :
Estimate the dist to H (linear program)
Decide: Pr[ n nB w
H
Y(w)
( ) ( )nY w ustat w
19
Soit F une propriété sur une classe K de structures U:
Un ε -testeur pour F est un algorithme probabiliste A tel que:• Si U |= F, A accepts• If U is ε far from F, A rejects with high probability
F is testable if there is a probabilistic algorithm A such that
• A is an ε -tester for all ε • Time(A) is independent of n=size(U).
Robust characterizations of polynomials, R. Rubinfeld, M. Sudan, 1994Property Testing and its connection to Learning and Approximation. O. Goldreich, S.
Goldwasser, D. Ron, 1996.
Tester usually implies a linear time corrector. (ε1, ε2)-Tolerant Tester
Testabilité d’une propriété
20
MDPs généraux
Union de polytopes: chaque H peut-être défini par un programme linéaire.
Valeur seuil pour chaque composante.
H1: .4
H2: .6
21
Equivalence de MDPs
Decider si les Polytopes sont proches avec des seuils proches.
Tester d’Equivalence : discrétiser les polytopes sur une grille de rayon ε. Verifier l’inclusion mutuelle.
Distance entre deux MDPs: distance géométrique.
1H
2H
22
II. Approximate Black-Box and Conformance Testing
ABCT: Approximate Black-Box and Conformance Testing.• Identifier une chaine de Markov, à partir d’un run ou de
statistiques?• Identifier un MDP?
P IUT
Black Box Checking
Conformance Testing
Model
Model Checking
23
Conformance Testing
Tester un critère de couverture: Couvrir toutes les arêtes d’un graphe donné de manière succincte (programme C) ?
EPE: Estimation of the Probability by approximate EnumerationPeut-on énumérer 99% des solutions avec un délai constant?
Random Walks in control graphs
• A random walk in the state space of a “model” (in a control graph, in a transition system etc) is
a sequence of states s0, s1, …, sn such that si is chosen uniformly at random among the successors of the state si-1,
• It is easy to implement and it only requires local knowledge of the graph.
• Numerous applications in– Testing (protocols [Mihail et Papadimitriou 1994], etc)– Simulation (Monte-Carlo, etc)– Model-checking ([Grosu 2004])
• In some variants, the choice among the successors may be biased.
Marie-Claude Gaudel, Alain Denise, Sandrine-Dominique Gouraud, Richard Lassaigne, Johan Oudinet and Sylvain Peyronnet (2008) Coverage-biased Random Exploration of Models. Electronic Notes in Theoretical Computer Science, 220(1):3-14.
Drawback of random walks
•
••
•
•
•
••
•
•
•
•
a
b
c
d
ef
Classical random walks, length 3:Pr(a; c; d) = 0.5 0.25 0.25 = 0.03125Pr(b; e; f) = 0.5Uniform random sampling of traces, length 3:Pr(a; c; d) = Pr(b; e; f) = 0.1
The resulting coverage is dependent on the topology…
Counting n-paths in a graph
Given any vertex v, let lv(k) be the number of paths of length k that start from v
• we are on vertex v with m successors v1, v2, . . . , vm
• condition for uniform path exploration: choose vi with probability lvi (k-1)/lv(k)
•v
•v ...
Counting labelled combinatorial structures
• Decomposable combinatorial structures– Atoms– Constructions : +, , SEQ, PSET, MSET, CYC– Cardinality constraints: SEQ≤3 , etc
• Let a combinatorial class C, which is decomposable,
Explicit formula for |Cn| => Uniform drawing in Cn
– Enumeration based on generating functions
• Theorem [Mainly, Flajolet & al., 1994] :
The counts {Cj|j= 0,…,n} can be computed in O(n 1+) arithmetic operations. Drawing UAR an element of size n is O(n.log n) in the worst case (and O(n) in our simple case)
Uniform generation of paths of length n
Given n• lv(0) = 1• for k s.t. n ≥ k > 0,
lv (k) lv '(k 1)v v'
•
••
•
•
•
••
•
•
•
•
a
b
c
d
ef
• Preprocessing:Computation of the lv(k), for all k ≤ n is linear in n but with big numbers… • Drawing is linear in n too.
• Space requirement: n |G|
Main results
• Experimental assessment of this method and of its limits (up to ± 10000 states, length ± 10000)
• Uniform generation of paths in very large models:– Given a model described as a set of concurrent
LTS/FSM/IOTS it is possible to get (a very good approximation of) the number of traces => global uniform random walks,
• without building the global model• using local uniform drawing of paths in the component LTS
• Combination of weaker coverage criteria (transitions, states, …) and random walks– Coverage-biased random walks, “randomised
coverage satisfaction”
Perspectives• Counting paths makes it possible to combine random
exploration and coverage criteria (testing, model-checking)
• Significant results for drawing paths UAR in concurrent models– work remains to be done on: – partial synchronisations– typology of concurrent architectures and synchronisation patterns– partial order reduction
• First results on “coverage satisfaction” assessment and improvement for randomised model-based testing
31
III. Streaming Testers
• Streaming vs Property testing
• Validity for XML streams• Checking wellformedness
– k passes implique espace in n1/k+1: optimal (article en préparation)
Property Tester Streaming Tester
Input access Random Sequential
Constraint # of input access • Space (memory)• # of passes
Input length Known Unknown
32
Testeurs de Flux XMLValidité Approchée de Flux XMLHuang Cheng, Li Jun and Michel de Rougemont (2008) Approximate validity of XML Streaming Data. In
9th International Conference on Web-age Information Management.
• Maintenir la décomposition de Rabin d’un arbre ordonné de degré arbitraire• Généralisation de k-grams
34
Conclusion
1. AVP,AD: Testeurs de systèmes probabilistes – Approximate Probabilistic Membership– Approximate Equivalence
2. Black-Box Checking and Approximate Enumeration
3. Streamings Testers
VERAP: http://www.lri.fr/~mdr/verap/
Equivalence de trace
Chaîne de Markov étiquetée: M=(S, A , p0 , P)
• S espace des états, A ensemble d’actions, p0 distribution de probabilités initiale
• P: SxAxS → [0,1] fonction de transition probabiliste
Distribution sur les traces:
• Si σ = (s0,a1,s1,…,an,sn) est un chemin fini, alors μ(σ) = p0(s0) . ∏i=1n P(si-1 ,ai, si)
• La distribution sur les traces PM : A* → [0,1] est définie par PM (x) = ∑ { trace(σ)=x} μ(σ)
• Pour chaque n, la restriction de PM à An est une distribution de probabilités
Equivalence de trace:• 2 chaînes de Markov M et N avec ensemble d’actions A sont équivalentes
si pour toute trace x, PM(x) = PN(x)
• l’équivalence de 2 chaînes de Markov étiquetées peut être décidée en temps polynomial
(conséquence de l’algorithme de Tzeng sur les automates probabilistes)VERAP 35
đ-distance
Métrique sur la classe des processus ergodiques stationnaires:• définie par B. Ornstein et D. Weiss• candidate pour distinguer 2 processus ergodiques à partir de l’observation de
chemins finis échantillonnés pour chacun des processus• l’entropie est continue relativement à cette métrique
Propriété fondamentale des processus ergodiques:
la distribution théorique des suites de longueur k peut être déterminée par glissement d’une fenêtre de longueur k et par comptage des fréquences relatives le long d’un chemin échantillonné
Problème (travail en cours):
approximer cette distance pour les chaînes de Markov
VERAP 36