Dyn
amisch
e Erm
ittlun
g d
er So
ftwareq
ualität zu
r U
nterstü
tzun
g d
er Testfallprio
risierun
g m
it einem
ag
enten
basierten
An
satz
1
Yan
g Y
ang
(Lo
gica D
eutsch
land
Gm
bH
& C
o. K
G)
Ch
ristop
h M
alz (Un
iversität Stu
ttgart)
Pro
f. Peter G
öh
ner (U
niversität S
tuttg
art)L
oth
ar Beller (Z
F F
riedrich
shafen
AG
)T
ho
mas K
erler (ZF
Fried
richsh
afen A
G)
TAV
31 03.02.11
Institu
t für A
uto
matisieru
ng
s-u
nd
So
ftwaretech
nik
Pfaffenw
aldring 4770550 S
tuttgart
ZF
Fried
richsh
afen A
GE
hlersstraße 50
88046 Friedrichshafen
Motiv
atio
n
TE
P P
KW
-An
triebstech
nik
An
triebs-
un
d F
ahrw
erktechn
ik
2
Motiv
atio
n
Lo
thar B
eller
Wie ist jetzt d
ie Q
ualität u
nserer
So
ftwarep
rod
ukte?
Welch
e Testfälle so
llen
in w
elcher R
eihen
folg
e d
urch
gefü
hrt w
erden
?
3
Lo
thar B
eller
1. Wie kan
n d
ie So
ftwareq
ualität b
ewertet w
erden
?2. W
ie kann
die o
ptim
ale Reih
enfo
lge d
urch
zufü
hren
der Testfälle
bestim
mt w
erden
?
�M
anag
emen
t der Testaktivitäten
�M
anag
emen
t der Testresso
urcen
�B
ewertu
ng
des Testo
bjekts
Glie
derung
�S
tand der Technik und Problem
beschreibung
�Z
iel und Konzeptidee
�G
rundlagen des Konzepts
�K
onzept des agentenbasierten Testmanagem
entsystems
4
�K
onzept des agentenbasierten Testmanagem
entsystems
�E
valuierung des Prototyps
�Z
usamm
enfassung und Ausblick
Sta
nd des Softw
arete
sts bei T
EP, Z
F Friedrichshafe
n A
G (1)
�S
oftw
areentw
icklun
gsp
rozess
-O
rientierung am allgem
einen V-M
odell-
Organisatorische und unterstützende P
rozesse benögtigt
5
Sta
nd des Softw
arete
sts bei T
EP, Z
F Friedrichshafe
n A
G (2)
�Test vo
n P
KW
Au
tom
atgetrieb
e-
Softw
are-und S
ystemfunktionstest vom
mechatronischen S
ystem
-H
ardware-in-the-Loop-Techlonogie
-Anforderungsbasierter Test
�Tren
nu
ng
von
der fu
nktio
nalen
Sich
t un
d d
er So
ftwaresich
t-
Testmanagem
ent in der funktionalen Sicht
-M
apping zwischen der funktionalen S
icht und der Softw
aresicht
6
x
xx
xx
xx
xx
Fu
nktio
nale S
icht
So
ftwaresich
t
Metriken bei Z
F Friedrichshafen A
G
�M
etriken au
s den
So
ftwareen
twicklu
ng
spro
zessenz.B
. LOC
pro, Kom
plexität nach McC
abe, Kom
plexität nach Halstead, Testabdeckung M
odultest, Testabdeckung Integrationstest usw
.
�M
etriken au
s dem
An
ford
erun
gsm
anag
emen
tz.B
.Teststatus der Anforderung usw
.
�M
etriken au
s dem
Pro
blem
man
agem
ent
z.B. F
ehlertyp, Fehlerentdeckung, S
tatus des SW
-Fehlers usw
.
�M
etriken au
s der Q
ualitätssich
erun
gz.B
. Fehlerschw
ere, Fehler pro R
elease, Implem
entierungszeitpunkt des Fehlers usw
.
�M
etriken au
s dem
Än
deru
ng
sman
agem
ent
7
�M
etriken au
s dem
Än
deru
ng
sman
agem
ent
z.B. Ä
nderungstyp, Kom
plexität der Änderung usw
.
Problemste
llung
�A
usw
ertun
g ein
er gro
ßen
Men
ge vo
n D
aten n
otw
end
ig
�M
athem
atische B
eschreib
un
g d
er Zu
samm
enw
irkun
gen
u
ntersch
iedlich
er Metriken
schw
ierig
�N
ur u
nsch
arfes Exp
ertenw
issen als verb
al form
ulierte R
egeln
verfüg
bar
8
�V
erschied
ene F
aktoren
besitzen
un
terschied
liche B
eiträge
�B
ewertu
ng
von
Daten
schw
ierig
�B
ewertu
ng
der Q
ualität vo
n Testth
emen
schw
ierig
�B
estimm
un
g d
er Testwich
tigkeit vo
n Testth
emen
schw
ierig
Glie
derung
�S
tand des Softw
aretests bei ZF
Friedrichshafen A
G
�Z
iel und Konzeptidee
�G
rundlagen des Konzepts
�K
onzept des agentenbasierten Testmanagem
entsystems
9
�K
onzept des agentenbasierten Testmanagem
entsystems
�E
valuierung des Prototyps
�Z
usamm
enfassung und Ausblick
Adaptiv
es Testm
anagementsyste
m
Ad
aptives Testm
anag
emen
tsystem(A
TM
S)
Aktu
elle Testgü
te
Ad
aptive Testfallp
riorisieru
ng
beim
So
ftwaretest
�Z
iel: An
zahl au
fged
eckter Feh
ler erhö
hen
Ch
ristop
h M
alz
10
�P
riorisierung von Testfällen �
Anpassung der P
riorisierung aufgrund dynam
ischer Informationen
Dyn
amisch
e Info
rmatio
nen
(z.B. F
ehlerd
aten, Ä
nd
erun
gen
, Belastu
ng
der E
ntw
ickler)
(AT
MS
)In
form
ation
en
üb
er Testob
jekt
Info
rmatio
nen
ü
ber Testfälle
Prio
risierteTestfälle
Priorisierung von Testth
emen
010_SB
W030_F
ktReg
040_Strat
050_Ersatzfkt
060_10_OB
D05
……
�B
estimm
un
g d
er Testwich
tigkeit ein
zelner Testth
emen
�E
xperten
wissen
als verbal fo
rmu
lierte Reg
eln-
Wo S
icherheitsrelevanz hoch ist, hat es eine große B
edeutung für das System
.
11
�E
influ
ssfaktoren
auf P
riorisieru
ng
-S
icherheitsrelevanz-
Implem
entierungskomplexität
-Ä
nderungshäufigkeit-
Fehleranfälligkeit
-V
ertrauensgrad-
Qualität
-W
o Sicherheitsrelevanz hoch ist, hat es eine groß
e Bedeutung für das S
ystem.
-W
o Implem
entierungskomplexität hoch ist, könnten viele F
ehler auftreten.-
Wo häufig geändert w
urde, könnten viele Fehler verursacht w
erden.-
Wo einige F
ehler sind, sind auch mehr. [S
pLi05]-
…
�A
llgem
eines Q
ualitätsm
od
ell
Qualitä
tsbewertu
ng von Testth
emen (1)
12
[Balz98]
ISO/IE
C9126
Effizie
nz
Zeitverhalten
Verbrauchsverhalten
Funktio
nalitä
tA
ngemessenheit
Richtigkeit
InteroperabilitätS
icherheitO
rdnungsmäß
igkeit
Zuverlässigkeit
Reife
Fehlertoleranz
Wiederherstellbarkeit
�U
ntersch
iedlich
e Qu
alitätsmo
delle
-F
CM
-Modell
-M
odell nach McC
all-
Modell nach B
oehm
-Q
ualitätsmodell in IS
O 9126
-F
UR
PS
�B
etrachtete Q
ualitätsm
erkmale
-F
unktionalität-
Zuverlässigkeit
√
Qualitä
tsbewertu
ng von Testth
emen (2)
13
Kom
formität
Wiederherstellbarkeit
Kom
formität
Übertra
gbarkeit
Anpassbarkeit
InstallierbarkeitK
oexistenzK
onformität
Austauschbarkeit
Änderbarkeit
Analysierbarkeit
Modifizierbarkeit
Stabilität
Testbarkeit
Benutzb
arkeit
Verständlichkeit
Erlernbarkeit
Bedienbarkeit
Attraktivität
Kom
formität
-Z
uverlässigkeit-
Änderbarkeit
�Q
ualität im
Sin
ne d
er Arb
eit-
Qualität einzelner Testthem
en-
Qualität des F
ahrzeug-Getriebe-S
ystems
Ziel u
nd K
onzeptid
ee
�B
ewertung der S
oftwarequalität einzelner Testthem
en�
Bew
ertung der Softw
arequalität des Fahrzeug-G
etriebe-S
ystem�
Bestim
mung der P
riorität einzelner Testthemen
Ad
aptives Testm
anag
emen
tsystem(A
TM
S)
Info
rmatio
nen
ü
ber S
oftw
are-ko
mp
on
enten
Info
rmatio
nen
P
riorität ein
zelner
Testthem
en
Au
tom
atisierte Bew
ertun
g d
er Testthem
en b
eim S
oftw
aretest
�R
eduktion manueller D
etailtätigkeiten bei der Datenbew
ertung�
Unterstützung der Testthem
enpriorisierung anhand dynamisch erm
ittelter B
ewertungsergebnisse
Qu
alität einzeln
erTestth
emen
Qu
alität des
System
s
14
�B
estimm
ung der Priorität einzelner Testthem
en �
Anpassung der P
riorisierung aufgrund dynam
ischer Informationen
Dyn
amisch
e Info
rmatio
nen
(z.B. F
ehlerd
aten, Ä
nd
erun
gen
, Testabd
eckun
gen
)
Info
rmatio
nen
ü
ber Testth
emen
Testthem
en
�A
utonome A
genten bieten ein gutes Potenzial, um
die Kom
plexität zu beherrschen und dieseA
ufgaben zu übernehmen.
�A
gen
tenb
asierter An
satz mit d
er Integ
ration
von
Wissen
du
rch F
uzzy-L
og
ik
Glie
derung
�S
tand der Technik und Problem
beschreibung
�Z
iel und Konzeptidee
�G
rundlagen des Konzepts
�K
onzept des agentenbasierten Testmanagem
entsystems
15
�K
onzept des agentenbasierten Testmanagem
entsystems
�E
valuierung des Prototyps
�Z
usamm
enfassung und Ausblick
Zustand und V
erhalten•Z
iele vorgegeben•B
estimm
t Verhalten
−S
oftwareeinheit m
it definiertem Z
iel −
Autonom
es Verhalten zur E
rreichung des Ziels
−Interaktion m
it Um
gebung und anderen Agenten
−D
auerhafte Beibehaltung des inneren Z
ustandes
�G
run
dko
nzep
te der ag
enten
orien
tierten D
enkw
eise
�A
gen
t:
Agente
norientie
rte
Konzepte
(1)
16
•Bestim
mt V
erhalten•G
gf. anpassbar
Hohe A
bstraktion(z.B
. Verhandlung)
Kontrolle über
Zustand und
Verhalten
Reaktivität (U
mw
elt wahr-
nehmen und reagieren)
•Fortlaufender K
ontrollfluss•U
nabhängig von Aktivierung
Kap
selun
g
Au
ton
om
ie
Interaktio
n
Zielo
rien-
tierun
g
Aktivität
Persisten
z
Proaktivität (voraus-
schauendes Verhalten,
Eigeninitiative)
Ag
ent
�K
apselung von−
Identität („wer“)
−Z
ustand („was“)
−V
erhalten („wie“)
�K
eine Kontrolle über A
ufruf
�Z
usätzlich Kapselung von
−F
reiheitsgradeder A
ktionswahl
und Interaktion�
Anfrage statt A
ufruf
�„w
ann
“
�„m
it wem
“
�„o
b ü
berh
aup
t“
Objekt
Agent
�U
ntersch
ied zu
r Ob
jektorien
tierun
g (h
öh
ere Ab
straktion
seben
e)
Agente
norientie
rte
Konzepte
(2)
17
2. Stru
kturieru
ng
−S
trukturen werden nicht
explizit vorgegeben−
Beschreibung m
öglicher Beziehungen durch
Interaktionsmodelle
1. Zerleg
un
g
un
d A
bstraktio
n−
Zerlegung in autonom
e Agenten
−A
bstraktion auf Basis agentenorientierter
Konzepte
�A
gen
teno
rientierte S
oftw
areentw
icklun
g b
ietet −
Entw
urf einer flexiblenLösung
−M
ögliche Strukturen und V
erhalten im R
ahmen festgelegter V
ariationen�
Reaktio
n au
f Situ
ation
en, d
ie nich
t kon
kret im E
ntw
urf vo
rgeseh
en sin
d
�W
ie entw
ickelt man
So
ftware ag
enten
orien
tiert?
Fuzzy-L
ogik
�F
uzzy-L
og
ik
−Ü
bersetzt: „Unscharfe Logik“
−E
rweitert die klassische M
engenlehre durch „unscharfe“ Fuzzy-M
engen
−E
rlaubt verbale Form
ulierung von Expertenw
issen
Lotfi A. Z
adeh
bietet eine gute Möglichkeit, unscharfe m
enschliche Bew
erbungsmaß
stäbeund S
chlussfolgerungsabläufe nachzubilden. [Lippe06]
�G
run
dlag
e der F
uzzy-L
og
ik
18
−D
arstellung von Fuzzy-M
engen über Zugehörigkeitsfunktionen
Klassisch: 100 km
/h = schnell
60 km/h =
moderat
70 km/h =
?
Fuzzy-M
enge „Geschw
indigkeit“:
Analytic
Hierarchy P
rocess
Thom
as L. Saaty
�A
blau
f der G
ewich
tun
g relevan
ter Fakto
ren d
urch
AH
P
�A
nalytic H
ierarchy P
rocess (A
HP
)
−Z
ur Überprüfung und E
rgänzung von subjektiven „Bauch-E
ntscheidungen“
−Z
um H
erausarbeiten von qualitativen Gew
ichtungsentscheidungen
ermöglicht es, kom
plexe Gew
ichtungsentscheidung systematisch
zu vereinfachen und dadurch rational und transparent zu treffen.
19
Gew
ichtu
ng
smatrix
Fu
nktio
nalität
Zu
verlässigkeit
Än
derb
arkeitG
ewich
t
Fu
nktio
nalität
Zu
verlässigkeit
Än
derb
arkeit
1
1
1 1
1
2
1/2
2
1/2
40%40%
20%
Glie
derung
�S
tand der Technik und Problem
beschreibung
�Z
iel und Konzeptidee
�G
rundlagen des Konzepts
�K
onzept des agentenbasierten Testmanagem
entsystems
20
�K
onzept des agentenbasierten Testmanagem
entsystems
�E
valuierung des Prototyps
�Z
usamm
enfassung und Ausblick
Agente
nty
pen
Softw
arefunktio
nssystem
Softw
aresicht
Modul 2 M
odul 3M
odul 1M
odul 4
Modul 8
Modul 5
Modul6
Modul 7
Modul 9
System-Agent
12
3
21
funktionale Sicht
Testth
ema 1
Testth
ema 2
Testth
ema 3
Aufgaben:
-Bewertu
ng der Q
ualitä
t einzelner T
estth
emen
-Bestim
mung der P
rioritä
t einzelner T
estth
emen
Inte
raktio
nen der A
gente
n
der
22
Austauschen der
relevanten
Informationen
Austauschen der
relevanten
Informationen
Qualitä
tsbewertu
ng (1)
�V
erwen
du
ng
des G
QM
-An
satz [Eb
Du
96]
−Z
iel: B
ewertung der S
tabilität eines Testthemas
�W
as bed
eutet S
tabilität?
−IS
O 9126:
Wahrscheinlichkeit des A
uftretens unerwarteter W
irkungen von Änderungen.
−Interpretation des Testm
anagers:S
tabil, wenn nach dem
hinreichenden Test nur geringe Fehlerw
irkung entdeckt wurde und nicht m
ehr so häufig geändert w
urde.
23
−F
rage 1
: Wie ist der V
ertrauensgrad des Testthemas?
Metrik
1: E
ntd
eckte
Fehle
rM
etrik
2: F
ehle
rschw
ere
Metrik
3: A
nza
hl a
usgefü
hrte
r Testfä
lleM
etrik
4: T
esta
bdeckung
−F
rage 2
: Wie ist die Ä
nderungshäufigkeit des Testthemas?
Metrik
1: A
nzahl der Änderungen
Metrik
2: D
atum der Ä
nderung
Qualitä
tsbewertu
ng (2)
�A
ufstellen
der R
egeln
Reg
elbasis zu
r Bew
ertun
g d
er Stab
ilität einzeln
er Testth
emen
1.Wenn (V
ertrauensgrad ist hoch) und (Änderungshäufigkeit ist hoch) dann (S
tabilität ist mittel)
2.Wenn (V
ertrauensgrad ist hoch) und (Änderungshäufigkeit ist m
ittel) dann (Stabilität ist hoch)
3.Wenn (V
ertrauensgrad ist hoch) und (Änderungshäufigkeit ist gering) dann (S
tabilität ist hoch)4.W
enn (Vertrauensgrad ist m
ittel) und (Änderungshäufigkeit ist hoch) dann (S
tabilität ist gering)5.W
enn (Vertrauensgrad ist m
ittel) und (Änderungshäufigkeit ist m
ittel) dann (Stabilität ist m
ittel)6.W
enn (Vertrauensgrad ist m
ittel) und (Änderungshäufigkeit ist gering) dann (S
tabilität ist hoch)7.W
enn (Vertrauensgrad ist gering) und (Ä
nderungshäufigkeit ist hoch) dann (Stabilität ist gering)
8.Wenn (V
ertrauensgrad ist gering) und (Änderungshäufigkeit ist m
ittel) dann (Stabilität ist gering)
9.Wenn (V
ertrauensgrad ist gering) und (Änderungshäufigkeit ist gering) dann (S
tabilität ist mittel)
24
Regelbasis
WE
NN
...
DA
NN
...
WE
NN
...
DA
NN
...
WE
NN
...
DA
NN
...
Vertrau
ensg
rad
Än
deru
ng
shäu
figkeit
Inferen
zF
uzzifizieru
ng
Defu
zzifizierun
g
Stab
ilitätswert
�B
ewertu
ng
du
rch F
uzzy-L
og
ik
Qualitä
tsbewertu
ng (3)
�Z
weistu
fige Q
ualitätsb
ewertu
ng
−R
egelbasierte Qualitätsbew
ertung durch Fuzzy-Logik
−F
ein-Bew
ertung durch Analytic H
ierarchy Process (A
HP
)
25
w1
w2
w3
w4
w´
1
w´
2
w´
3
010_SB
W030_F
ktReg
040_Strat
050_Ersatzfkt
060_10_OB
D05
……
……
Q1Q
2
Q3
Q4Q
5
, w1
, w2
, w3
, w4, w
5
Prioritä
tsbestim
mung
�Z
weistu
fige P
riorisieru
ng
−R
egelbasierte Priorisierung durch F
uzzy-Logik
−F
ein-Priorisierung durch A
nalytic Hierarchy P
rocess (AH
P)
26
�E
influ
ssfaktoren
auf P
riorisieru
ng
−S
icherheitsrelevanz
−Im
plementierungskom
plexität
−Ä
nderungshäufigkeit
−F
ehleranfälligkeit
−V
ertrauensgrad
−Q
ualität
w1
w2
w3
w4
w5
w6
Reg
elbasis zu
r Prio
risierun
g vo
n T
estthem
en1. W
enn (Sicherheitsrelevanz ist hoch) dann (P
riorität ist hoch) 2. W
enn (Sicherheitsrelevanz ist m
ittel) dann (Priorität ist m
ittel) 3. W
enn (Sicherheitsrelevanz ist gering) dann (P
riorität ist gering)4. W
enn (Implem
entierungskomplexität ist hoch) dann (P
riorität ist hoch)5. W
enn (Implem
entierungskomplexität ist m
ittel) dann (Priorität ist m
ittel)6. W
enn (Implem
entierungskomplexität ist gering) dann (P
riorität ist gering)7. W
enn (Änderungshäufigkeit ist hoch) dann (P
riorität ist hoch)8. W
enn (Änderungshäufigkeit ist m
ittel) dann (Priorität ist m
ittel) 9. W
enn (Änderungshäufigkeit ist gering) dann (P
riorität ist gering) 10. W
enn (Fehleranfälligkeit ist hoch) dann (P
riorität ist hoch)11. W
enn (Fehleranfälligkeit ist m
ittel) dann (Priorität ist m
ittel)12. W
enn (Fehleranfälligkeit ist gering) dann (P
riorität ist gering)13. W
enn (Vertrauensgrad ist hoch) dann (P
riorität ist gering)14. W
enn (Vertrauensgrad ist m
ittel) dann (Priorität ist m
ittel) 15. W
enn (Vertrauensgrad ist gering) dann (P
riorität ist hoch) 16. W
enn (Qualität ist hoch) dann (P
riorität ist gering) 17. W
enn (Qualität ist m
ittel) dann (Priorität ist m
ittel) 18. W
enn (Qualität ist gering) dann (P
riorität ist hoch)
(w1)
(w1)
(w1)
(w2)
(w2)
(w2)
(w3)
(w3)(w
3)(w
4)(w
4)(w4)
(w5)
(w5)
(w5)
(w6)
(w6)
(w6)
Glie
derung
�S
tand der Technik und Problem
beschreibung
�Z
iel und Konzeptidee
�G
rundlagen des Konzepts
�K
onzept des agentenbasierten Testmanagem
entsystems
27
�K
onzept des agentenbasierten Testmanagem
entsystems
�E
valuierung des Prototyps
�Z
usamm
enfassung und Ausblick
Evaluierung des P
roto
typs
�E
valuieru
ng
−E
ntwicklung in Java
−B
ibliotheken mittels JA
DE
(Java Agent D
evelopment F
ramew
ork)
−O
pen Source B
ibliothek jFuzzylogic
−O
pen Source B
ibliothek Apache P
OI
−V
erwendung der historischen D
aten aus abgeschlossenen Projekten
�E
rstes Erg
ebn
is
28
�E
rstes Erg
ebn
is
Mithilfe des A
TM
S können viele Testthem
en in folgenden Testzyklen ausgeschlossen werden.
Weitere E
valuierung läuft zur Zeit.
Glie
derung
�S
tand der Technik und Problem
beschreibung
�Z
iel und Konzeptidee
�G
rundlagen des Konzepts
�K
onzept des agentenbasierten Testmanagem
entsystems
29
�K
onzept des agentenbasierten Testmanagem
entsystems
�E
valuierung des Prototyps
�Z
usamm
enfassung und Ausblick
Zusammenfa
ssung und A
usblic
k
�Z
usam
men
fassun
g
−A
gentenbasierter Konzept zur B
ewertung der S
oftwarequalität sow
ie zur Bestim
mung der
Priorität einzelner Testthem
en
−V
erlässliche Aussage über die aktuelle S
oftwarequalität einzelner Testthem
en
−E
rleichterung der Testthemenpriorisierung
−F
okussierung der Testaktivitäten auf die kritischen Stellen
−V
erhinderung vom unnötigen Testen
30
�A
usb
lick
−O
ptimierung der R
egelbasis
−W
eitere Evaluierung des K
onzepts bei der ZF
Friedrichshafen A
G
Fragen und D
iskussion
Vielen
Dan
k für Ih
r In
teresse!
31