1

Institut für Design und Regelung mechatronischer Systeme

MasterarbeitEchtzeitoptimierung mit Extremum Seeking

Autor: Martin GroßbichlerBetreuer: Prof. Luigi del Re

Dr. Harald WaschlFertiggestellt: Oktober 2015

KurzfassungExtremum Seeking (ES) ist eine Methode zur Echtzeitoptimierung von Systemen. Die Ideebesteht darin, eine statische Optimierungsaufgabe als Regelkreis zu formulieren. Die Kosten-funktion wird dabei als System betrachtet und die zu optimierenden Parameter als die entspre-chenden Eingänge. Der Regelfehler wird als Abstand zum optimalen Parameterwert definiert,wobei dieser jedoch von vornherein unbekannt ist und durch das Verfahren selbst gefundenwerden muss. Somit erfordert ein derartiger Algorithmus keine a priori Information über dasSystem sondern ermittelt diese selbst aus Messungen.Nach einer Analyse der klassischen Ansätze wird in dieser Arbeit konkret auf einen Algorith-mus eingegangen, welcher auf einer Newton-Methode (NB-ES) basiert. Die Verwendung einesNewton-Verfahrens stellt jedoch auch gewisse Bedingungen an die Kostenfunktion, welchestrikt konvex sein muss, da ansonsten keine Abstiegsrichtung gefunden werden kann. Weitersführt der vorgeschlagene NB-ES Algorithmus im Falle von singulären Hesse Matrizen zu eineminstabilen Regelkreis. Darum wird in dieser Arbeit vorgeschlagen eine Matrix-Regularisierung zuverwenden, um den Regelkreis robuster gegenüber indefiniten bzw. singulären Hesse Matrizenzu machen.Die Funktionalität dieses robustifizierten Newton-basierten Extremum Seeking Reglers (rNB-ES) wird anhand von Simulationen und einer realen Anwendung an einem Diesel-Motor vali-diert. Die Vorteile gegenüber einem klassischen Gradienten- (GB-ES) bzw. NB-ES Algorithmusbezüglich Stabilität, Konvergenz-Geschwindigkeit und Aufwand der Parametrierung überwiegenund werden veranschaulicht.

Newton-basiertes Extremum SeekingDie Konvergenz eines GB-ES hängt, wie man im Averaged System erkennt, von der 2. Ableitungf ′′ bzw. der Hesse Matrix H ab. Ein multivariables NB-ES eliminiert diese Abhängigkeit durchverwenden eines Schätzwertes H für H.

+ Ks −ΓG

ωls+ωl

ss+ωh

x = f (x, α(x, θ))

y = h(x)

Γ = ωrΓ− ωrΓHΓωls+ωl

S(t) M(t)

θ y

Gθ

H

N(t)

Das allgemeine nichtlineare System selbst sei stabil oderbeinhaltet ein stabilisierendes Regelgesetz u = α(x, θ).Die Schätzwerte für Gradient G und Hesse Matrix Hwerden durch Demodulation mit geeigneten M(t) undN(t) berechnet. Die Schätzwerte G und H approximie-ren damit im Mittel die wahren Werte. Die sinusförmigenStörsignale sind im Vektor S(t) zusammengefasst.

Die Invertierung der Hesse Matrix übernimmt ein Riccati Filter Γ = ωr(Γ−ΓHΓ), welches ausH direkt einen gefilterten Schätzwert Γ der inversen Hesse Matrix H−1 berechnet. Dadurch wirdberücksichtigt, dass der Mittelwert und nicht der Momentanwert von H die tatsächliche HesseMatrix H approximiert. Durch Integration des Update-Gesetzes −ΓG wird eine Veränderungin Newton-Richtung für den Parametervektor θ erzielt.

Dieses Verfahren ist ebenfalls lokal exponentiell stabilund Instabilitäten durch kurzzeitig negativ definite oderindefinite Schätzwerte H der Hesse Matrix werden durchdas Riccati Filter gedämpft.Im Gegensatz zum GB-ES verwendet das NB-ES, nachKonvergenz des Hesse Matrix Schätzers, eine Newton-Richtung und erzielt vor allem in flachen Bereichen derKostenfunktion eine schnellere Konvergenz.

θ1

θ2

Quadratische Funktion f(θ) = 50θ21 − 320θ1 + 30θ1θ2 − 140θ2 + 10θ22 + 700

1.8 1.9 2 2.1 2.2 2.3 2.4 2.5 2.6

4

4.2

4.4

4.6

4.8

5

f(θ)GradientGB-ESNB-ES

Mit dieser Methode treten jedoch Stabilitätsprobleme bei singulärer Hesse Matrix auf, dadie lokale Stabilität des Riccati Filters nicht mehr gegeben ist. Ebenfalls ist bei indefiniterHesse Matrix, welche bei einer nicht konvexen Funktion auftreten kann, das Finden einerAbstiegsrichtung nicht möglich. Darum wird eine Erweiterung vorgeschlagen.

Einführung - Gradienten-basiertes Extremum SeekingEin GB-ES verwendet ein sinusförmiges Störsignal, welches in das unbekannte statische Sy-stem f (θ) eingebracht wird. Durch anschließende Demodulation am Ausgang erhält man eineInformation über den lokalen Gradienten der stationären Kennlinie des Systems.

+ −ksωls+ωl

ss+ωh

y = f (θ)

a sin(ωt) 2a sin(ωt)

θ y

y − ηξθ

Prinzip der Demodulation:f(θ)

θθ∗

f∗ = f(θ∗)

t

t

t

Demodulation und TP

≈

t

ξ

θ1

θp

y1,p = HP (y1)

y1

t

θ2

θp

t

y2,p = HP (y2)

y2

θp, y1,p,y2,p

Zeitskalen Zerlegung:

x = f(x, α(x, θ))y = h(x)

θ y

θ θ

x y

h ◦ l(θ)x = l(θ)

xp = l(θp)

Steady-State Funktion

x = l(θ)

θp

˙θ

θ∗

Die Demodulation erzeugt einen Schätzwert ξ, welcherim Mittel den Gradienten approximiert. Durch Integrati-on des negativen Wertes von ξ erhält man einen neuenParameter θ, welcher gegen den optimalen Parameter-wert θ∗ konvergiert. Wird die unbekannte Funktion mity = f ∗ + f ′′

2 (θ − θ∗)2 approximiert, so kann durch ei-ne Averaging Analyse das zeitlich mittlere Verhalten desFehlersystems θ = θ − θ∗ und η = η − f ∗ wie folgtbeschrieben werden:

d

dt

ξavθavηav

=

ωl(−ξav + f ′′θav

)−kξav

ωh

(−ηav + f ′′

2 (θ2av + a2

2 )) (1)

Damit ist das GB-ES lokal exponentiell stabil und verhältsich wie ein Gradienten-Abstiegsverfahren.Grundlegend dabei ist eine Trennung in 3 Zeitskalen, d.h.die Frequenz des Störsignals muss langsamer sein als dieSystemdynamik selbst, wodurch dieses erst als statischeFunktion f (θ) beschrieben werden kann. Die langsamsteZeitskala stellt der Integrator ˙θ dar.

RegularisierungDurch eine Matrix-Regularisierung kann aus einer singulären bzw. indefiniten Hesse Matrix Heine ähnliche positiv definite Matrix HR erzeugt werden. Diese Matrix HR wird anstelle vonH mit dem Riccati Filter invertiert. Dadurch treten keine Stabilitätsprobleme auf und eineAbstiegsrichtung kann garantiert gefunden werden.

• Ansatz von Levenberg-Marquart (LM):

HR = H + ηI (2)

mit geeignetem η > 0.

• Regularisierung basierend auf der spektralen Dekomposition(SD): HR wird aus dem Eigensystem durch spiegeln der ne-gativen Eigenwerte berechnet:

H = V ΛV T (3)Λ = max(δI, |Λ|)→ HR = V ΛV T (4)

• Regularisierung basierend auf der Cholesky Faktorisierung(CF):

HR = LDLT = H + diag([η1 . . . ηn

]) (5)

Mit geeigneten ηi > 0 sodass alle dj j > δ > 0 und∣∣∣√dss ljs∣∣∣ < β > 0 erfüllen.

Unregularisierter NB-ES ist instabil beisingulärer und indefiniter Hesse Matrix:

θ1

θ2

−0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6−0.2

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

f(θ)GB-ESNB-ESNB-ES LMNB-ES CFNB-ES SD

θ1

θ2

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1−0.5

0

0.5

1

1.5

2

2.5

f(θ)GB-ESNB-ESNB-ES LMNB-ES CFNB-ES SD

Experimentelle ErgebnisseUm die Funktionalität des vorgeschlagenen rNB-ES zu veranschaulichen, wird eine Optimierung des spezifischenKraftstoffverbrauchs eines Diesel-Motors vorgenommen. Dazu werden Drehmoment und Drehzahl konstant gehal-ten und die Menge der Haupteinspritzung Ami , sowie der Einspritzwinkel ϕmi additiv verändert (∆Ami ,∆ϕmi) umein Minimum zu finden. Dabei wird der rNB-ES mit einem klassischen GB-ES verglichen. Beide Verfahren werden ineinem Betriebspunkt (M,n) derart parametriert, dass sie ähnliches Konvergenzverhalten zeigen. Anschließend wirdder Vergleich in einem zweiten Betriebspunkt mit anderem stationären Verhalten durchgeführt. Dabei zeigt dasrNB-ES klare Vorteile durch einfachere Parametrierung und schnellere Konvergenz unabhängig vom Betriebspunkt.Ein GB-ES liefert ohne erneuter Parametrierung keine guten Ergebnisse.

∆ϕmi / CAD

∆A

mi/mg

Steady-State BSFC Kennfeld, M=30Nm, n=1400 rpm

−5 −4 −3 −2 −1 0 1 2 3 4 5

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

BSFC-MapGradientGB-ESNB-ESGradientGB-ESNB-ES

∆ϕmi / CAD

∆A

mi/mg

Steady-State BSFC Kennfeld, M=80Nm, n=2000 rpm

−5 −4 −3 −2 −1 0 1 2 3 4 5

−0.6

−0.4

−0.2

0

0.2

0.4

0.6BSFC-MapGradientGB-ESNB-ESGradientGB-ESNB-ESGradientGB-ESNB-ES

0 20 40 60 80 100 120 140 160 180−5−3−1

135

Zeitverlauf

Zeit t / s

∆ϕmi/CAD

0 20 40 60 80 100 120 140 160 180−1

−0.75−0.5

−0.250

0.250.5

0.751

Zeit t / s

∆A

mi/mg

0 20 40 60 80 100 120 140 160 18090

100

110

Zeit t / s

BSFC

/%

GB-ESNB-ESGB-ESNB-ESGB-ESNB-ES

Zusammenfassung und AusblickDurch die Kombination eines NB-ES und der Methode der Matrix-Regularisierung kann ein rNB-ES erreicht werden. Dieser Algorithmus istfür die Anwendung an realen Strecken mit Messrauschen und nicht kon-vexen Kostenfunktionen geeignet und behält alle Vorteile eines Newton-Verfahrens, bezüglich Performance und Einfachheit der Parametrierung,bei. Damit kann, ohne a priori Systemwissen zu benötigen, ein stationäresÜbertragungsverhalten optimiert werden.Mögliche zukünftige Arbeiten sind:

• Erweiterung auf eine Multi-Objective Optimization mit möglicher An-wendung am Diesel-Motor um andere Größen wie z.B. Emissionen zuberücksichtigen.

• Anstelle der Regularisierung mit regelungstechnischen Methoden eineStabilisierung für das Riccati Filter zu entwickeln, um einen robustenAlgorithmus zu erhalten.