復習） 時系列のモデリング ～a. 離散時間モデル～

𝑦 𝑘 + 𝑎1𝑧−1𝑦 𝑘 +⋯+ 𝑎𝑛𝑎𝑧

−𝑛𝑎𝑦 𝑘

= 𝑏0𝑢 𝑘 + 𝑏1𝑧−1𝑢 𝑘 +⋯+ 𝑏𝑛𝑏𝑧

−𝑛𝑏𝑢 𝑘

𝑦 𝑘 = 𝐺 𝑧−1 𝑢 𝑘 =𝐵(𝑧−1)

𝐴(𝑧−1)𝑢 𝑘

𝐴 𝑧−1 = 1 + 𝑎1𝑧−1 +⋯+ 𝑎𝑛𝑎𝑧

−𝑛𝑎

𝐵 𝑧−1 = 𝑏0 + 𝑏1𝑧−1 +⋯+ 𝑏𝑛𝑏𝑧

−𝑛𝑏

連続時間モデルと離散時間モデルはz変換によって関連付けられる．

計算機へのプログラミングや実装では，未来のデータを利用することはできない．過去のデータ系列を明記するために𝑧−1演算子を利用する．

ARMAモデル

伝達関数の形，誤差の伝達関数の形によって，多様なモデルがある．e.g. AR, MA, ARIMA, CARMA, etc.

1

第3回 確率システム制御特論

復習） 時系列のモデリング ～a. 離散時間モデル～

=𝑏0 + 𝑏1𝑧

−1 +⋯+ 𝑏𝑛𝑏𝑧−𝑛𝑏

1 + 𝑎1𝑧−1 +⋯+ 𝑎𝑛𝑎𝑧

−𝑛𝑎= 𝛽0 +

𝛽1𝑧−1 +⋯+ 𝛽𝑛𝑏𝑧

−𝑛𝑏

1 + 𝑎1𝑧−1 +⋯+ 𝑎𝑛𝑎𝑧

−𝑛𝑎

𝑥1 𝑘 + 1

𝑥2 𝑘 + 1⋮

𝑥𝑛 𝑘 + 1

=

0 ⋯ ⋯ 0 −𝑎𝑛𝑎1 0 ⋯ 0 −𝑎𝑛𝑎−10 1 0 ⋱ −𝑎𝑛𝑎−2⋮ ⋱ ⋱ ⋱ ⋮0 ⋯ 0 1 −𝑎1

𝑥1 𝑘

𝑥2 𝑘⋮

𝑥𝑛 𝑘

+

𝛽1𝛽2⋮𝛽𝑛

𝑢(𝑘)

𝑦 𝑘 = 0 ⋯ 0 1

𝑥1 𝑘

𝑥2 𝑘⋮

𝑥𝑛 𝑘

+ 𝛽0𝑢(𝑘)

𝑦 𝑘 = − 𝑖=1𝑛𝑎 𝑎𝑖𝑦 𝑘 − 𝑖 +

𝑗=0𝑛𝑏 𝑏𝑗𝑢 𝑘 − 𝑗 − 1

𝑦 𝑘 =𝐵(𝑧−1)

𝐴(𝑧−1)𝑢 𝑘

ARMAモデルの様々な表現形式

可観測正準形

スカラ関数

直達項

𝑨𝒙(𝑘 + 1) 𝒙(𝑘) 𝒃

𝒄𝑇 𝒙(𝑘)2

第3回 確率システム制御特論

復習） 時系列のモデリング ～a. 離散時間モデル～

実用に際しては，ホールドの伝達関数を考慮する必要がある．

𝑦 𝑘 = 𝐻 𝑧−1 ∙ 𝐺 𝑧−1 𝑢 𝑘

= 𝑧−1𝐵(𝑧−1)

𝐴(𝑧−1)𝑢 𝑘

ZOH（zero-order hold）の場合

𝑦(𝑘) =𝑏0𝑧

−1 + 𝑏1𝑧−2 +⋯+ 𝑏𝑛𝑏𝑧

−𝑛𝑏−1

1 + 𝑎1𝑧−1 +⋯+ 𝑎𝑛𝑎𝑧

−𝑛𝑎

=𝛽0𝑧

−1 +⋯+ 𝛽𝑛𝑏𝑧−𝑛𝑏−1

1 + 𝑎1𝑧−1 +⋯+ 𝑎𝑛𝑎𝑧

−𝑛𝑎

ZOHがあれば直達項は存在しない。

3

第3回 確率システム制御特論

３. システムのモデリング

第3回 確率システム制御特論

4

5

第3回 確率システム制御特論

3.1 信号とシステム

モデリング（modeling）

解析（analysis）

設計（design）

入力信号𝑢と出力信号𝑦が与えられたときシステムの特性𝐺を求める．

入力信号𝑢とシステムの特性𝐺が与えられたとき出力信号𝑦の性質を求める．

システムの特性𝐺と出力信号𝑦の目標値𝑟が与えられたとき入力信号𝑢を求める．

これれらの語句の正確な違いを理解するのは重要

6

第3回 確率システム制御特論

3.2 制御のためのモデリング

モデルベースト制御（MBC: model-based control）

モデルフリー制御（MFC: model-free control）

現代制御・ロバスト制御・モデル予測制御 etc.

PID制御・ファジィ制御・ニューロ制御 etc.

近年，産業界ではMBCの重要性が認識され始めている．

計算機の発展と低価格化によって，MBCの実装が容易になっている．

7

第3回 確率システム制御特論

3.2 制御のためのモデリング

ホワイトボックスモデリング（white-box modeling）

第一原理モデリング（first principle modeling）や物理モデリングとも呼ばれる．

対象を支配する第一原理（運動方程式，回路方程式，電磁界方程式，保存則，化学反応式などの科学原理）に基づいてモデリングを行う方法．

利点 対象の挙動が忠実に再現できる．計算機上での解析や予測に利用するシミュレータの構築に役立つ．

問題点 一般に，非線形・偏微分方程式で記述され複雑である．制御系設計にそのまま利用することは難しい．実験を行わなければ正確な値が分からない（実験が困難な場合も多い）パラメータが存在する．

8

第3回 確率システム制御特論

3.2 制御のためのモデリング

システム同定（system identification）とも呼ばれる．

対象をブラックボックスと見なして，その入出力データから統計的な手法でモデリングを行う手法．線形システム同定は論理体系が完備されている．ビッグデータからモデル化に有用な情報をいかに抽出するかは，重要な課題の一つとして注目されている．

利点 複雑なシステムに対しても，実験データから比較的簡潔なモデルを得ることができる．様々なシステム同定法が提案されており，それを実行するソフトウェアもMATLABに用意されている．

問題点 実験的モデリング手法であるので，モノが無いとモデリングできない．

ブラックボックスモデリング（black-box modeling）

グレーボックスモデリング（grey-box modeling）

9

第3回 確率システム制御特論

3.2 制御のためのモデリング

部分的な物理情報が利用できる場合のモデリング法．

利点 最も現実的なモデリング法であり，実際の制御の現場で用いられるモデリング法のほとんどは，この範疇に含まれる．

問題点 対象や実験環境に大きく依存するため，グレーボックスモデリングの一般的な方法論を構築するのは難しい．

10

第3回 確率システム制御特論

3.5 制御のためのモデリングのポイント

実システム

詳細モデル

ノミナルモデル

実システムをできるだけ忠実に再現する詳細モデルを構築しようとする立場（第一原理モデリング）

制御用ノミナルモデルはできるだけ簡単なものが望ましい

ノミナルモデルと実システムの差が「モデルの不確かさ」

1. どれだけ第一原理モデルを実際の制御対象に近づけられるか？

2. 制御用ノミナルモデルが第一原理モデルの重要な部分をよく近似しているか？

3. 近似しきれなかった部分を定量的に評価できるか？

⇒「不確かさのモデリング」と呼ばれる研究分野

４. スカラ変数とベクトル変数に対する最小二乗法

第3回 確率システム制御特論

11

確率変数 : 𝑥(𝑘)

確率変数の平均値 : E 𝑥(𝑘) = 𝑥

確率変数の分散 : E 𝑥 𝑘 − 𝑥 2 = 𝜎𝑥2

既知

観測: 𝑦 𝑘 = 𝑐𝑥 𝑘 + 𝑤(𝑘)

推定問題: 𝑥 𝑘 = 𝛼𝑦 𝑘 + 𝛽 (𝛼, 𝛽)を求める．

観測雑音: 𝑤(𝑘)

観測雑音の平均値 : E 𝑤(𝑘) = 𝑤

観測雑音の分散 : E 𝑤 𝑘 − 𝑤 2 = 𝜎𝑤2

条件: 𝑒 𝑘 = 𝑥 𝑘 − 𝑥 𝑘 の平均二乗誤差の最小化

最小二乗推定値の導出

12

第3回 確率システム制御特論

4.1 最小二乗推定法（スカラの場合）

① 1次モーメントに関する条件

E 𝑒(𝑘) = E 𝑥(𝑘) − 𝑥 = E 𝑥 𝑘 − 𝛼𝑦(𝑘) − 𝛽

= E 𝑥 𝑘 − 𝛼 𝑐𝑥 𝑘 + 𝑤 𝑘 − 𝛽

= 1 − 𝛼𝑐 𝑥 − 𝛼 𝑤 − 𝛽

= 0

↪ 𝛽 = 1 − 𝛼𝑐 𝑥 − 𝛼 𝑤 = 𝑥 − 𝛼 𝑐 𝑥 + 𝑤

13

第3回 確率システム制御特論

4.1 最小二乗推定法（スカラの場合）

推定誤差の平均値を最小化する (𝛼, 𝛽)の関係性はどのようなものだろう？？

② 2次モーメントに関する条件

E 𝑒 𝑘 − E[𝑒(𝑘)] 2 = E 𝑥(𝑘) − 𝛼𝑦(𝑘) − 𝛽 − 1 − 𝛼𝑐 𝑥 − 𝛼 𝑤 − 𝛽 2

= E 𝑥(𝑘) − 𝛼 𝑐𝑥(𝑘) + 𝑤(𝑘) − 1 − 𝛼𝑐 𝑥 + 𝛼 𝑤 2

= 1 − 𝛼𝑐 2E 𝑥(𝑘) − 𝑥 2 − 2 1 − 𝛼𝑐 𝛼E 𝑥 𝑘 − 𝑥 𝑤 𝑘 − 𝑤

= 1 − 𝛼𝑐 2𝜎𝑥2 + 𝛼2𝜎𝑤

2

𝟎+𝛼2E 𝑤(𝑘) − 𝑤 2

= 𝑐2𝜎𝑥2 + 𝜎𝑤

2 𝛼2 − 2𝑐𝜎𝑥2𝛼 + 𝜎𝑥

2

= 𝑐2𝜎𝑥2 + 𝜎𝑤

2 𝛼 −𝑐𝜎𝑥

2

𝑐2𝜎𝑥2 + 𝜎𝑤

2

2

+ 𝜎𝑥2 −

𝑐𝜎𝑥4

𝑐2𝜎𝑥2 + 𝜎𝑤

2

= 𝑐2𝜎𝑥2 + 𝜎𝑤

2 𝛼 −𝑐𝜎𝑤

−2

𝜎𝑥−2 + 𝑐2𝜎𝑤

−2

2

+1

𝜎𝑥−2 + 𝑐2𝜎𝑤

−2

さらに𝛼についての平方完成により

14

第3回 確率システム制御特論

4.1 最小二乗推定法（スカラの場合）

推定誤差の分散を最小化する (𝛼, 𝛽)の関係性はどのようなものだろう？？

E 𝑒 𝑘 − E[𝑒(𝑘)] 2 = 𝑐2𝜎𝑥2 + 𝜎𝑤

2 𝛼 −𝑐𝜎𝑤

−2

𝜎𝑥−2 + 𝑐2𝜎𝑤

−2

2

+1

𝜎𝑥−2 + 𝑐2𝜎𝑤

−2

𝝈𝟐

= 𝑐2𝜎𝑥2 + 𝜎𝑤

2 𝛼 − 𝑐𝜎𝑤−2𝜎2 2 + 𝜎2

これより，𝛼 = 𝑐𝜎𝑤−2𝜎2のとき，推定誤差分散は最小値

E 𝑒 𝑘 − E[𝑒(𝑘)] 2 = 𝜎2

をとる．また， 𝑥 𝑘 の推定値は，

𝑥 𝑘 = 𝛼𝑦 𝑘 + 𝛽 = 𝑐𝜎𝑤−2𝜎2 𝑦 𝑘 + 𝑥 − 𝑐𝜎𝑤

−2𝜎2 𝑐 𝑥 + 𝑤

= 𝑥 + 𝑐𝜎𝑤−2𝜎2 𝑦 𝑘 − 𝑐 𝑥 + 𝑤

で与えられる．

15

第3回 確率システム制御特論

4.1 最小二乗推定法（スカラの場合）

最小二乗推定値 𝑥(𝑘) と推定誤差 𝑒(𝑘) の相関関数を計算してみる。

𝐸 𝑥 𝑘 𝑒 𝑘 = E 𝑥 +𝑐𝜎2

𝜎𝑤2 𝑦 𝑘 − 𝑐 𝑥 + 𝑤 𝑒 𝑘

= 𝑥 −𝑐𝜎2

𝜎𝑤2 𝑐 𝑥 + 𝑤 E 𝑒(𝑘) +

𝑐𝜎2

𝜎𝑤2 E[𝑦(𝑘)𝑒(𝑘)]

=𝑐𝜎2

𝜎𝑤2 E[𝑦(𝑘) 𝑥(𝑘) − 𝑥(𝑘) ]

次に式の中のE[𝑦(𝑘) 𝑥(𝑘) − 𝑥(𝑘) ]を計算する。

ここで、E 𝑒(𝑘) = 0を利用した。

直交性の原理

16

第3回 確率システム制御特論

4.1 最小二乗推定法（スカラの場合）

= 𝑐 1 −𝑐𝜎2

𝜎𝑤2 E 𝑥 𝑘 𝑥 𝑘 − 𝑥 −

𝑐𝜎2

𝜎𝑤2 E 𝑤 𝑘 𝑤 𝑘 − 𝑤

を代入すると，

E 𝑦(𝑘) 𝑥(𝑘) − 𝑥(𝑘) = E 𝑐𝑥(𝑘) + 𝑤(𝑘) 𝑥(𝑘) − 𝑥 +𝑐𝜎2

𝜎𝑤2 𝑦(𝑘) − 𝑐 𝑥 + 𝑤

= 𝑐𝑥 𝑘 + 𝑤 𝑘 1 −𝑐𝜎2

𝜎𝑤2 𝑥 𝑘 − 𝑥 −

𝑐𝜎2

𝜎𝑤2 𝑤 𝑘 − 𝑤

となる．ここで，

E 𝑥(𝑘) 𝑥(𝑘) − 𝑥 = E 𝑥(𝑘) − 𝑥 𝑥(𝑘) − 𝑥 + 𝑥 𝑥(𝑘) − 𝑥 = 𝜎𝑥2

E 𝑤(𝑘) 𝑤(𝑘) − 𝑤 = E 𝑤(𝑘) − 𝑤 𝑤(𝑘) − 𝑤 + 𝑤 𝑤(𝑘) − 𝑤 = 𝜎𝑤2

17

第3回 確率システム制御特論

4.1 最小二乗推定法（スカラの場合）

となり，

E 𝑒(𝑘)𝑦(𝑘) = 0

が成り立つことが導かれた。

E 𝑦 𝑘 𝑥 𝑘 − 𝑥 𝑘 = 𝑐 1 −𝑐𝜎2

𝜎𝑤2

𝜎𝑥2 −

𝑐𝜎2

𝜎𝑤2𝜎𝑤2

= 𝑐 1 − 𝜎2𝑐2

𝜎𝑤2 +

1

𝜎𝑥2 +

𝜎2

𝜎𝑥2 𝜎𝑥

2 − 𝑐𝜎2

= 𝑐 1 − 𝜎21

𝜎2+

𝜎2

𝜎𝑥2 𝜎𝑥

2 − 𝑐𝜎2

= 0

この式は，「最小二乗推定誤差と観測は無相関である」ことを示す．これは直交性の原理とよばれる。

18

第3回 確率システム制御特論

4.1 最小二乗推定法（スカラの場合）

確率変数 : 𝒙(𝑘) ∈ ℝ𝑛

確率変数の平均値 : E 𝒙(𝑘) = 𝒙

確率変数の分散 : E (𝒙 𝑘 − 𝒙) 𝒙 𝑘 − 𝒙 𝑇 = 𝚺𝑥

既知

𝒚 𝑘 = 𝑪𝒙 𝑘 + 𝒘(𝑘)

観測雑音: 𝒘(𝑘) ∈ ℝ𝑛

観測雑音の平均値 : E 𝒘(𝑘) = 𝒘

観測雑音の分散 : E (𝒘 𝑘 − 𝒘) 𝒘 𝑘 − 𝒘 𝑇 = 𝚺𝑤

19

第3回 確率システム制御特論

4.2 最小二乗推定法（多変数の場合）

観測ベクトル: 𝒚(𝑘) ∈ ℝ𝑛

観測行列: 𝑪 ∈ ℝ𝑛×𝑛

𝒙(𝑘)と𝒘(𝑘)は無相関

対象

⋯(4.39)

⋯ (4.40)

20

第3回 確率システム制御特論

4.2 最小二乗推定法（多変数の場合）

出力の平均ベクトル

E 𝒚 = E 𝑪𝒙 + 𝒘 = 𝑪 𝒙 + 𝒘

共分散行列

E (𝒚 − E 𝒚 )(𝒚 − E 𝒚 )𝑇 = E (𝑪𝒙 + 𝒘− 𝑪 𝒙 − 𝒘)(𝑪𝒙 + 𝒘− 𝑪 𝒙 − 𝒘)𝑇

= E 𝑪 𝒙 − 𝒙 + (𝒘 − 𝒘) {𝑪 𝒙 − 𝒙 + (𝒘 − 𝒘)}𝑇

= 𝑪𝚺𝑥𝑪𝑇 + 𝚺𝑤

𝒙 𝑘 = 𝑭𝒚 𝑘 + 𝒅 (𝑭 ∈ ℝ𝑛×𝑛, 𝒅 ∈ ℝ𝑛)を求める．

𝒆 𝑘 = 𝒙 𝑘 − 𝒙 𝑘

推定問題

推定誤差ベクトル

⋯(4.42)

21

第3回 確率システム制御特論

4.2 最小二乗推定法（多変数の場合）

E 𝒆 = E 𝒙 − 𝑭𝒚 − 𝒅 = 𝒙 − 𝑭 𝑪 𝒙 + 𝒘 − 𝒅 = 𝟎

① 1次モーメントに関する条件

推定誤差の平均値を最小化する𝒅はどのようなものだろう？？

𝒅 = 𝒙 − 𝑭 𝑪 𝒙 + 𝒘 = 𝑰 − 𝑭𝑪 𝒙 − 𝑭 𝒘

② 2次モーメントに関する条件

推定誤差の分散を最小化する 𝑭はどのようなものだろう？？

𝑷 ≜ E 𝒆𝒆𝑇 誤差共分散行列

𝑷 = E[(𝒙 − 𝑭𝒚 − 𝒅)(𝒙 − 𝑭𝒚 − 𝒅)𝑇]

= E[{𝒙 − 𝑭 𝑪𝒙 + 𝒘 − 𝒅}{𝒙 − 𝑭 𝑪𝒙 + 𝒘 − 𝒅}𝑇]

⋯ (4.45)

⋯ (4.47)

22

第3回 確率システム制御特論

4.2 最小二乗推定法（多変数の場合）

𝒙 − 𝑭 𝑪𝒙 + 𝒘 − 𝒅 = 𝑰 − 𝑭𝑪 𝒙 − 𝑭𝒘− 𝒅

= 𝑰 − 𝑭𝑪 𝒙 − 𝑭𝒘− 𝑰 − 𝑭𝑪 𝒙 + 𝑭 𝒘

= 𝑰 − 𝑭𝑪 (𝒙 − 𝒙) − 𝑭(𝒘 − 𝒘)

← Eq. (4.45)を利用

⋯(4.48)

Eq. (4.48)をEq. (4.47)に代入

𝑷 = E[{ 𝑰 − 𝑭𝑪 (𝒙 − 𝒙) − 𝑭(𝒘 − 𝒘)}{ 𝑰 − 𝑭𝑪 𝒙 − 𝒙 − 𝑭 𝒘− 𝒘 }𝑇]

= 𝑰 − 𝑭𝑪 E 𝒙 − 𝒙 𝒙 − 𝒙 𝑇 𝑰 − 𝑭𝑪 𝑇 + 𝑭E[ 𝒘 − 𝒘 𝒘− 𝒘 𝑇]𝑭𝑇

= 𝑰 − 𝑭𝑪 𝚺𝑥 𝑰 − 𝑭𝑪 𝑇 + 𝑭𝚺𝑤𝑭𝑇

← Eq. 4.39 (4.40)を利用

= 𝑭 𝑪𝚺𝑥𝑪𝑇 + 𝚺𝑤 𝑭𝑇 − 𝑭𝑪𝚺𝑥 − 𝚺𝑥𝑪

𝑇𝑭𝑇 + 𝚺𝑥

𝑨 𝑩

↪ 𝑷 = 𝑭𝑨𝑭𝑇 − 𝑭𝑩 − 𝑩𝑇 𝑭𝑇 + 𝚺𝑥 ⋯(4.51)

⋯ (4.50)

23

第3回 確率システム制御特論

4.2 最小二乗推定法（多変数の場合）

↪ 𝑷 = 𝑭 − 𝑩𝑇𝑨−1 𝑨(𝑭 − 𝑩𝑇𝑨−1)𝑇+𝚺𝑥 − 𝑩𝑇𝑨−1𝑩

𝑷 = 𝚺𝑥 − 𝑩𝑇𝑨−1𝑩

𝑭 = 𝑩𝑇𝑨−1のとき𝑷は最小

↪ 𝑭 = 𝚺𝑥𝑪𝑇(𝑪𝚺𝑥𝑪

𝑇 + 𝚺𝑤)−1 ⋯(4.55)

Eq. 4.45 ，(4.55)をEq. 4.42 に代入

𝒙 𝑘 = 𝑭𝒚 + 𝑰 − 𝑭𝑪 𝒙 − 𝑭 𝒘

= 𝒙 + 𝑭{𝒚 − (𝑪 𝒙 + 𝒘)}

= 𝒙 + 𝚺𝑥𝑪𝑇(𝑪𝚺𝑥𝑪

𝑇 + 𝚺𝑤)−1{𝒚 − (𝑪 𝒙 + 𝒘)} ←最小二乗推定ベクトル

⋯(4.54)

24

第3回 確率システム制御特論

4.2 最小二乗推定法（多変数の場合）

← Eq. 4.54 (4.50)を利用𝑷 = 𝚺𝑥 − 𝚺𝑥𝑪𝑇(𝚺𝑤 + 𝑪𝚺𝑥𝑪

𝑇)−1𝑪𝚺𝑥

= (𝚺𝑥−1 + 𝑪𝑇𝚺𝑤

−1𝑪)−1 ⋯(4.60)

𝑭 = 𝑷𝑪𝑇𝚺𝑤−1 ⋯(4.62)

← Eq. 4.55 を変形

𝒙 𝑘 = 𝒙 + 𝑭{𝒚(𝑘) − (𝑪 𝒙 + 𝒘)}最小二乗推定

𝑷 = 𝚺𝑥 − 𝚺𝑥𝑪𝑇(𝚺𝑤 + 𝑪𝚺𝑥𝑪

𝑇)−1𝑪𝚺𝑥

𝑭 = 𝚺𝑥𝑪𝑇(𝑪𝚺𝑥𝑪

𝑇 + 𝚺𝑤)−1