31
Introduction 李宏毅 Hung-yi Lee

Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

  • Upload
    others

  • View
    7

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Introduction李宏毅

Hung-yi Lee

Page 2: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Course Information

Page 3: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

課程資訊

• 上課時間:

• 週三上午 9:10 – 10:00

• 週五上午 10:20 – 12:10

• 上課地點:博理112

• 評量方式:

• 期中考 (35%)

• 期末考 (35%)

• 六次作業 (每個作業 6%)

• 取最高的五次計分

Page 4: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

教科書

• Elementary Linear Algebra -A Matrix Approach, 2nd Ed., by L. E. Spence, A. J. Inseland S. H. Friedberg

上課不完全按照教科書內容,但考試範圍都會講到

Page 5: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

考試範圍

• 考試範圍:教科書所有未打星號*章節

Page 6: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

期中、期末考

• 期中和期末考則採各班統一時間舉行及命題

• 時間為期中考週和期末考週的週五

• 考試規則:

• 除非生病(需醫師開立證明),不得請假及要求補考

• 考試作弊者,學期成績不及格

• 不接受以任何方式求情要求加分或使學期成績及格

Page 7: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

作業

• 作業不是勾課本習題 (課本習題請自行練習)

• 作業是線性代數的應用

• 需要使用 python

• 作業繳交日期和方式等細節另行公告

Page 8: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

其他注意事項

• 上課投影片會放在李宏毅的個人網頁上

• http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA19.html

• FB 社團:NTUEE Linear Algebra (2019)

• https://www.facebook.com/groups/667575690377769/

• 歡迎討論任何和線性代數相關的問題

• 請務必加入FB社團,重要訊息除了透過學校 ceiba 寄 e-mail 外,也會透過FB 社團公告

• 助教信箱:[email protected]

• 有關加簽

Page 9: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

What are we going to learn?

Page 10: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

System• A system has input and output

(function, transformation, operator)

“How are you”

Speech Recognition System

Dialogue System (e.g. Siri, Alexa)

“How are you” “I am fine”

Communication System

“Hello” “Hello”

Page 11: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Linear System

• Linear system have two properties• 1. Persevering Multiplication

• 2. Persevering Addition

LinearSystem

x yLinearSystem

kx ky

x2 y2

x1+x2 y1+y2

LinearSystem

x1 y1

LinearSystem

LinearSystem

Page 12: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Linear?

• Linear system have two properties• 1. Persevering Multiplication

• 2. Persevering Addition

Systemx x2

Systemx Systemkxx2 k2x2

≠kx2

System

System

System

𝑥1

𝑥2

𝑥12

𝑥22

𝑥1 + 𝑥2 𝑥1 + 𝑥22

≠ 𝑥12 + 𝑥2

2

Page 13: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Linear?

• Derivative

Derivativefunction f function f’

x2 2x

3x 3

𝑓 → 𝑓′

𝑔 → 𝑔′

𝑘𝑓 → 𝑘𝑓′

𝑓 + 𝑔 → 𝑓′ + 𝑔′

Page 14: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Linear?

• Integral from a to b

Integral(from a to b)

function f scalar

x21

3𝑏3 − 𝑎3

න𝑎

𝑏

𝑓 𝑡 𝑑𝑡

a b

Page 15: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Linear System

• Two properties• 1. Persevering Multiplication

• 2. Persevering Addition

LinearSystem

𝑥1

𝑥2

𝑥1 + 𝑥2

𝑥1 − 𝑥2

LinearSystem

𝑥1

𝑥2

𝑥1 + 𝑥2

𝑥1 − 𝑥2

LinearSystem

𝑘𝑥1

𝑘𝑥2

𝑘𝑥1 + 𝑘𝑥2

𝑘𝑥1 − 𝑘𝑥2

LinearSystem

𝑥1′

𝑥2′

𝑥1′ + 𝑥2

𝑥1′ − 𝑥2

LinearSystem

𝑥1 + 𝑥1′

LinearSystem

𝑥1

𝑥2

𝑥1 + 𝑥2

𝑥1 − 𝑥2

𝑥2 + 𝑥2′

𝑥1 + 𝑥1′

+ 𝑥2 + 𝑥2′

𝑥1 + 𝑥1′

− 𝑥2 + 𝑥2′

Page 16: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Linear System v.s. System of Linear Equations

LinearSystem

𝑥1𝑥2

𝑥𝑛

……

𝑏1𝑏2

𝑏𝑚

……

Page 17: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

System of Linear Equations

• I believe you know it.

m equations

n variables

In this course, m and n can be large

多元一次聯立方程式

coefficient

Page 18: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Linear System v.s. System of Linear Equations

LinearSystem

?

𝑥1𝑥2

𝑥𝑛

……

𝑏1𝑏2

𝑏𝑚

……

trivial

k k k k

Page 19: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

LinearSystem

1

0

0

……

𝑎11𝑎21

𝑎𝑚1

……

LinearSystem

0

1

0

……

𝑎12𝑎22

𝑎𝑚2

……

LinearSystem

0

0

1

……

𝑎1𝑛𝑎2𝑛

𝑎𝑚𝑛

……

……

0

0

……

𝑥1

0

……

0

𝑥2…… …

…0

0

𝑥𝑛

LinearSystem

𝑥1𝑥2

𝑥𝑛

……

……

……

……

A linear system is described by a system of linear equations

𝑥1 𝑥1 𝑥2 𝑥2 𝑥𝑛 𝑥𝑛

Page 20: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

What are we going to learn?

Does it have solution?

Does it have unique solution?

How to find the solution?

Different view from high school

Determinants (行列式)

Beyond 3 X 3

LinearSystem

……

……

36

9

??

?

Chapter 1, Chapter 2, Chapter 3Beyond vector in Chapter 6

vector vector

Page 21: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

What are we going to learn?

LinearSystem

……

How to describe this “set”?

Chapter 4

Chapter 7

Approximation

SimplerLinearSystem

……

Change the description

Page 22: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

What are we going to learn?

• Chapter 5: EigenXXX

Filter

LinearSystem

𝑥1𝑥2

𝑥𝑛

……

2𝑥12𝑥2

2𝑥𝑛…

Enlarge the input Decrease the input

LinearSystem

𝑥1′

𝑥2′

𝑥𝑛′

……

0.5𝑥1′

0.5𝑥2′

0.5𝑥𝑛′

……

Page 23: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Application

Page 24: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Applications

v i +

-

input output(大一必修)

Most system are (assumed to) be linear

Circuit

LinearInput: voltage source, current source

output: voltage and current on the load (燈泡、引擎)

Linear System

Page 25: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Applications

(大二必修)

Most system are (assumed to) be linear

Linear

Transmitter Receiver

Communication System

Linear System

Channel

Page 26: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Applications

Fourier Transform

Linear System (Transform)(大二必修)

time frequency

Page 27: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Applications預測豐原站在下一個小時會觀測到的 PM2.5

Page 28: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Applications

y = w1x1 + w2x2 + w3x3

y: A年 B月 C日 N時的 PM2.5

xK: A年 B月 C日 N – K 時的 PM2.5觀測值

氣象預報

y

Linear system

x1x2

x3

Where do w1, w2 and w3 come from?

Page 29: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Applications - Computer Graphics

http://www.c-jump.com/bcc/common/Talk3/Math/Matrices/Matrices.html

𝑥𝑦𝑧

𝑥′

𝑦′

𝑧′

LinearSystem

Section 7.9 of Textbook

Page 30: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Applications

http://incomebully.com/does-pr-pagerank-still-matter/

P336 of Textbook

Page 31: Introduction - NTU Speech Processing Laboratoryspeech.ee.ntu.edu.tw/~tlkagk/courses/LA_2019/Lecture...課程資訊 •上課時間: •週三上午9:10 –10:00 •週五上午10:20

Linear Algebra is Important