Final Presentation

Network Software System LabDepartment of Electrical Engineering, Technion

Oz Itzhaki Jonathan Nafta

Supervisor: Boris Oklander

R

N

N

C

R

M

Random Neural Networks for Cognitive Radio Modeling

מבואאקראיות • נוירונים רשתות

(RNN )מתמטי מודל הן. נוירונים רשתות של חישובי

הנוירונים • רשתות מודללתיאור ניתן האקראיות

אנליטיות משוואות באמצעותסיבוכיות, בעל הוא רגילות , לשילוב ניתן נמוכה חישוב

בצורה ובתוכנה בחומרה. יחסית פשוטה

הנוירונים • רשתות מודלבשל מעניין האקראיות

לבצע שניתן הרבים השימושיםההנדסה בתחומי באמצעותו

והפיסיקה.

הפרויקט מטרות

ומלאכותיות • אקראיות נוירונים רשתות מודל של התאמה

. קוגנטיבי רדיו מערכות למידול

המשלבת • סביבה - RNNמימוש - CRNו ביצוע Matlabב לצורך. השונים הפרויקט שלבי

•. קוגניטיביות רדיו רשתות של אופטימיזציה

•. ביצועים חקר

Cognitive Radio Networks (CRN)

המתמטי המודל• N. ברשת נוירונים

•: מעורה יהיה שנוירון ההסתברות

:iההסתברות של שחרור פוטנציאל מנוירון •

נוירון מעורה יורה סיגנלים בקצב:•

:iקצב הירי הכולל מנוירון •

1

[ ( , ) ( , )] ( ) 1N

j

p i j p i j d i

( ) Pr[ ( ) 0] 1i iq t k t

( , ) ( , ) 0

( , ) ( , ) 0

i

i

i j r p i j

i j r p i j

1

1

(1 ( )) [ ( , ) ( , )]N

ij

r d I i j i j

יציב במצב הרשת התנהגות•: יציב במצב הנוירונים רשת של הסטציונרי הפילוג

• - ' קולמוגורוב פמן צ משוואת מתקיימות ולכן רציב בזמן מרקוב שרשרת מתאר הפילוג: האיזון תנאי מתקיים יציב ובמצב

•: מתקיים המשוואות מפיתוח

lim Pr( ( ) ) lim ( , )t tt t k k k

{ 0}1

{ 0}

1 { 0} { 0}1

( ) ( )

( ) ( ) ( ) ( )

( ) ( , ) ( ) ( , ) ( ) ( , )

i

i

j j

N

i i i ki

i i i i k i iN

N

i ij i k ij i i i kj

r

rd i

r p i j r p i j r p i j

k 1

k k 1 k

k 1 k k 1

( )min{1, }

( )ii

iq

r i

1 1

( ) ( ) (1 ) i

N Nk

i i i ii i

k q q

k

הגרדיאנט – אלגוריתם לומדות מערכתרציפה • לפונקציה ראשון מסדר אופטימיזציה מבצע הגרדיאנט אלגוריתם

למקוטעין.

•: הבא באופן שתוגדר השגיאה את למינימום להביא היא האלגוריתם מטרת

הסף • מערך קטן השגיאה גודל אשר עד איטרציה בכל מתעדכנים הרשת משקולותשהוגדר:

21 1

1

2

K N

i i ik ikk n

E c f q y

1

1

( , ) ( , )( , )

Ni ik

i i ik iki

f qw u v w u v c f q y

w u v

הגרדיאנט אלגוריתם ביצוע שלבי.1. הלימוד קצב פרמטר וקביעת המשקולות מטריצת איתחול

.2: - יציאה כניסה צמד כל עבור

ההגעה. קצבי את איתחול .א המתאימות לכניסות בהתאם

ערכי. מציאת ב

, את. נחשב שהתקבלו הערכים סמך על ג

את. : נחשב ד

. המשקולות. מטריצת עדכון ה

3. הנדרש. הסף בערך עמדנו ולא במידה נוספת באיטרציה והמשך השגיאה חישוב

,i i

( ) , ( ) , ii i q

, ( , ) , ( , )W u v u v

,( , ) ( , )

q q

w u v w u v

המערכת מידול

1 ,( )

0 ,i channel is busyc n

channel is free

1

( ) 1ˆ ( ) (1 )

1

Ni

i i i

c np n p

N

Sample

Cha

nnel

1 2 3 4 5 6 7 8 9 10

1

2

3

4

( )X n

( )Y n

( 1)X n ( 2)X n( 1)Y n ( 2)Y n

Sample

Channel

1000 2000 3000 4000 5000 6000 7000 8000 9000 10000

1

2

3

4

5

6

7

8

9

10

Sample

Channel

1000 2000 3000 4000 5000 6000 7000 8000 9000 10000

1

2

3

4

5

6

7

8

9

10

Sample

Cha

nnel

1000 2000 3000 4000 5000 6000 7000 8000 9000 10000

0.5

1

1.5

2

2.5

3

3.5

4

4.5

Sample

Cha

nnel

1000 2000 3000 4000 5000 6000 7000 8000 9000 10000

0.5

1

1.5

2

2.5

3

3.5

4

4.5

הרשת תכונותMemory

Cor

rela

tion

הרשת - ביצועי Rewardהגדרת

1

( ) ( )N

i

i

R n R n

הנוירונים רשת מבנה1

2

3

4

5

6

7

8

9

10

11

12

INP

UT

OU

TP

UT

Magic …

1

0

0

0

1

0

0

0

1

1

0

0 1ˆn nC f C

סימולציה - RNNתוצאות

**************************************************************************** Test Results: 55 misses out of 49990. error rate 0.110022% * * Channel Selection: 3 misses out of 4999 error rate 0.060012% * ***************************************************************************

ערוצים 4עם RNNדוגמא:

נויורונים בשכבה הנסתרת24•.0.0032שגיאת הלימוד של המודל הינה • דק'.31:32משך זמן הלימוד: •.38מספר האיטרציות הינו •

הרעש בשונות כתלות חיזוי שגיאת

, הפנוי הערוץ חיזוי טעות גדלה כך גדל במערכת שהרעש ככל טבעי באופןהבא

נוספות רשתות

Error rate 1.3%-1.8%

Error rate 16.2%-17.24%

הערוצים • בין חזקה סטטיסטית תלות

ברשת • כללי עומס מצבי הדמיית

מלאכותיות נוירונים רשתות• - ב Matlab Neural Networkשימוש

Toolbox

•GUI הרשת אימון בזמן

באלגוריתם • Levenberg-Marquardtשימושאדפטיבי מומנט עם ובהרחבתו

תרחיש • מכל משמעותית קצר התכנסות זמן - ב RNNשהרצנו

במרבית • יותר טובות או זהות תוצאותהמקרים

הרצת ANNתוצאות

0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3

-2

-1

0

1

2

3

4

Time [n]

Rew

ard

Cn (sum of network states) vs. R

n (Reward)

Rn

Cn

error rate: 10.9%

0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-1

-0.5

0

0.5

1

1.5

2

2.5

3

3.5

4

Time [n]

Rew

ard

Cn (sum of network states) vs. R

n (Reward)

Rn

Cn

error rate: 0.49%

סיכום• , , לחיזוי ומלאכותיות אקראיות נוירונים ברשתות השימוש התכנות נבדקה

קוגנטיביות רדיו מערכות

ביצועיהן • ונבחנו שונים פרמטרים עם מודלים של רב מספר נבדקו

• , מימוש תלוי הוא והדבר יתכן אך יותר מהיר המלאכותיות הנוירונים רשת מודלהאקראיות הנוירונים רשתות מערכת של

המודלים • באמצעות קטנים שגיאה אחוזי עם טובה חיזוי לתוצאת להגיע ניתןהנבדקים

! זמנכם על תודה