دانشجو: محمد کريم سهرابي 84131906 استاد راهنما: احمد عبداله...

الگوکاوي در پايگاه هاي تراکنش بسيار بزرگ با استفاده از رويکرد تقسيم

وحلFrequent Pattern Mining on Very Large

Transaction Databases Using Divide-and-Conquer Approach

دانشجو: محمد کريم سهرابي84131906

استاد راهنما: احمد عبداله زاده بارفروش )استاد(

دانشگاه صنعتي اميرکبير

دانشکده مهندسي کامپيوتر

1391ارديبهشت

به نام خداوند جان و خرد

فهرست مطالبتعريف مسالهرهيافت هاي جاري براي حل مسالهكارهاي مرتبط رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي الگوكاوي سريال )افقي- عمودي از پايين به باال- عمودي

از باال به پايين( الگوكاوي موازي كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچك و

متوسطنتيجه گيري و كارهاي آيندهمراجع

تعريف مسالهالگو

مدل مشخصي از داده در پايگاه تراكنش )پايگاهداده(

مجموعه داده، هاساختارهای گوناگونی از داده( )... G،رشته، گراف

انواع الگوهاي مهم

مجموعه آيتم ها توالي هاگراف ها

تعريف مسالهمجموعه آيتم ها

I مجموعه همه آيتم هاي داده اي به كاررفته در پايگاه :تراكنش

مثال: در پايگاه داده فروشگاه: }نان، پنير، خامه، تخم= I مرغ{

مجموعه آيتم(itemset) هر زير مجموعه :X Iاز

}مثال: }نان، پنير X=

},...,,{ 21 miiiI

nn jjjjjj iiiiiiX ...},...,,{2121

تعريف مسالهتراكنش

:يك چندگانه به فرم تراكنشT=(tid, X)tidGشماره تراكنش :Xيك مجموعه آيتم :

تراكنش شامل مجموعه آيتمY : تراكنشT=(tid, X) كه در آن

:مجموعه چند تراكنشپايگاه تراكنش مجموعه پشتيباني تراكنشX (D(X)) : مجموعه

Xشماره سطرهاي تراكنش هاي شامل Sup(X) : تعداد تراكنش هاي موجود در مجموعه

Xپشتيباني

|)}()),((|),{(|)( YXTDBYtidYtidXSUP

تعريف مسالهتراكنش

تراكنشفروشگاه با سه پايگاه تراكنش مثال: نمونه

شامل مجموعه آيتم }پنير{ 3 و 1تراكنش هاي شامل مجموعه آيتم }پنير، خامه{ 1تراكنش :}{1,3} مجموعه پشتيباني }پنير

tidItemsetپنير، خامه، نان1 تخم مرغ2نان، پنير3

تعريف مساله(frequency)تكرارشوندگي

آستانه زيربري(minsup) :حد آستانه مورد نظر كاربر :مجموعه آيتم مجموعه آيتم تكرارشوندهXبا شرط

مثال: به ازايminsup = 2پنير{: تكرارشونده{)پنير، خامه{: ناتكرارشونده )تكرارناشونده{

و الگوبه كار بردن واژه هاي به جاي هم در ارائهمجموعه آيتم

supmin)( XSUP

تعريف مساله(closed Pattern)الگوهاي بسته

: عدم وجود ابر الگويي از الگو با همان الگوي بستهمجموعه پشتيباني

مثال: }پنير{: الگوي نابسته{ :}پنير{ ه پشتيبانيG3و 1مجموع }{ :}{3و 1مجموعه پشتيباني }پنير، نان

مثال: }نان، پنير{: الگوي بسته

:الگوي تكرارشونده و بستهالگوي تكرار شونده بسته مثال: }نان، پنير{: الگوي تكرارشونده بسته بر اساس

minsup=2 مثال: }خامه، پنير{: الگوي ناتكرارشونده بسته بر

minsup=2اساس

تعريف مسالهفرضيات مساله

كاوش الگوهاي تكرارشونده از پايگاهي)مثال: تراكنش هاي هم جنس از

تراكنش هاي فروش(

غير قطعي عدم وجود داده هاي خراب ودر پايگاه تراكنش

عدم تغيير و به روزرساني پايگاه تراكنشدر زمان الگوكاوي

رهيافت هاي جاري براي حل مسالهکاوش مجموعه آيتم هاي تكرارشونده

مجموعه آيتم I، 2^dموجود در آيتم dبه ازاي روش سردستي (Naïve)

ساخت همه مجموعه آيتم هاي ممكنتراکنش هاي موجود در پايگاه تراکنش همه با مقايسه آنها بر مجموعه آيتم مزبورمشتملتعداد تراکنش هاي شمارش تكرارشونده مجموعه آيتم هايمشخص نمودن

وعه آيتم هانماييمرتبهGتعداد مجم در آيتمهزارانامکان وجود Gمورد Gپايگاه تراکنش

استفاده

رهيافت هاي جاري براي حل مساله{A, B, C, D, E} آيتم 5شبکه اي از همه مجموعه آيتم هاي ممکن به ازاي

مثالي از شبکه بندي زيرمجموBعه اي

A B C D E

AB AC AD AE BC BD BE CD CE DE

ABC ABD ABE ACD ACE ADE BCD BCE BDE CDE

ABCD ABCE ABDE ACDE BCDE

رهيافت هاي جاري براي حل مسالهانواع روش هاي كاوش بر اساس رويكرد

جستجو الگوريتم هاي اول سطح(Apriori)

شروع ازGنود راس شبکه مجموعه آيتم هاي کانديدتوليد Gهر سطح از مجموعه

آيتم هاي تكرار شونده سطح قبل ت تكرار شوندگيGآيتم هاي کانديدتس Gهر سطحمجموعه

الگوريتم هاي اول عمق(FP-Growth)ساخت درخت آيتم ها بر اساس پايگاه تراكنشجستجوي عمقي درخت

رهيافت هاي جاري براي حل مساله اصلApriori

عدم وجود ابرالگوي تكرارشونده از يک الگوي ناتكرارشونده الگوريتمApriori :

)يافتن الگوهاي تكرار شونده يك آيتمي )آيتم هاي تكرار شونده كانديد تكرارشوندگي ساخت مجموعه الگوهايk آيتمي از روي

آيتمي(k-1)مجموعه الگوهاي تكرار شونده تست تكرارشوندگي آنها با پويش پايگاه تراكنش

:Gيافتن مجموعه آيتم هاي تكرارشونده در پايگاه تراکنش مثالS=3 و با حد آستانه (TDB)زير

L1 مجموعه همه مجموعه :آيتمهاي تكرارشونده تک آيتمي

L1={a, b, c, f, m, p}

TidItemsets100f, a, c, d, g, i, m, p

200a, b, c, f, l, m, o

300b, f, h, g, o

400b, c, k, s, p

500a, f, c, e, l, p, m, n

رهيافت هاي جاري براي حل مساله

C2={ab,ac,af,am,ap,bc,bf,bm,bp,cf,cm,cp,fm,fp,mp}L2={ac, af, am, cf, cm, fm}C3={acf, acm, afm}L3={acf, acm, afm}

C4}{= L4}{=

TidItemsets(ordered) Frequent Itemsets100f, a, c, d, g, i, m, pa, c, f, m, p

200a, b, c, f, l, m, oa, b, c, f, m

300b, f, h, g, ob, f

400b, c, k, s, pb, c, p

500a, f, c, e, l, p, m, na, c, f, m, p

رهيافت هاي جاري براي حل مسالهApriori

معايبحجم بسيار زياد الگوهاي کانديد ايجاد –

شده در مقايسه با الگوهاي تکرار شونده )مرتبه نمايي(

پويش چندين باره پايگاه تراکنش )در هر –

مرحله يک پويش(

رهيافت هاي جاري براي حل مسالهFP-Growth

ساخت درختFP-Tree:- يک بار پويش پايگاه تراکنش به منظور يافتن 1

هاي تکرارشونده و مرتب کردن آيتم هاي آيتميافته شده بر اساس ترتيب نزولي تعداد تکرار

L={f:4, c:4, a:3, b:3, m:3, p:3} - مرتب کردن هر تراکنش بر اساس ترتيب 2

مشخص شده و حذف آيتم هاي تکرارناشونده از هر تراکنش

Item frequency f 4c 4a 3b 3m 3p 3

TID Items 100 {f, a, c, d, g, i, m, p}200 {a, b, c, f, l, m, o}300 {b, f, h, j, o}400 {b, c, k, s, p}500 {a, f, c, e, l, p, m, n}

TID Items (ordered) frequent items100 {f, a, c, d, g, i, m, p} {f, c, a, m, p}200 {a, b, c, f, l, m, o} {f, c, a, b, m}300 {b, f, h, j, o} {f, b}400 {b, c, k, s, p} {c, b, p}500 {a, f, c, e, l, p, m, n} {f, c, a, m, p}

{f, c, a, m, p}{}

b:1m:1

p:1 m:1

{f, c, a, b, m}

f:4 c:1

b:1c:3

b:1m:2

p:2 m:1

b:1m:1

p:1 m:1

{f, b}

b:1{c, b, p}

b:1m:1

p:1 m:1

b:1{f, c, a, m, p}

f:4 c:1

b:1c:3

b:1m:2

p:2 m:1

Header Table

Item head fcabmp

مزايا ساخته شدن درخت كامل با دو پويش بر

روي پايگاهفشرده سازي پايگاه تراكنش براي كاوش

به كار گيري درختFP-Tree براي الگوكاوي عمقي:

کاوشFP-treeبه روش تقسيم و حل {}

f:4 c:1

b:1c:3

b:1m:2

p:2 m:1

f:4 c:1

fb:1fc:3

fb:1fm:2

fp:2 fm:1

f:4 c:1

fb:1fc:3

fcb:1fcm:2

fcp:2 fcm:1

كارهاي مرتبطانواع الگوريتم هاي كاوش بر اساس

رويكرد جستجو

كارهاي مرتبطانواع الگوريتم هاي كاوش بر اساس رويكرد جستجو

كارهاي مرتبطانواع الگوريتم هاي كاوش الگوهاي بسته

كارهاي مرتبطAlgorithmname

yearThe First Author

BFS/DFSTop-Down/Bottom-Up

Closed/Maximal/All/Colossal

Bit-wiseParallel horizontal/ vertical

Comments

Apriori1993AgarwalBFSBottom-UpAllNoNohorizontalThe first BFS Algorithm

DIC1997BrinBFSBottom-UpAllNoNohorizontal

FP-Growth2000HanDFSBottom-UpAllNoNohorizontalThe first DFS Algorithm

Tree-Projection2001AgrawalDFSBottom-UpAllNoNohorizontal

opportunistic projection2003LiuDFSTop-Down/Bottom-Up

AllNoNohorizontalBi directional

Equivalence CLAss Transformation (ECLAT)

2000ZakiBFSBottom-UpAllNoNoverticalThe first vertical Algorithm

A-Close1999PasquierBFSBottom-UpClosedNoNohorizontalThe first Closed Algorithm

CLOSET2000PeiDFSBottom-UpClosedNoNohorizontal

CHARM2002ZakiDFSBottom-UpClosedNoNohorizontal

CLOSET+2003WangDFSBottom-UpClosedNoNohorizontal

FPClose2003GrahneDFSBottom-UpClosedNoNohorizontal

AFOPT2003LiuDFSBottom-UpClosedNoNohorizontal

MAFIA2001BurdickDFSBottom-UpClosed/Maximal/All

YesNoverticalThe first Bit-wise Algorithm

Granular Method2003LinDFSBottom-UpAllYesNohorizontal

BitTableFI2007DongDFSBottom-UpAllYesNohorizontal

Index-BitTableFI2007SongDFSBottom-UpAllYesNohorizontal

CFP-Tree2011SchlegelDFSBottom-UpAllYesNohorizontal

PFP-Tree2004JavedDFSBottom-UpAllNoYeshorizontalThe first DFS parallel method

LFP-Tree2007YuDFSBottom-UpAllNoYeshorizontal

PP-Tree2010TanbeerDFSBottom-UpAllNoYeshorizontal

رويكرد بيتي در بسترسازي براي حل مساله الگوكاوي

منطق روش بيتيیک بودن وجود یک آیتم در یک تراکنش معادل –

صفر بودنبیت متناظر آن و عدم وجود معادل هر آیتم در پایگاه تراکنش، nدر صورت وجود –

بیتیnتراکنش یک رشته پایگاه تراکنش، mدر یک پایگاه تراکنش با –

بیتیm*nتراکنش معادل یک ماتریس در قالب آرایه مجموع یک های سطرها نگهداری –

rowsumدر قالب آرایه مجموع یک های ستونها نگهداری –

colsum

الگوریتم. 1-2شکل تکامل مراحل واره درخت

هرس کردن ماتریس بیتی آنها کمتر از colsumحذف همه ستونهایی که –

minsup.است پس از حذفrowsumاصالح مقادیر –

تعیین تکرارشوندگی یک الگو با استفاده ازماتریس بیتی:

cd تکرارشونده

و بقیه ناتکرارشون

دهبه ازای

minsup=3

:تعيين بسته بودن الگوها-

الگوكاوي سريالرويكرد هاي كاوش افقي و عمودي

:رویکرد افقی هر پایگاه تراکنش شامل تعدادی تراکنش )سطرهاي

پايگاه تراكنش( هر تراكنش شامل تعدادی آیتم

:ديGرویکرد عمو نگهداري آیتم ها بر اساس مجموعه تراکنش

هایی )شماره تراکنش هايي( که دارای آن آيتم هستند

:مثال {c, 1,2,4}{ d, 1,2,3,4 }

پايگاه هاي تراكنش ابعاد باال (high dimensional)

:رویکرد عمودي درخت عمودي از پايين به باالدرخت عمودي از باال به پايين

:درخت عمودي از پايين به باال

:درخت عمودي از باال به پايين

الگوكاوي سريالHPMالگوكاوي بيتي افقي : :رابطه شمول تعريفx: :افراز هر مجموعه از الگوهاي تكرارشونده به دو قضيه

xمجموعه بر اساس آيتم :تقسيم خروجي )مجموعه الگوهاي تكرارشونده( به نتيجه

nدسته nتعداد آيتم هاي تكرارشونده موجود در پايگاه تراكنش :

فرض: مجموعه مرجعI شامل n+m آیتم n آیتم تکرار شونده m ناتکرارشونده آیتم

I={a1,a2,..,an,an+1,…,an+m}

)()(: QPxQPxQPx

الگوكاوي سريالHPMگوكاوي بيتي افقيGال :: مجموعه همه الگوهای تکرارشونده قابل کاوشالگوهای تکرار شونده مشتمل بر آیتمدسته اول :a1 .الگوهای تکرار شونده مشتمل بر آیتمدسته دوم : a2 و فاقد

a1 آیتم

الگوهای تکرار شونده مشتمل بر آیتمدسته سوم : a3 و فاقدa2 و a1 آیتم

... دسته(n-1)الگوهای تکرار شونده مشتمل برام : an-1 و فاقد

نباشند. an-2 و... و a2 و a1 آیتم هایدستهnالگوهای تکرار شونده مشتمل بر آیتمام : an باشند ولی

نباشند)یعنی الگوی تك an-1 و... و a2 و a1 حاوی آیتم های(. anآيتمي

الگوكاوي سريالHPM)الگوكاوي بيتي افقي )تعاريف ::ماتريس ستوني مرتب

يک اسGاس بر شده مرتGب )آيتم هاي( سGتونهاي بGا بيتGي ماتريGس مشخص معيار

ماتريس بدونx(x-eliminated): ا آيتمGر بGتون متناظGه مقدار سGطرهايي کGل سGا شامGتنهx در ،

باشد 1آنها برابر تنها شامل ستونهاي بعد ازxريس ستوني مرتبGاز مات

ماتريس بدونy از x (x|y-eliminated)

الگوكاوي سريالHPMالگوكاوي بيتي افقي :

a ماتریس بدون

الگوكاوي سريالHPM)الگوكاوي بيتي افقي )روش انجام :به ازای هر آیتمx ماتریس بدون :x را به

دست آوریم. ماتریس بدونa :)هرس نشده(

الگوكاوي سريالHPM)قي )روش انجامGالگوكاوي بيتي اف : هر الگوي استخراج شده از اين ماتريس

است aشامل كاوش الگوهاي تكرارشونده شاملa:يعني

استخراج الگوهاي ماتريس بدون a و ترکيب آنها باa .

ستونهايي کهcolSum متناظر آنها از minsup کمترG باشد نمي توانند در ساخت الگو شرکت

کنند: هرس ماتريس بدونa بر اساس minsup

الگوكاوي سريالHPM)الگوكاوي بيتي افقي )روش انجام : هرس ماتريس بدونa بر اساس minsup

الگوكاوي سريالHPMالگوكاوي بيتي افقي : در عمق ماتريس هاي هرس شدهaقابل تولید بودن ماتريسy|x-eliminated

xy یک الگوی تکرارشونده استادامه روند توليد در اين شاخه

يا تولید ماتريس خاليNULL شدن در اثر هرس xy یک الگوی تکرارشونده است توقف فرآیند کاوش الگوی این زیرشاخه

الگوكاوي سريالHPMالگوكاوي بيتي افقي :

الگوكاوي سريالHPMالگوكاوي بيتي افقي : الگوهاي شاملa)دسته اول الگوها(

:به صورت مشابه الگوهاي شاملb : الگوهاي شاملc :...

agafaeadfadaceacabgaba ,,,,,,,,,

bgbfgbfbegbeb ,,,,, cec,

الگوكاوي سريالHPMالگوكاوي بيتي افقي :: مجموعه همه الگوهاي كاوش شده

fgf , }{, hghg eheghegefe ,,,, cec, dfd ,

agafaeadfadaceacabgaba ,,,,,,,,, bgbfgbfbegbeb ,,,,,

الگوكاوي سريالHPMالگوكاوي بيتي افقي ::فشرده سازي فايل خروجي :اگر قضيهx1x2x3…xn يك الگوي

x1x2x3 و x1x2 و x1تكرارشونده باشد آنگاه همگي الگويي تكرار x1x2x3…xnو ... و

شونده اند. :نتيجه: فايل خروجي

ghfgeheghefdfcebgbfgbegagafaeadfaceabg ,,,,,,,,,,,,,,,

الگوكاوي سريالHPM)الگوكاوي بيتي افقي )الگوريتم :

الگوكاوي سريالHPMالگوكاوي بيتي افقي ::يدگي زمانيBپيچ

:در بدترين حالتO(n*2n)

تاثیر نحوه مرتب سازی آیتم ها بر سرعتکاوش الگوها:

تغییر ترتیب و چینش آیتم ها : افزایش يا كاهشکارایی

ترتیب چينش: ترتيب صعودی فرکانس تکرار آیتم ها

الگوكاوي سريالBUM الگوكاوي بيتي عمودي از پايين به :

باال )مثال( درخت جستجوي

عمودي از پايين به باال

الگوكاوي سريالBUM الگوكاوي بيتي عمودي از پايين به باال :

)مراحل(ساخت درخت جستجوي از پايين به باالAND كردن رشته بيتي معادل سطرهاي

موجود در هر نود درخت در صورت رسيدن به سطحminsup : درخت

در صورت وجود حداقل يك بيت با مقدار يك ANDدر حاصل

اعالم الگوي متناظر با رشته بيتي به عنوانالگوي تكرارشونده

باال )بهينه سازي(

با توجه به اصلApriori هرس كردن شاخه هاي

minsupپس از سطح

باال )بهينه سازي(

با توجه به اصلApriori هرس كردن شاخه هاي

minsupپس از سطح

نتيجه:درخت جستجوي جديد

باال )مراحل اجرا(

باال )الگوريتم( الگوريتم ساخت درخت

باال )الگوريتم( الگوريتم ساخت درخت ايجاد نود جديد با افزودن يك شماره سطر به مجموعه سطر

نود جاري از بزرگترین شماره سطر موجود در مجموعه سطر نودتا آخرین )بزرگترین( شماره سطر موجود در پایگاه تراکنش

:ورودي اولین شماره سطر بعد از بزرگترین شماره سطر موجود در

mنود جاری با نام بزرگترین شماره سطر پایگاه تراکنش با نامmax رشتهS .شامل مجموعه سطر متناظر با هر نود

باال )الگوريتم(پيچيدگي الگوريتم:

O(mminsup)

الگوكاوي سريالBUM الگوكاوي بيتي عمودي از باال به :

پايين)مثال( درخت جستجوي

عمودي از باال به پايين

پايين)مراحل اجرا(ايجاد درخت جستجوي از باال به پايين نود داراي یک سطر کمتر Gهر Gمجموعه سطر

از مجموعه سطر نود پدر :در آرایه بیتی متناظر

یک شدن برخی از )شاید صفر تا( بیت های صفر آرایهبیتی پدر

آرایه بیتی متناظر با سطر حذف کم کردن نود پدر(colSum)مجموع ستونی از شده

پايين)مراحل اجرا(

پايين)مراحل اجرا(:پيچيدگي زماني

O(mm-minsup)

الگوكاوي سريالنتايج آزمايشات

datasetssizeTransactions#Items#D13.93M100000870D215.12M100000942

mushroom0.56M8124119pumsb16.3M490462113

Accident33.8M340183468Retail3.97M8816216469

kosarak30.5M99000241270

الگوكاوي سريالنتايج آزمايشات مجموعه دادهD1

الگوكاوي سريالنتايج آزمايشات مجموعه دادهD2

الگوكاوي سريالتحليل نتايج آزمايشات

كاهش زمان اجرا با افزايشminsup افزايش زمان اجرا با افزايش تعداد آيتم ها افزايش زمان اجرا با افزايش متوسط

طول تراكنش ها

datasetssizeTransactions#Items#D13.93M100000870D215.12M100000942

الگوكاوي سريالنتايج آزمايشات مجموعه دادهAccident

الگوكاوي سريالنتايج آزمايشات مجموعه دادهRetail

الگوكاوي سريالنتايج آزمايشات مجموعه دادهkosarak

الگوكاوي سريالنتايج آزمايشات مقايسه سه روش بر روي مجموعه داده

mushroom

الگوكاوي موازي آرایه های سیستالیک ابزاری برای موازی سازی الگوریتم ها و پردازش ها ارائه توسطH.T.Kung و Charles Leiserson در

1979سال چینش پردازنده ها به نحوی که داده های به صورت

در پردازندGه های مجاور جریان داشته باشدهمزمان هر مرحله انجام عملیات توسط سلول ها

آرایه سیستالیکتپش)پردازنده ها(: يك :ذخیره سازی مستقل و محاسبه همزمان مزايا

داده توسط سلول ها

الگوكاوي موازي آرایه های سیستالیک

به كارگيري آرايه هاي سيستاليك در پايگاه هايداده رابطه اي

ارائه آرايه سيستاليك براي عمليات در پايگاه داده رابطه(:1980اي )

تراك، الحاقGاز قبيل اجتماع، اش Gپايپالين كردن عملياتيو ...

پياده سازي عمليات جبر رابطه اي و درهم سازي بااستفاده از آرايه هاي سيستاليك

الگوكاوي موازيآرایه های سیستالیک به كار رفته در الگوكاوي هر سلول داراي

يک حافظهx ذخيره آرايه بيتي متناظر با يک : آيتم

يک حافظهm ذخيره نام يک آيتم : يک حافظهz يک بيت :

يک بودن بيتz وجود آيتم اين سلول در الگوي : ساخته شده

صفر بودن بيتz عدم وجود اين آيتم در الگوي : ساخته شده

الگوكاوي موازيآرایه های سیستالیک به كار رفته در الگوكاوي هر سلول داراي

هر سلول داراي يک وروديy شامل سه قسمت

يک مجموعه آيتم- y(Is) -در ابتدا تهي

– يک آرايه بيتي متحرکy(array) - 1در ابتدا يك آرايه تمام

- يک بيت سوئيچ استy(sw) - دارد. 1در ابتدا مقدار

هر سلول دو خروجيa وb .دارد

الگوكاوي موازيساخت الگوها با آرايه سيستاليك اگرy(sw)=1

اگرz=1y(array) AND x = y(array).z = 0y(Is)= m U y(Is)y->a >- *b

اگرz=0y(sw) = 0z = 1y->a >- *b

الگوكاوي موازيساخت الگوها با آرايه سيستاليك اگرy(sw)=0

اگرz=1y(array) AND x = y(array).y(Is)= m U y(Is)y->a >- *b

اگرz=0y->a >- *b

الگوكاوي موازيمثالوضعيت اوليه

گذر اول

الگوكاوي موازيمثالگذر اول- مرحله دوم

گذر اول- مرحله سوم

الگوكاوي موازي:مثال:تعداد تپش ها

الگوكاوي موازياعمال روش تقسيم و حل اگر ورودي اوليه آرايه سيستاليك شاملa

باشد: aتوليد همه خروجي هاي مشتمل بر

الگوكاوي موازياعمال روش تقسيم و حلآرايه سيستاليك

دو بعدي

الگوكاوي موازينتايج آزمايشات

datasetssizeTransactions#Items#mushroom0.56M8124119

pumsb16.3M490462113Accident33.8M340183468

Retail3.97M8816216469kosarak30.5M99000241270

الگوكاوي موازينتايج آزمايشات مجموعه دادهmushroom

الگوكاوي موازينتايج آزمايشات مجموعه دادهpumsb

الگوكاوي موازينتايج آزمايشات مجموعه دادهAccident

الگوكاوي موازينتايج آزمايشات مجموعه دادهRetail

الگوكاوي موازينتايج آزمايشات مجموعه دادهkosarak

كاوش الگوهاي بسيار بزرگ با گذر از الگوهاي كوچكتر

الگوهاي بسيار بزرگ(colossal)

ود در پايگاهGبزرگترين الگوهاي تكرارشونده موجتراكنش

دازه مشخصGالگوهاي تكرارشونده اي كه از انشده تGوسط كاربر بزرگتر باشند

كاربرد در پايگاه هاي تراكنش با ابعاد باال اطالعات زيستي پايگاه هاي داده ژني

:فرکانس تکرار ابر الگوی هر الگو کمتر یا قضیهمساوی فرکانس تکرار آن الگو

:رگتر دارای فرکانس نتيجه مستقيمGالگوهای بزتکرGار کمتری نسبت به زیرالگوهای خود

:نتيجه كاربردي جستجوي الگوهايcolossal در مجموعه

الگوهایی که کمترین فرکانس تکرار را دارند کمترین فرکانس تکرار قابل پذیرش برای

minsupالگوهای تکرار شونده: روش عمودی از پایین بهG باال

:طوالني ترين شاخه شامل نود قضيهq در p+m-apعمودي برابر باالي درخت از پايين به

تعداد سطرها، و q، m سطح pاست كه در آن ap بزرگترين شماره سطر موجود در q.است نودهای سطحp دارای ،p شماره سطر زیردرخت شروع شده از نودq دارای m-ap سطح

بلندترین زیر شاخه شامل q :دارايp سطح تا نود q وm-ap سطح بعد از نود q در مجموع دارایp+m-ap سطح

paaaa ...321

هرس كردن همه زیرشاخه هایی که بهنمی رسند minsupسطح

:مثال 2 دارای طول 16بلندترین زیر شاخه شامل نود

p 2 برابر 16 یعنی سطح نود ، ap 6 برابر 16 یعنی بزرگترین شماره سطر موجود در ،m برابر G6یعنی تعداد سطرهای پایگاه تراکنش

به دست آوردن آخرین سطح قابل دست یابی از هرآن نود پیش از بسط نود

آخرین سطح قابل دست یابی کمتر ازminsup :هرس شدن همه زير شاخه هاي نود

روشBVBUC

نتايج آزمايشات

datasetssizeTransactions#Items#mushroom0.56M8124119

pumsb16.3M490462113Accident33.8M340183468

Retail3.97M8816216469kosarak30.5M99000241270

نتايج آزمايشات مجموعه دادهmushroom

الگوریتم. 1-2شکل تکامل مراحل واره درخت كاوش الگوهاي بسيار بزرگ با گذر از

الگوهاي كوچكتر

نتايج آزمايشات مجموعه دادهpumsb

نتايج آزمايشات مجموعه دادهAccident

نتايج آزمايشات مجموعه دادهRetail

نتايج آزمايشات مجموعه دادهkosarak

نتيجه گيري و كارهاي آيندهدست یابی به دستاوردهای زیر در زمینه الگوکاوی1 کاوش کارآمد مجموعه کامل الگوهای تکرارشونده )

با ارائه الگوریتم سریال با رویکرد افقی به صورت HPM.

2 کاوش کارآمد مجموعه کامل و بسته الگوهای )سریال با رویکرد از عمودی با تکرارشونده به صورت BUMبا ارائه الگوریتم دیدگاه از پایین به باال

3 کاوش کارآمد مجموعه کامل و بسته الگوهای )سریال با رویکرد از عمودی با تکرارشونده به صورت

.TDM با ارائه الگوریتم دیدگاه از باال به پايين

نتيجه گيري و كارهاي آيندهدست یابی به دستاوردهای زیر در زمینه الگوکاوی4 طراحی بستر مناسب برای مدل سازی مساله )

الگوکاوی به محاسبات موازی شونده توسط آرایه های سیستالیک با به کار گیری ماتریس بیتی و تقسیم مناسب

آن بر روی پردازنده ها.5 اعمال قابلیت تقسیم وحل در موازی سازی الگوکاوی )

دو ارائه روش موازی و مبتنی بر آرایه های سیستالیکو برای الگوکاوی. SABMAبعدی

6 کاوش الگوهای بسیار بزرگ ( ارائه روشی کارآمد برای، بدون نیاز به زمینه بدون کاوش الگوهای کوچکتر

محاسباتی پیچیده و بدون از دست داده قطعیت در . BVBUCمجموعه الگوهای کاوش شده و ارائه الگوريتم

نتيجه گيري و كارهاي آيندهبرخي دستاوردهای پژوهشي رساله1:به كارگيري روش هاي الگوكاوي در مسائل كاربردي )

افزايش كارايي پرس و جوهاي پايگاه داده مقاله علمي پژوهشي: ”“ پذيرفته و تحليلي با نگاشت مكعب مفهومي به فضاي دوبعدي

چاپ شده در مجله مهندسي برق و كامپيوتر ايران

2ارائه روش از پايين به باالي عمودي )كاوي در پايگاه هاي تراكنش با ابعاد باال بر الگومقاله كنفرانس: ”

پذيرفته و اساس رويكرد شمارش از پايين به باالي ماتريس بيتي“ ارائه شده دركنفرانس انجمن كامپيوتر ايران

3 به كارگيري روش پايين به باالي عمودي در كاوش الگوهاي بسيار بزرگ )بدون كاوش الگوهاي كوچك و مياني

ISI: “Efficient colossal pattern mining in highمقاله مجله dimensional datasets” پذيرفته شده و چاپ شده در مجلهKnowledge

based Systems (Knosys) از سري مجالت elsevier

نتيجه گيري و كارهاي آيندهبرخي دستاوردهای پژوهشي رساله4ارائه روش افقي مبتني بر ماتريس بيتي )

ISI: “EFFICIENT FREQUENT PATTERN MINING USING BITمقاله مجله MATRIX BASED REPRESENTATION OF DATASET” بازبيني شده و در

International Journal of Software Engineeringشرف پذيرش در مجله and Knowledge Engineering

5موازي سازي الگوكاوي با استفاده از آرايه هاي سيستاليك ) ISI: “PARALLEL FREQUENT ITEMSET MINING USINGمقاله مجله

SYSTOLIC ARRAYS” در دست داوري در مجلهKnowledge based Systems (Knosys) از سري مجالت elsevier

6 بررسي روش هاي جاري الگوكاوي و دسته بندي آنها بر اساس رويكردي )جديد و چهارسطحي

در دست داوري ”ISI: “A taxonomy of frequent pattern miningمقاله مجله International Journal of Knowledge Managementدر مجله

نتيجه گيري و كارهاي آيندهكارهاي آينده

فشرده سازی ماتریس بیتی در مواردی که ماتریستولید شده تنک باشد و شامل تعداد زیادی بیت صفر.

اعمال موازی سازی در الیه های زیرین و مراحل بعدیروش تقسیم و حل و ایجاد ابعاد بعدی برای آرایه

سیستالیک.

اعمال موازی سازی بر روي روش های عمودی ارائهشده با به کارگیری آرایه های سیستالیک.

مراجع

M.K. Sohrabi, A.A. Barforoush, Efficient colossal pattern mining in high dimensional datasets, Knowledge Based Systems (2012), http://dx.doi.org/10.1016/j.knosys.2012.03.003

Agrawal R, Imielinski T, Swami A (1993) Mining association rules between sets of items in large databases. In: Proceedings of the 1993ACM-SIGMOD international conference on management of data (SIGMOD’93), Washington, DC, pp 207–216.

Agrawal R. and Srikant R. “Fast algorithms for mining association rules.” In Proc. 1994 Int. Conf. Very Large Data Bases (VLDB’94), pages 487–499, Santiago, Chile, Sept. 1994.

Mannila H., Toivonen H., Verkamo AI (1994) Efficient algorithms for discovering association rules. (KDD'94) Seattle, WA, pp 181-192.

Han J, Pei J, Yin Y (2000) Mining frequent patterns without candidate generation. In: Proceeding of the 2000 ACM-SIGMOD international conference on management of data (SIGMOD’00), Dallas, TX, pp 1–12

Agarwal R, Aggarwal CC, Prasad VVV (2001) A tree projection algorithm for generation of frequent itemsets. J Parallel Distribut Comput 61:350–371

مراجع

Liu J, Pan Y, Wang K, Han J (2002) Mining frequent item sets by opportunistic projection. In: Proceeding of the 2002 ACM SIGKDD international conference on knowledge discovery in databases (KDD’02), Edmonton, Canada, pp 239–248

Grahne G, Zhu J (2003) Efficiently using prefix-trees in mining frequent itemsets. In: Proceeding of the ICDM’03 international workshop on frequent itemset mining implementations (FIMI’03), Melbourne, FL, pp 123–132G. Buehrer, S. Parthasarathy, S. Tatikonda, T. Kurc and J. Saltz, "Toward terabyte pattern mining an architecture-conscious solution," in PPoPP , 2007, p. 2-12.

D. Chen, C. Lai, W. Hu, W.G. Chen, Y. Zhang and W. Zheng, "Tree partition based parallel frequent pattern mining on shared memory systems," in IEEE Parallel and Distributed Processing Symposium , 2006.

S. K. Tanbeer ,C. F. Ahmed ,B.-S. Jeong" ,Parallel and Distributed Algorithms for Frequent Pattern Mining in Large

Databases", IETE technical review, 2010. J. Dong, M. Han, BitTableFI: an efficient mining frequent itemsets algorithm, Knowledge Based Systems 20 (4) (2007) 329–335 W. Song, B. Yang, Z. Xu, Index-BitTableFI: An improved algorithm for mining frequent itemsets, Knowledge Based Systems 20 (4) (2007) 329–335

Z. Xu, D. Gu, S. Wei, An Efficient Matrix Algorithm for Mining Frequent Itemsets, (2009) International Conference on Computational Intelligence and Software Engineering, 2009. CiSE 2009. Schlegel B., Gemulla R., Lehner w. (2011) Memory-Efficient Frequent Itemset Mining, in: Proc. 14th International Conference on Extending Database Technology (EDBT), 2011.

اصالحات صورت گرفته بر اساس راهنمايي هاي پيش دفاع

بيان فرمال مسائل با استفاده از ارائه تعاريف و قضايايجديد

بررسي دقيق تر سابقه به كارگيري آرايه هاي سيستاليك درپايگاه هاي داده و داده كاوي

تكميل و ارائه دقيق تر مفروضات مساله در ابتداي ارائهبيان پيچيدگي زماني روش هاي ارائه شده در ارائه كامل كردن نتايج آزمايشات با ارائه تحليل نتايج و بيان تاثير

پارامترهاي پايگاه هاي داده بيان دقيق نوآوري هاي رساله در ارائه و جداسازي آنها از

كارهاي پيشين ارائه مراجع مورد استفاده جديدتر در ارائهويرايش اماليي و انشايي پايان نامه افزودن دستاوردهاي پژوهشي و مقاالت مستخرج از رساله

به ارائهدسته بندي اساليدها و كاهش حجم اساليدهاي ارائه

سپاس

دانشجو: محمد کريم سهرابي 84131906 استاد راهنما: احمد عبداله...

Documents

تماشای جان، استاد شهریار

استاد راهنما: استاد گرانقدر دكتر ناهید زیرک استاد مشاور: استاد فرهیخته دکتر قاسم سلطانی

ce.aut.ac.irce.aut.ac.ir/~shiry/lecture/machine-learning/tutorial... · Web viewگزارش تحقیق درس یادگیری ماشین استاد: آقاي دكتر شیری دانشجو:

موضوع تحقیق : نقش رهبری مدیر استاد راهنما : استاد انصاری پور گرد آورنده :

شماره سوم پیام دانشجو

econ.tabrizu.ac.ir · Web viewردیف . پديد آورنده. عنوان. استاد راهنما. استاد مشاور. مقطع تحصيلي. شماره راهنما. 1. کاتب

ارائه دهنده: سيما سلماني استاد راهنما: دکتر عبداله زاده بهمن 89

پیام دانشجو

اساسات مدیریت استاد محسن

استاد راهنما: استاد ار جمند سركار خانم دکتر طبری اساتيد مشاور :

استاد ارجمند: جناب آقای دکترحیدری

پیام دانشجو شماره ششم

ارائه دهنده: رضوان شیروی خوزانی استاد راهنما: دکتر عبداله زاده بارفروش

استاد تعشق لکھنوی ۔ سلام

استاد راهنما : جناب آقای دکتر حسن حسینی استاد مشاور : جناب آقای دکتر محمد محمودی میمند

كلمه دانشجو

ردیف - Iran University of Science & Technology - دانشگاه علم ... · Web viewردیف نام پروژه نام استاد نام دانشجو زمان انجام پروژه

استاد راهنما : دکتر علی اصغر رواسی استاد مشاور : دکتر محمد رضا کردی پژوهشگر : علیرضا عباسی

استاد: جناب آقای دکتر توحیدخواه

فدائی نژاد استاد راهنما : دکتر محمد اسماعیل استاد مشاور : دکتر بهروز دری