מבוא לעיבוד מקבילי

11הרצאה מס'

31/12/2001

נושאים

והפרויקטים2מנהלה: הבוחן, תרגיל מס' •

משוואת החום – השלמה•

ספריות מקביליות מתמטיות•

•Tuning MPI

•Grid Computing

סיכום•

הצגת הפרוייקטים

בשלושת המפגשים הבאים תתקיימנה הצגות •הפרוייקטים

נוכחות חובה של כולם!!!•צוות של מעריכים הוזמן להיות נוכח•לשלוח מבעוד מועד את קובץ המצגת בפורמט דחוס, •

presentation.ppt.zipלדוגמא: על כל חברי הקבוצה להשתתף בהצגה• דקות10משך המצגת כ- •

הצגת הפרוייקטים

לתשומת לבכם: מעבר לתוכן המצגת גם אופן •ההצגה ישפיע, מן הסתם, על הציון – לכן

דקות!10השקיעו מאמץ רב באותן לאחר-מכן יש לגשת ולעבוד על דוח סיכום •

הפרויקט11/2/2002את הדוחות יש להגיש עד לתאריך •בהצלחה!•

2תרגיל בית מס'

הסתימה בדיקת התרגיל•

ציונים נשלחים באמצעות הדוא"ל•

לעת עתה, הציון אינו כולל את נקודות הבונוס. •)בשבוע הבא תיבדקנה עבודות אלה(

בוחן

בוחן

בשקפים הבאים ניתנים הציונים. ניתן לזהות את •הציון על-ידי מספר הזהות של המחברת!

כמו-כן, נמסרו הציונים למזכירות המח' להנדסת •חשמל ומחשבים

בוחן - המשךNote- Grade Dept.

book =1EE, 2=SE

25769 60 1

10635 73 1

25837 80 1

26131 92 1

10636 65 1

25838 60 1

26143 60 1

25841 63 1

בוחן - המשך25783 50 1

25768 70 1

26030 99 1

11090 60 1

25780 80 1

11720 50 1

11718 88 1

11091 60 1

26032 86 1

00247 55 2

בוחן - המשך00251 85 2

26339 73 2

26434 94 2

25763 60 2

26436 80 2

12045 68 2

11926 65 2

26345 85 2

26437 65 2

26374 80 2

בוחן - המשך

26435 78 2

26375 80 2

12043 75 2

26340 65 2

26432 90 2

00140 73 2

00245 98 2

11925 70 2

00249 85 2

26376 63 1

בוחן - המשך3142 55 1

94909 92 1 last 5 digits of ID

54519 70 1 last 5 digits of ID

54090 80 1 last 5 digits of ID

3136 65 1

3144 95 1

3143 68 1

3147 90 1

3141 53 1

3140 50 1

בוחן - המשך3146 50 1

3150 50 1

3138 53 1

3135 75 1

3139 50 1

3148 50 1

3145 70 1

3137 60 2

The Do-It-yourself Supercomputer

Scientific American, August 2001 Issue

Also available online:http://www.sciam.com/2001/0801issue/0801hargrove.html

משוואת החום – מספר הערות

Explicit לעומת Implicitסכימת

תנאי שפה

משוואת חום התלויה בזמן

Stability of the Scheme

The Amplification Factor

Explicit Time Scheme

Stability Condition

|g|<1

Stability of IMPLICIT Scheme

Stability of IMPLICIT Scheme

ספריות מתמטיות

ספריות מקביליות מתימטיותParallel libraries can reduce programmer’s development time, promote code portability and reuse, and improve code performance

Some currently available functions are:

•Linear and nonlinear matrix operations including parallelized BLAS

•Direct and iterative linear solvers

•Non-linear solvers

•Eigensystem and singular value analyses

•FFT (1- to 3-dimensional)

•Random number generators

2נתאר כאן רק ספריות

ScaLAPACK

•ScaLAPACK )Scalable LAPACK( is a library of high-performance linear algebra routines for distributed-memory message-passing MIMD computers and networks of workstations supporting PVM and/or MPI.

•Essentially a port of LAPACK - contains the same routines for solving systems of linear equations, least squares problems, and eigenvalue problems.

•Resulted from the ScaLAPACK Project involving Oak Ridge National Laboratory and several universities.

ScaLAPACK

Design goals:

•Maintain performance )including scalability(

•Retain portability

•Stay as close as possible to LAPACK in calling sequence, storage, etc.

•Promote modularity via set of linear algebra tools )BLAS, BLACS and PBLAS(

•Use LAPACK algorithms when possible

ScaLAPACK

The ScaLAPACK Users' Guide is available from netlib at http://www.netlib.org/scalapack/slug/scalapack_slug.html

PETSc•PETSc )Portable, Extensible Toolkit for Scientific computation( is for both uni- and parallel-processor scientific computing:

•Especially intended for large-scale problems modeled by partial differential equations

•Contains suite of data structures and routines )linear and non-linear equations solvers(

•Uses MPI for message passing

•Provides interfaces to other libraries such as LAPACK and the BLAS

•Is available by anonymous ftp from info.mcs.anl.gov.

MPI Performance Tuning

MPI Performance TuningPlatform / Architecture Related

•cpu - clock speed, number of cpus

•Memory subsystem - memory and cache configuration, memory-cache-cpu bandwidth, memory copy bandwidth

•Network adapters - type, latency and bandwidth characteristics

•Operating system characteristics - many

Network Related

•Hardware - ethernet, FDDI, switch, intermediate hardware (routers)

•Protocols - TCP/IP, UDP/IP, other

•Configuration, routing, etc

•Network tuning options

•Network contention

MPI Performance TuningApplication Related

•Algorithm efficiency and scalability

•Communication to computation ratios

•Load balance

•Memory usage patterns

•I/O

•Message size used

•Types of MPI routines used - blocking, non-blocking, point-to-point, collective communications

•MPI Implementation Related

•Message buffering

•Message passing protocols - eager, rendezvous, other

•Sender-Receiver synchronization - polling, interrupt

•Routine internals - efficiency of algorithm used to implement a given routine

Two common message passing protocols

•Eager - An asynchronous protocol that allows a send operation to complete without acknowledgement from a matching receive

•Rendezvous - A synchronous protocol which requires an acknowledgement from a matching receive in order for the send operation to complete.

Point-to-Point

Tuning MPI

"Tuning MPI Applications for Peak Performance".

William Gropp and Ewing Lusk, Argonne National Laborary. www.mcs.anl.gov/Projects/mpi/tutorials/perf

Grid Computing

Grid Computing

Legionhttp://legion.virginia.edu

Next Presentation is from:www.globus.org

See PowePoint Presentation:

IntroToGridsAndGlobusToolkit.ppt

סיכום הקורס

עסקנו ב-

עיבוד מקבילי – ברמה התיאורטית•

•MPI ברמה הפרקטית –

נושאים אחרים •

עיבוד מקבילי - תיאוריה

מבוא - סוגי מחשבים ותקשורת•• Message Passing• Embarrassingly Parallel Computation• Partitioning and Divide-and-Conquer• Pipelined Computations• Synchronous Comutations• Load Balancing and Trmination• Shared Memory

עיבוד מקבילי - אלגוריתמים

• Image Processing

• Matrices

• Sorting

• Iterative Methods – The Heat Equation

עיבוד מקבילי - פרקטיקה

על גבי מערך MPIתרגול ראשוני והכרות עם •-Master – חישוב Linuxהמחשבים המקבילי – מבוסס

Slave.ללא פקודות תקשורת רבות -Real תוך שימוש בגראפיקה, ב- MPIתרגול בעיה ב- •

Time באמצעות ספרית ,MPE החישוב כלל שימוש .מסיבי בתקשורת.

תרגול פתרון משוואת החום בשיטה איטרטיבית •(Jacobi) החישוב כלל אספקטים של חלוקת מרחב .

.Domain Decompositionהבעיה –

עיבוד מקבילי - פרקטיקה

Point-to-Pointשימוש בפקודות תקשורת •

שימוש בפקודות תקשורת קולקטיביות•

X-Windowsשימוש בגראפיקה תחת •

נוספות, MPIהנכם מוזמנים להשתמש בפקודות •לקבלת תוצאות אופטימליות, בפרויקטי הגמר.

הדבר יזכה להערכה!

עיבוד מקבילי – נושאים נוספים

• Top500 list analysis

• Condor – High Throuput Computing

• Mosix – Task Migration for Load Balancing

• How to Build a Beowulf

• Grid Computing - Globus

עיבוד מקבילי - תחקיר

הערות…•

המלצות…•

ביקורת???•

ניתן לשלוח תגובות ל-•

tel-zur@ee.bgu.ac.il

Dwarvesהחשבונות ב-

בתחילת סמסטר ב' ימחקו החשבונות.•

הנכם מתבקשים, במידה והנכם מעונינים לשמור •על הקבצים שלכם, להעבירם למקום אחר עד

תום הסמסטר!

הודעות אחרונות…

עד ליום שישי.Emailהשבוע לא אוכל לענות ל- •

הנוכחות בשלושת בבקשה להזכיר לכולם כי •השיעורים הבאים היא חובה כדי שנוכל לכבד

האחד את השני וללמוד מהנושאים השונים והמגוונים.