Spm Parallel

22/09/2000Spm Parallel ( Gérald Vétois )

Spm Parallel


Points traités

• Rappel de la problématique et du planning des développements

• Etat des lieux du développement

• Performances des travaux réalisés

• Développement avenir

• Proposition de mise en oeuvre


Rappel de la problématique et du planning de développement

• Parallelisation « batch »– Prepocessing– Statistique

• Parallelisation « temps réel »PreprocessingStatistique

• Problématique temps réel


Parallelisation « batch » (1)• Preprocessing

V1

Vn

...V

2

=Vref

Rvn

Rv2

...

PrV

Tem

plate

Pn

Nrv2

Nrv1

Nrvn

NvTe

mplate

...

PsSnrv

1

Snrv

2...Snrv

n

Snv

Templa

te


Parallelisation « batch » (2)

• Preprocessing : Equation

Vref = V1

Pr= Parametres de realignementPn= Parametres de normalisationPs= Parametres de lissage

1

1

1

1 1 2

1

1

)))(Pr((n

i

n

i

n

i

n

i

n

i

ViVrefRealignVtemplatePnNormalizePsSmoothSNRVi


Parallelisation « batch » (3)

• Statistiques– En cours d’étude


Parallelisation « temps reel » (1)

• Preprocessing (Vi): Model à construire

V1

Vi

=Vref

Rvi

P'r

Vtemplate

Nrvi

Snrv

i

P'n

P's



• Preprocessing : Equation

Vref = V1

P'r= Parametres précalculer du realignementP'n= Parametres précalculer de la normalisationP's= Parametres précalculer du lissage

N

i

N

i

VirPVrefVtemplatenPsPSNRVi1 1

)'''ing(Preprocess



• Statistique– En cours d’étude


Problematique « temps reel »

• Le temps

• Les Algorithmes

• Réalisation en 2 etapes : – En 2 tuyaux d’execution ou pipelines:

Preprocessing Statistiques

– En temps reel


Le temps

• Gestion du flux

• Contrôle et synchronisation de l’execution

• Approcher l'execution de 10 minutes


Les Algorithmes

• Les parallélisables – Boucles sans dependances– Boucles avec dependances faibles

• Les parallélisables, mais sans benefices– Fonctions de convergence avec boucle de calculs

• Les non parallélisables– Fonction de convergence avec dependances fortes


Réalisation en 2 étapes (1)• Profiter des developpements batch

– Creation de 2 flux d’execution en pipeline Preprocessing

Statistique En cours d’étude

Realign Normalization Smooth


Réalisation en 2 étapes (2)

• Temps reel– Mécanisme de contrôle de flux– Mécanisme de contrôle des process


Etat du developpement

• Conception du modele de parallelisation

• Integration à spm99

• Parallelisation du preprocessing


Modele de parallelisation

• Modele de distribution à la demande

• Réduction

I

V

i

V

i-y

Chef

Travailleurs ...

Vi-x

Chef

...Travailleurs


Integration à SPM

• Réorganisation de l’arborescence

• Introduction de variables d’environements

• Log d’execution sur les parties paralleles

• Spm parallel en quelques chiffres


Réorganisation de l’arborescence


Variables d’environement

SPM_PATH = Chemin racine de spmSPM_MPIRUN = Mpirun choisiSPM_DEBUG = Sauvegarde ou non des parametresSPM_PARALLEL = Yes ou NoSPM_MPIOPTS = Options de SPM_ MPIRUN

SPM_NPE = Nombres de Processeurs ( optionnel )


Log d’execution

• Fichier .log :– Realign_series_loop1.log et / ou

realign_series_loop2.log– Spm_loop_sn_a.log ou spm_loop_sn_na.log– Smooth_ui_loop.log

• Exemples/home/gvetois/Developpement/spm_parallel/shells/spm_loop_sn.bash 2/scr/Gerald_data/PreprocBegin of non affine transformationsam sep 16 19:49:10 CEST 2000sam sep 16 21:15:38 CEST 2000End of non affine transformation


Quelques chiffres

Fichiers c Fichiers h Fichier m Lignes fichiers m

Spm99 25 11 169 46497

Spm parallel 75 45 181 46533


Parallelisation de preprocessing(1)

• Realignement ( 75 % parallelisé ) Registering Images Registering Images to Mean– Computing available voxels– Reslicing



• Normalisation ( 95 % parallelisé ) Resampling ( n-1 )– Computing available voxels



• Lissage ( 100 % parallelisé ) Smoothing


Performance des travaux

• Preprocessing: – Machines de développement– Test sinc:

Réalignement, Normalisation(Sinc), Lissage

– Test tri:Réalignement, Normalisation(trilineaire),Lissage


Machines de developpement

• AMD K6/500 128Mo 10Go Disk – Linux RedHat 6.1 + Matlab 5.3 + LAM– Réseau 100BaseTx ( Dlink 530Tx )

• AMD K6/400 64Mo 255Mo Disk– Linux RedHat 6.1 + LAM– Réseau 100BaseTx ( Dlink 530Tx )

• Equivalent 900Mhz=400+500


Test sinc

Elapse ( sec. ) Gain Gain/FrequenceSpm99 15719spm_parallel (séquentiel) 10990 30,08%spm_parallel (1cpu) 11093 29,43%spm_parallel (2cpus) 6622 57,87% 64,85%

Temps sequentiel 960


Test tri-lineaire

Elapse ( sec. ) Gain Gain/FreqenceSpm99 2674spm_parallel (séquentiel) 2663 0,41%spm_parallel (1cpu) 2544 4,86%spm_parallel (2cpus) 1837 31,30% 59,11%

Temps sequentiel 960


Developpement Avenir

• Réintegration des spm_progress_bar

• Finalisation du réalignement et de la normalisation

• Mise en pipeline du Preprocessing

• Paralellisation des Statisques

• Finialisation du modules temps reel


Proposition de site

Drive

Disques

M1.........

Mn

IRM

Cluster

Switch

Batch

Tps Rèel

M0

......

Switch

S0

S1

Sm


Proposition de partenariats

• Distribution des binaires

• Distribution des sources

• Partenariat constructeurs

Documents

Spm Parallel