Recherche - emse.fr fileautomatique du système. • Comment adapter l’architecture des Agents ? Modélisation, Interactions, Communications, Adaptation, Évolution et « Intelligence

Paul REAIDY – Seminaire – EMSE – mardi 15 mai 20071 / 34

Agents et Protocoles de négociations dans les systèmes dynamiques situés :

Allocation dynamique des ressources

PAUL REAIDY

Docteur en Génie IndustrielQualifié MC en section 27 et 61

Chef de Projet Capgemini, Michelin

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Étude et Mise en Oeuvre d’une Architecture d’Agents en Réseau dans les Systèmes Dynamiques Situés : Pilota ge des

Systèmes de Production Complexes

Université de Savoie – École des Mines d’AlèsDirecteur de thèse : Alain Haurat et Pierre Massot te

Contexte

Contexte :

Évolution des besoins en Génie Industriel :

Besoins croissants et variés des clients, Économie Globale et Net Économie

⇒⇒⇒⇒ Besoins des Systèmes de Pilotage :

Réactifs, Flexibles, Ouverts, Autonomes, Adaptables et Évolutifs.

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Problématique

• Quels Choix, Stratégies et Objectifs ?

Nouvelles approches et architectures non centralisées et non hiérarchiques.

• Comment mettre en œuvre de nouveaux Concepts et Mécanismes ?

Protocoles et mécanismes de négociation entre entités autonomes pour l’auto-organisation et la reconfiguration automatique du système.

• Comment adapter l’architecture des Agents ?

Modélisation, Interactions, Communications, Adaptation, Évolution et « Intelligence ».

Problématique :Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Démarche proposée :

Démarche

• Revue détaillée et comparaisons des travaux existan ts

• Structure de pilotage décentralisée

Allocation dynamique de ressources entre les entités autonomes “ produits et ressources ”du système.

• Nouveaux protocoles de négociation

Interactions entre les entités autonomes, mécanismes de Coopération, Compétition, «Coopétition», «Compération».

• Technologie Agent pour la mise en œuvre

• Prototype du test : Simulateur

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Architecture

Machines de production

Unités de contrôle

Contrôle

Communication

• Problème réparti - Liberté d’interactions ,

• Facilité de Modélisation - Entités Autonomes, Simples et Réactives ,

• Mise en œuvre de principes d’Auto-organisation.

• Inconvénient : Pas de recherche d’un optimum global .

• Avantage : Solutions efficaces, réactives, adaptati ves et stables.

Pourquoi une Approche Décentralisée ?Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Mécanismes : Gestion inverse de production

Fonction Principale Pré-déterminée

Décomposition

Algorithmes Synchronisation,

Ordonnancement, etc.

Exécution Parallèle d’Algorithmes

Complexes

‘Downward’ et Statique

Planification Globale Emergente

Auto-organisation

Réseau Interconnecte

Agents Simples Distribués avec

Objectifs Locaux

‘Upward’ et Dynamique

Protocole de Négociation

Emergence

Communication

Mécanismes

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Décentralisation basée sur l ’utilisation des agents

Projet Européen PABADIS (IST- 60016 Project called Plant Automation BAsed on DIstributed Systems) Organisation dynamique des ressources dans un environnement changeant et d istribué

C o n tr o l s

E R P

M E S& S C A D A

C o n tr o ls

E R P

P A B A D ISa g e n ts

a ) co n v e n t io n n a l b ) w i th P A B A D ISConventionnelle PABADIS

MES : Manufacturing Execution SystemSCADA : Supervisory Control And Data Acquisition

Exemple d’Architecture

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Protocoles

Définitions :

• Négociation : processus de recherche d’équilibre (configuration) pour mener à un accord ou à un consensus dans des systèmes complexes.

• Protocole de Négociation : ensemble des règles utilisées pour organiser la communication, la négociation, la séquence de conversation et la prise de décision entre les entités autonomes[Sycara, 2001].

• Caractéristiques des Protocoles de Négociation : Temps de négociation, Efficacité, Stabilité, Simplicité, Distribution et

Symétrie.

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


La coopétition est la contraction de coopé ration et com pétition[Brandenburger et Nalebuff, 1996]. Au niveau recherche, les accords accomplis entre les universités et les industries,

La compération est la contraction de com pétition et coopé ration .Exemples : Usine Virtuelle, Commerce Electronique [Reaidy, 2003].

Etape 1 Etape 2 Coopération Compétition

Coopération Coopération Coopétition

Compétition Compération Compétition

Coopétition et Compération

Protocoles

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Définitions :

• Agent

Entité physique ou virtuelle en situation dans un environnement avec lequel il interagit de façon autonome et flexible [Drogoul et Meyer, 1999].

• Système Multi-Agents (SMA)

Ensemble d’agents ayant des buts ou des tâches, et qui interagissent pour les accomplir en mode de coopération et/ou de compétition [Wooldridge et Jennings, 1995].

Agent

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Pourquoi Les SMA pour le pilotage Décentralisé ?

• La modularité

Décomposition en sous systèmes ou sous-produits autonomes et communicants. Gamme de produit modulable. Propriétés héritées de l’ Objet.

• La décentralisation

Décomposition en processus indépendants. Entreprise Virtuelle. Autonomie des agents.

• L’adaptabilité

Capacité à répondre aux changements de l’ environnement. Auto-organisation des agents.

SMA

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


• L’ordonnancement global du système est obtenu par émergence à partir d’ordonnancements locaux ,

• Un agent représente une ressource ou un produit ; il est responsable de son propre ordonnancement,

• L’ordonnancement ou l’allocation dynamique des ressourcesest effectuée en temps réel, totalement distribuée et organisée au niveau du produit à fabriquer.

Les Agents pour l’allocation dynamique des ressourc es :

Agent

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Protocole et mécanismes de négociation pour l ’alloc ation des ressources :

• « Contract Net Protocol »,

« Orienté-Produit », « Orienté-Ressource », « Bi-Directionnel».

R R R

P

R

P P P

R R

PP

Protocoles à base d’Agent

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Horizon de la Décision au niveau du Produit :

• Production Reservation (PR) : l’Ordonnancement tout entier est effectué dès l’arrivée d ’un ordre de fabrication de produits dans le système et il concerne toutes les tâches à accomplir par un produit.

• Single-Step Production Reservation (SSPR) : l’Ordonnancement d’un produit est effectué tâche par tâche et il concerne chaque fois la prochaine tâche à accomplir.

Classification de la Décision :

“Égoïste”,

“Altruiste ”,

“Consensuelle”.


Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Caractéristiques des travaux existants :

• Approche à base des règles simple « égoïste »: (FCFS)

Manque d’adaptation aux changements dans le système (priorité, date d’échéance, coût, etc.).

• Approche à base d’ heuristiques et statistiques : « Currency »

la décision de l’ Agent-Produit se base essentiellement sur des notions comme « Information Attendue ou/et Nominale ». Difficulté à s’adapter dans les environnements dynamiques.

⇒⇒⇒⇒ ↓↓↓↓ Information Attendue ou/et Nominale

↑↑↑↑Information en Temps Réel (Produits et Ressources voisins) .


Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


• But : Fournir à l’Agent des Informations en Temps Réelen retardant au maximum la prise de sa décision.

t3

TD2TD3

t2

AP3

AP2

Temps

TD1

TT1

t1

Début Fin

AP1

APi: « Agent-Produit » TDi: Temps de DécisionTTi: Temps de Traitement

Session de Demande (SD) :

R

R

R

AP1

AP2

AP3

R

Tâche en cours

Tâche Future


Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Paramètres :

• Temps de traitement permis pour la prochaine tâche (Tp)

Tâche1 Tâche2 TâchenA P1 Tâche3

∑+=

n

ijjTe

2

Tem psTr i T p i+1 ?T 0 Date

d ’échéance

D ébut

Tpi+1 = Tdd - (Tri + )

• Durée de traitement (Dt)

Dti+1= Tr i + T + (NF+1) * Tt

∑+=

n

ijjTe

2


Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Générateur d ’Agents

Ordre de Fabrication

ASD1

ASD2

ASD3

Agents-Produits associés aux produits

physiques

Sortie

Entrée

Tâche1(Percer)

Tâche3(Assembler)AR2

AR1

AR3

AR1 AR2 AR3

AR2

AR1

AR3

Tâche2(Nettoyer)

ARi: Agent Ressource

ASDi: Agent Session Demande

1

Atelier de Production à base d’Agent


Protocoles de Négociation développés :

• Compétition : PR (FCFS) [Saad et al., 1997]SSPR (FCFS) [Saad et al., 1997]Currency [Krothapalli et Deshmukh, 1999]

• Cooperation (SSPR + SD) :Consensuelle selon la priorité « Priorité »Consensuelle avec contraintes « Concession»

• Coopetition (SSPR+SD+Théorie des Jeux) :Locale « TJ»Globale

PR: Production ReservationSSPR : Single-Step Production ReservationSD : Session de Demande


Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Protocole « Coopétition »

• Jeu en forme normale : (P, Si, ui )

- P est l’ensemble des joueurs : P = {1,…,N},

- Si est l’ensemble de stratégies pour le joueur i. est une stratégie particulière du joueur i.

- Fonction d’utilité : ui =

- « Agent-Produit » comme « joueur » et « Agent-Ressource» comme « Stratégie ».

- ; Rakij = Tpk – Offreij

- Profit :

ii Ss ∈

ℜ→=∈

i

IiSXS

( ) ( )sussss iNa...,,, 21≡

jiij TtOrdreTtrOffre *+=

=SinonRa

RaSiMRaP

0* p


Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Matrices des Retards Attendus :

P1,P2 M1 M2 M3M1,M1 (-5,-25,-45) (-5,-25,10) (-5,-25,5)M1,M2 (-5,0,-15) (-5,0,-25) (-5,0,5)M1,M3 (-5,-5,-15) (-5,-5,10) (-5,-5,-35)M2,M2 (-10,-35,15) (-10,-35,-60) (-10,-35,5)M2,M1 (-10,5,-15) (-10,5,-25) (-10,5,5)M2,M3 (-10,-5,15) (-10,-5,-25) (-10,-5,-35)M3,M3 (-15,-45,15) (-15,-45,10) (-15,-45,-75)M3,M1 (-15,5,-15) (-15,5,10) (-15,5,-35)M3,M2 (-15,0,15) (-15,0,-25) (-15,0,-15)

P3

- Équilibre de Nash = toutes les permutations possibles des N meilleurs offres données par les “ Agent-Ressource ”.

;

- Choix : Optimum de Pareto de l’Équilibre de Nash.

( )iNiii PPPEN ,...,, 21= ( ) ∑=

=N

jiji PENF

1

Nash

Pareto


Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Inscription ( )

Agent Produit (AP1)

Agent Produit (AP2)

Agent Produit (AP3)

Look-UpService (LUS)

Agent Session de Demande (ASD1)

Agent Resource (AR1-1)



ASD_ Suivant? ( )

Inscription ( )ASD1 ouvre une nouvelle SD et inscris les APs demandant le même service.ASD_Suivant? ( )

ASD_Suivant? ( )

Inscription ( )

Tri_APs_SD ( )

AP1 commence son TT sur un AR

ASD1 communique le nombre des APs sélectionés +TTPs + l'adresse des RAs

ASD1 arrete l'inscription dans la SD

SD_Information ( )

TFTTs? ( )

TFTTs? ( )

TFTTs? ( )

AR_choix ( )

APZ demande aux ARs les valeurs de leurs TFTTs pour les PAs en compétition

Reservation ( )

APZ simule le jeux et choisi l'AR atribué dans l'OP de l'EN du jeux

Fin_Tache ( )



Fin_SD ( )

Effacer_APZ ( )

APZ reserve l' AR choisi et quitte la SD

ASD1 efface APZ de la SD et réouvre la SD pour des nouvelles inscriptions

AP3 est l'APZ parce qu'il a fini sa tâche avant les autres APs dans la SD

Diagramme de séquence UML : protocole Coopétition

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions


Coopération

CompétitionFCFS, SPT

HeuristiquesThéorie des jeux

Session de DemandeAltruiste

Consensuel

Protocole de Négociation Mécanismes et Règles

“Agent-Produit”

ActionPerceptionCommunication

Coopétition

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

Architecture d’Agent


Simulateur :

• Grasshoppercomme plate-forme d’ agent mobiles.

• Configuration de base utilisée du simulateur :

- Neuf robots répartis en trois groupes selon le type de tâches fournies (Assemblage (A), Perçage (P) et Nettoyage (N)),

- Chaque robot ne peut faire qu’une seule tâche,

- Les palettes sont traitées selon l’ordre FIFO dans les files d’attente des robots,

- Sept types de produitssont fabriqués dans ce système. Ils possèdent chacun leur gamme opératoire propre. Chaque type est caractérisé par le nombre, le type et l’ordre de l’exécution de ses tâches,

- Chaque produit effectue un certain nombre de tâches ordonnées séquentiellement.

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

benchmarks


benchmarks

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

La configuration de base des différents benchmarks utilisés dans notre simulateur est composée de la manière suivante :

- quarante produits,

- sept types différents de produits,

- le pourcentage de produits effectuant un même nombre de tâche :

52.5 % pour une seule tâche,

30 % pour deux tâches,

17.5 % pour trois tâches.

- la date d’échéance des produits varie entre 30 et 350 Unité de Temps (UT),

Fichier d’expérimentation est composé d’une réplication de cinq fois la configuration de basecitée dessus.


Plan de Test :

- la « charge de travail » peut être basse (-) (1/8 UT) ou haute (+) (1/5 UT),

- le taux de produits à « date d ’échéance courte » varie entre (-) (10 %) et grande (+) (45%),

- pour chaque demande, ou commande, la taille du lot peut varier entre petite (-) [1..2] et grande (+) [4..8].

1 2 3 4 5 6 7 8

Charge de Travail - - + + - - + +Date d'Échéance - - - - + + + +Taille du Lot - + - + - + - +

Expériences

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

benchmarks


Tests :

• Protocoles de négociation :

TJ ou Coopétition ; Currency ; Concession; Centralisé ; SSPR ;

Priorité ; PR .

• Paramètres de mesure de performances :

TF : Temps de Fabrication du produit,TA : Temps d’Attente du produit,TR : Temps de Retard du produit par rapport à une “ due date ”,TUS : Taux d’Utilisation du Système,LFA : Longueur des Files d’Attente,NPR : Nombre de Produits en Retard.

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

Simulateur


Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

Simulateur


Temps de Retard des Produit :

0

10

20

30

40

50

60

70

80

1 2 3 4 5 6 7 8

Expériences

Te

mps

de

re

tard TJ

Currency

Concession

Centralisé

SSPR

• Temps de Fabrication des produits varie entre 40 et 100 (UT)

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

Quelques Résultats


Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

Analyse en Composante Principale (ACP)

Variables et Individus (axes F1 et F2 : 81 %)

S11

S21S31

S41

S51S12

S22

S32

S42

S52

S13

S23

S33S43

S53

S14

S24

S34

S44

S54

S15

S25

S35

S45

S55

S16S26

S36

S46S56

S17

S27

S37

S47

S57

S18

S28S38S48

S58

TFTATR

TUS

LF AN P R

-0,8

-0,6

-0,4

-0,2

0

0,2

0,4

0,6

0,8

1

-1 -0,5 0 0,5 1 1,5

- - a xe F 1 (6 0 %) - ->

S2

S3S5

S4S1


Résultats et Synthèses :

• Coopétition locale(TJ) : - meilleurs résultats pour la plupart des paramètres de performances. - Stabilité et robustessenotable dans un environnement dynamique en évolution permanente.

• Currency : Bons résultats au niveau du paramètre “ Taux d’Utilisation du Système ” mais pas pour le paramètre “ Temps de Retard ”.

• SSPR: Bons résultats pour le paramètre “ Taux d’Utilisation du Système ” mais il n’est pas bien classé au niveau des autres paramètres.

• “ Concession” et “ Centralisé ” : Performances moyennes globalement voisines.

• “ Priorité ” et PR : mauvais résultats dans toutes les expériences.

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

Résultats


Perspectives :

1. Concepts :• Théorie des jeux,• Taille du voisinage d ’influence pour la prise de décision ?,• Modèle d ’Agent « Global », auto-adaptatif,• Modèle de Compération pour le E-Business• Batteries de tests de simulation plus variées.

2. Problèmes à résoudre travaux futurs :• Émergence vers des ordres prédéfinis ?• Comment atteindre un niveau de performance prédéfini ?

3. Domaine d’Application :• E-business ; Usine Virtuelle ; Grid Computing ; Restauration.

Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

Conclusions


1. Nouveaux Paradigmes pour le pilotage des systèmes de Production• Structure de pilotage hétérarchique,• Allocation dynamique des ressource.• Mécanismes d’Auto-organisation.

2. Integration des Protocoles de négociation pour l’auto-organisation entre Agents :• Session de Demande,• Coopétition,• Théorie des jeux.

3. L’allocation dynamique des ressources à travers le protocole de négociation « coopétition locale » peut être considéré comme une bonne approche pour l’émergence de solutions stables et performantes dans les systèmes de production décentralisés.

4. Nombreux domaines d’application.

Conclusion :Recherche

Problématique

Architecture

Protocoles

Agents

Simulateur

Résultats

Conclusions

Conclusions


Publications

Une Revue Internationale :J. P. REAIDY , P. MASSOTTE, D. DIEP : "Comparison of Negotiation Protocols in Dynamic Agent-Based Manufacturing Systems", In International Journal of Production Economics (IJPE), Volume 99, Issues 1-2, January-February 2006, Pages 117-130.

Un Chapitre dans un Ouvrage : P. MASSOTTE, J. P. REAIDY , Y. LIU, D. DIEP : "Intelligent Agents for Production Systems", In Intelligent Agent-based Operations Management , Edited by Sophie d’Amours and Alain Guinet, published by Kogan Page Science, Août 2003, pp. 147-164.

Dix Conférences Internationales avec Actes et Comité s de Lecture :IEEE ISIE04,IEEE INDIN 03, IEPM 2003,KI2002, SCI 2002, IEEE EcoDesign 2001, IEEE SMC 2001, ESS'01, IEPM 2001

Un rapport technique : Collaboration entre LGI2P-EMA et Laboratoire RACE- Université de Tokyo, 2001.

Documents

Recherche - emse.fr fileautomatique du système. • Comment adapter l’architecture des Agents ? Modélisation, Interactions, Communications, Adaptation, Évolution et « Intelligence