Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 2006
Distribution d'horloge, etc
Ecole d'électronique numériqueEcole d'électronique numérique
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 20062/34
Laboratoire Leprince-RinguetLaboratoire Leprince-Ringuet
http://earth.google.com/
Ecole Polytechnique
LLR : latitude 48°42'44.18"N longitude 2°12'28.18"E
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 20063/34
Distribution d'horloge, etc
Ecole d'électronique numériqueEcole d'électronique numérique
Mise en œuvre des désérialiseursà faible latence.
Un cas concret pour CMS :La carte TCC68
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 20064/34
Electroniciens : M. Bercher, Y. Geerebaert, C. Jauffret, A. Karar, A. Mathieu, L. ZlatevskiElectroniciens : M. Bercher, Y. Geerebaert, C. Jauffret, A. Karar, A. Mathieu, L. Zlatevski
+ M. Bouchel (LAL)+ M. Bouchel (LAL)
Physiciens : P. Busson, P. PaganiniPhysiciens : P. Busson, P. Paganini
Informaticiens : M. Cerruti, J. GillyInformaticiens : M. Cerruti, J. Gilly
TCC :Trigger Concentrator Card
Électronique hors détecteur (OD)du calorimètre électromagnétique (ECAL)
de l’expérience CMS (CERN)
Carte TCC68Carte TCC68
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 20065/34
Une TCC, pour quoi faire ?
Les différentes phases du projet
Où en sommes nous aujourd’hui ?
Et après ?
Carte TCC68Carte TCC68
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 20066/34
CMS est l’un des 4
détecteurs présents
sur l’accélérateur
du CERN, le LHC.
Environnement de la carte TCC68Environnement de la carte TCC68
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 20067/34
Le détecteur CMS
est composé de plusieurs sous-détecteurs dont :
ECAL, le calorimètre électromagnétique
Environnement de la carte TCC68Environnement de la carte TCC68
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 20068/34
Supercrystal DataTrigger primitives
APD/VPTPreamp
ADC
Front-end board
Le tonneau d’ECAL est composé de :
– 36 supermodules composés de :
• 68 Supercristaux composés de :
– 25 cristaux
Soit 61200 cristaux ou 1700 supercristaux
Environnement de la carte TCC68Environnement de la carte TCC68
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 20069/34
1 supermodule en test au
Batiment 867 du CERN
Environnement de la carte TCC68Environnement de la carte TCC68
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200610/34
Environnement de la carte TCC68Environnement de la carte TCC68
2 supermodules installés
dans le détecteur CMS
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200611/34
Tour de déclanchement
25 cristaux (T
T)
TCC(LLR)
CCS(CERN)
SRP(CEADAPNIA)
DCC(LIP)
TCSTTC
Primitives de déclanchement
@800 Mbits/s
OD
DAQ
@100 kHzL1
Global TRIGGER
RegionalCaloTRIGGER
Classification des tours de déclanchement (TTF)
Indicateurs de lecture sélective (SRF)
SLB (LIP)
Données des cristaux
@100KHz (Xtal Datas)
Trigger Concentrator Card
Synchronisation & Link Board
Clock & Control System
Selective Readout Processor
Data Concentrator Card
Timing, Trigger & Control
Trigger Control System
Déclanchement de premier niveau (L1A)
Auteur : R. Alemany LIP
Environnement de la carte TCC68Environnement de la carte TCC68
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200612/34
Réception série : solutions comparéesRéception série : solutions comparées
Composant Récepteur
Avantages:
Faible latence ~ 3 périodes
Inconvénients:
Nombre de composants
Consommation électrique
Coût
Récepteur intégré au FPGA
Avantages:
Nombre de composants
Consommation électrique
Coût
Inconvénients:
latence élevée ~ 25 (9) périodes
Auteur : T. Romanteau LLR
16 bits – 40 MHz
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200613/34
Réception série : solutions comparéesRéception série : solutions comparées
Composant Récepteur
Avantages:
Faible latence < 3 périodes
Inconvénients:
Nombre de composants
Consommation électrique
Coût
Récepteur intégré au FPGA
Avantages:
Nombre de composants
Consommation électrique
Coût
Inconvénients:
latence élevée ~ 25 (9) périodes
Auteur : T. Romanteau LLR
Vue partielle de
Carte TCC68
Vue partielle de
la carte DCC
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200614/34
Les différentes phases du projet TCC68Les différentes phases du projet TCC68
Validation du choix du composant de déserialisation à faible latence :
Agilent
HDMP-1034A
Avec son émetteur HDMP-1032A
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200615/34
Les différentes phases du projet TCC68Les différentes phases du projet TCC68
Validation du choix du composant de déserialisation à faible latence :
Agilent
HDMP-1034A
Avec l’émetteur ASIC du CERN
« GOL »
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200616/34
Composition de la carte TCC68Composition de la carte TCC68
ALTERA
FPGA
for VME
P1
P2
P0Clock
Fanout
1:90
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
// Datas
// Datas
// Datas
// Datas
// Datas
// Datas
Carte VME 9U (2 slots)
68 entrées optique @ 800 Mb/s =un supermodule (68 TT)
9 cartes filles SLB
6 récepteurs optiques 12 voies
72 désérialiseurs faible latence
6 FPGA (957 broches)
1 FPGA avec sérialiseur intégré
1 circuit TTCrx (interface CCS)
Circuits de distribution d’horloge
1 FPGA (VME64x «plug & play»)
Principaux problèmes :
Densité d’interconnexions, consommation électrique (~130W), distribution d’horloge « propre ».
OD
Connector
XILINX
FPGA
Virtex2 pro
Transciver E/O
TTCrx Chip
To DCC
FromCCS
To SRP
68 x 800 Mb/s = 54,4 Gb/s 68 x 9bits / 25ns = 24,48 Gb/s
720 Mb/s @ L1A1,6 Gb/s @ L1A
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200617/34
Composition de la carte TCC24Composition de la carte TCC24
ALTERA
FPGA
for VME
P1
P2
P0Clock
Fanout
1:90
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
AglientHDMP1034A
// Datas
// Datas
Carte VME 6U (2 slots)
24 entrées optique @ 800 Mb/s
3 cartes filles SLB
2 récepteurs optiques 12 voies
24 désérialiseurs faible latence
2 FPGA (957 broches)
Circuits de distribution d’horloge
1 FPGA (interface VME64x)
Analyseur logique
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200618/34
QPLL
24 voies série //
Sorties vers Analyseur logique
TCC24 TCC24 ((TriggerTrigger Concentrator Card 24 channels) Concentrator Card 24 channels)
Interface VME
24 voies série //2xVirtex2 xc2v3000
SLB 1
La TCC24 en chiffres :
Plus de 900 composants
Plus de 4500 connexions
Plus de 4200 vias
– dont ~300 µ-vias
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200619/34
Vue en coupe du circuit imprimé (PCB) de la TCCVue en coupe du circuit imprimé (PCB) de la TCC
Composant BGA 957 pins
µ-via percé au laser (120 µm)
via adapté en impédance (50 ohms)
Lignes différentielles pour signaux rapides (800 Mb/s)
PCB 10 couches
Classe 6 (120µm)
µ-vias laser
Vias adaptés 50
366 x 400 mm
Épaisseur : 2mm
Isolant HTG 180°
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200620/34
PCB à empilement séquentielPCB à empilement séquentiel
Atlantec / ACB
Core percé et métalisé
(1 double face)
Prepreg + µ-viasCoreprepreg + µ-vias
Prepreg + µ-viasCoreprepreg + µ-vias
Prepreg + µ-viasCoreprepreg + µ-vias
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200621/34
Banc de test TCC24Banc de test TCC24
TCC 24
TCC Tester
GOL Test Board
Fibres optiques
Oscilloscopes numériques rapides
Analyseur logique
Alimentations
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200622/34
Tests de Latence de la TCC24Tests de Latence de la TCC24
GOL NGK Tx
TCC Tester
NGK Rx Agilent FPGA
TCC 24
0.15 c.u.
0.95 c.u.
2.33 c.u.
Master transition (CIMT): b”1100”
Signal serie x”8FB5” et x“8FB5”
16b 4b
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200623/34
GOL NGK Tx
TCC Tester
NGK Rx Agilent FPGA
TCC 24
0.15 c.u.0.95 c.u. 2.33 c.u.
Temps passé dans la TCC 24 + fibre = 3.13 clock unit
Estimation : 2 c.u dans le FPGA + alignementLatence ≤ 6 clock unit
(Cahier des charges : 7 clock unit Max, Ouf…)
≈ 4 m de fibre optique
Tests de Latence de la TCC24Tests de Latence de la TCC24
(1 clock unit = 25 ns)
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200624/34
Tests de la TCC24: BER et diagramme de l’oeil Tests de la TCC24: BER et diagramme de l’oeil
NGK
Agilent
Diagramme del’oeil très ouvert
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200625/34
jitter très faible ≈ 20 ps
cf. Agilent AN1448-1
625 ps
20 ps 20 ps
Tests de la TCC24: BER et diagramme de l’oeil Tests de la TCC24: BER et diagramme de l’oeil
Ici : 625 / 20 = 31
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200626/34
Carte TCC68Carte TCC68
PCB 10 couches
Classe 6 (120µm)
µ-vias laser
Vias adaptés 50
366 x 400 mm
Épaisseur : 2mm
Isolant HTG 180°, low CTE
Coût du prototype :
~20 K€uros
La TCC68 en chiffres :
Plus de 2700 composants
Plus de 13900 connexions
Plus de 14000 vias
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200627/34
Carte TCC68Carte TCC68
PCB 10 couches
Classe 6 (120µm)
µ-vias laser
Vias adaptés 50
366 x 400 mm
Épaisseur : 2mm
Isolant HTG 180°, low CTE
Coût du prototype :
~20 K€uros
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200628/34
NB100LVEP224
Clock fanout
1:24
MC100EPT26
PECL to TTL
1:2
AGILENT HDMP-1034A
x68
x12
x12
TTCrx
External clocks
VIRTEX2
VIRTEX2
XC2VP4
Clk for Rio
x6 + 1 V2pro
AGILENT HDMP-1034A
AGILENT HDMP-1034A
AGILENT HDMP-1034A
AGILENT HDMP-1034A
AGILENT HDMP-1034A
MC100EPT26
PECL to TTL
1:2AGILENT HDMP-1034A
AGILENT HDMP-1034A
AGILENT HDMP-1034A
x7
SLB 9x9 (Cf. AN1568/D
onsemi.com)
External clock
Uni to diff
40
80
MC100LVEP111
Clock fanout
1:10Rx_BC0 from CCS
Rx_CLK from CCS
TTCrx CLK
SLB 1
Tx Clock
TTCsig from CCS
x9
differential
unipolar
QPLL
MC100LVEP111Clock fanout
1:10
Distribution d’horloge sur la TCCDistribution d’horloge sur la TCC
1 entrée d’horloge venant de la carte voisine (CCS)
68 + 6 + 1 + 9 circuits à alimenter avec cette horloge
Niveaux logiques différents (LVTTL, LVDS, dLVPECL)
Lignes longues (par rapport à la fréquence effective)
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200629/34
Distribution d’horloge sur la TCCDistribution d’horloge sur la TCC
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200630/34
NB100LVEP224
Clock fanout
1:24
MC100EPT26
PECL to TTL
1:2
AGILENT HDMP-1034A
x68
x12
x12
TTCrx
External clocks
VIRTEX2
VIRTEX2
XC2VP4
Clk for Rio
x6 + 1 V2pro
AGILENT HDMP-1034A
AGILENT HDMP-1034A
AGILENT HDMP-1034A
AGILENT HDMP-1034A
AGILENT HDMP-1034A
MC100EPT26
PECL to TTL
1:2AGILENT HDMP-1034A
AGILENT HDMP-1034A
AGILENT HDMP-1034A
x7
SLB 9x9 (Cf. AN1568/D
onsemi.com)
External clock
Uni to diff
40
80
MC100LVEP111
Clock fanout
1:10Rx_BC0 from CCS
Rx_CLK from CCS
TTCrx CLK
SLB 1
Tx Clock
TTCsig from CCS
x9
differential
unipolar
QPLL
MC100LVEP111Clock fanout
1:10
Distribution d’horloge sur la TCCDistribution d’horloge sur la TCC
1 entrée d’horloge venant de la carte voisine (CCS)
68 + 6 + 1 + 9 circuits à alimenter avec cette horloge
Niveaux logiques différents (LVTTL, LVDS, dLVPECL)
Lignes longues (par rapport à la fréquence effective)
Terminaison : R = 1 Kohms
Terminaison : R = 100 ohms
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200631/34
Carte TCC68, où en sommes nous aujourd’hui ?Carte TCC68, où en sommes nous aujourd’hui ?
Tests effectués au LLR
Ecriture firmware (VHDL)
Ecriture Software (C++,
root, Xdaq, Hal,…)
Intégration au CERN avec
les cartes voisines.
Lancement de la
production de 40 cartes(Les 3 premières sont testées avec succès)
Coût : ~ 10000 € / carte
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200632/34
Et après ?Et après ?
Mai / Juin 2006 : 1 carte TCC pour la validation d’un
supermodule en faisceau test H4 au CERN
De août à octobre 2006 : Test de la production (40 cartes)
Intégration au CERN jusqu’à fin 2006
Correction du code VHDL et ajout de fonctionnalités
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200633/34
Conception d’une carte numérique rapide à l’in2p3Conception d’une carte numérique rapide à l’in2p3
Achat, négoce
Conversiond’énergie puissance
Veilletechnologique
Connaissancedes fabricantsde composants
Numériqueanalogique
mécanique
physiquedes particules
UtilisationLogiciels CAO
SimulationInterprétation
schémaroutage
VERILOGVHDL etc.
Etre mobile
Rédacteurorateur
RecruterTravailleren équipe
Relationsinternationales
testabilité
Banc test
JTAG
intégration
thermique
optique
Electronique
Gestionde projet
Compétences requises
Logiciel de pilotageC, assembleur, etc.…
Savoir s’entourer de spécialistes dans chaque
domaine
Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 200634/34
Liens & RéferencesLiens & Réferences
« High-Speed Digital Design: A Handbook of Black Magic » by Howard Johnson, Ph.D.
and Martin Graham, Ph. D
« Integrity Issues and Printed Circuit Board Design » by Douglas Brooks
« QPLL home page » : http://proj-qpll.web.cern.ch/proj-qpll/
« Articles on PCB design by D. Brooks» http://www.ultracad.com/article_outline.htm
« CMS home page » : http://cms.cern.ch/
Documents Atlantec / ACB : http://www.atlantec.fr/vf/htm/capa/capa.htm
Réseau des électroniciens : http://web-ast.dsi.cnrs.fr/rdeprd/pck_res_pge_accueil.ini_page
Personnes à contacter au LLR : utilisation RocketIO : Clément Jauffret, Thierry
Romanteau. Conception de cartes rapides : Irakli Mandjavidzé (CEA), moi-même.
voir ici : http://polywww.in2p3.fr/services/llr_annuaire/search.php?lang=fr&groupID=14