Tutorial de Pentaho - Proceso ETL con Spoon

7/25/2019 Tutorial de Pentaho - Proceso ETL con Spoon

1/22

TUTORIAL DE

PENTAHO: DEFINICINDE UN PROCESO ETLCON SPOON

Miguel Velasco Ge!"Pa#$o%a &%'el(


2/22

Contenido

Lis$a )e ilus$*acio#es++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ ,I#$*o)ucci#++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++-Desca*ga e i#s$alaci# )e la .e**aie#$a+++++++++++++++++++++++++++++++++++++++++++++++++++-De/#ici# )el 0*oceso+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++-

T*a1a%o co# S0oo#+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 2Lec$u*a )e )a$os &E3$*ac$(+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++2

T*a#s4o*aci# )e )a$os &T*a#s4o*(+++++++++++++++++++++++++++++++++++++++++++++++++++++5,Ca*ga )e )a$os &Loa)(++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++52


3/22

Lista de ilustraciones

Ilus$*aci# 5 6 Fic.e*o )e 0e*so#as+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++7Ilus$*aci# 8 6 Fic.e*o )e 0o1laci#++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++7

Ilus$*aci# , 6 Pale$a )e e#$*a)a+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++9Ilus$*aci# - 6 Selecci# )el /c.e*o )e e#$*a)a++++++++++++++++++++++++++++++++++++++++++Ilus$*aci# 7 6 De/#ici# )el co#$e#i)o )el /c.e*o )e e#$*a)a+++++++++++++++++++;Ilus$*aci# 2 6 Delii$aci# )e los ca0os )el /c.e*o )e 0e*so#as+++++++++++;Ilus$*aci# 9 6 No1*es )e los ca0os )e 0e*so#as+++++++++++++++++++++++++++++++++5 e#co#c*e$o )e#$*o su )ulo )e i#$eg*aci# )e )a$os )e la .e**aie#$aS0oo#+

Descarga e instalacin de la herramienta

El )ulo )e i#$eg*aci# )e )a$os )e Pe#$a.o 0ue)e )esca*ga*se )es)esu e1 e# la siguie#$e u*l: .$$0:Je$$le+0e#$a.o+co+ E# es$e $u$o*ial$*a1a%aos co# la 'e*si# -+


5/22

El 0*oceso @ue 'aos a )esa**olla* e# es$e $u$o*ial 0*e$e#)e o1$e#e*i#4o*aci# )e u# /c.e*o )e $e3$o *eali!a* u# se#cillo $*a$aie#$o )e los)a$os > ca*ga*los /#ale#$e e# u#a 1ase )e )a$os+

Coo e#$*a)a 'aos a $*a1a%a* co# )os /c.e*os+ El 0*ie*o )e ellosco#$e#)*B )a$os )e 0e*so#as e# l=#eas co# u# 4o*a$o /%o $al coo se

ues$*a e# la iage#+

Ilustracin 1 Fichero de personas

Nues$*o o1%e$i'o 'a a se* alace#a* e# u#a 1ase )e )a$os el )#i )e ca)au#o )e es$as 0e*so#as %u#$o co# el #o1*e )e su 0*o'i#cia )e #aciie#$o+Es$e )a$o lo e#co#$*aos e# el /c.e*o )e 0e*so#as )a)o 0o* los )os )=gi$ossi$ua)os e# las 0osicio#es 58 > 5, )e ca)a l=#ea+ Esos )os )=gi$osco**es0o#)e# co# el c)igo )e la 0*o'i#cia+

Coo lo @ue @ue*eos es alace#a* el #o1*e 'aos a $e#e* @ue

o1$e#e*lo+ Pa*a ello )is0o#eos )e u# /c.e*o CSV )esca*ga)o )i*ec$ae#$e)e la e1 )el I#s$i$u$o Nacio#al )e Es$a)=s$ica &KKK+i#e+es( coo el @ue seues$*a a co#$i#uaci#+

Ilustracin Fichero de po!lacin
http://www.ine.es/http://www.ine.es/


6/22

E# es$e /c.e*o $e#eos las ci4*as )e 0o1laci# )e $o)as las 0*o'i#ciases0aolas > s$as es$B# i)e#$i/ca)as $a#$o 0o* su #o1*e coo 0o* suc)igo+ De o)o @ue u$ili!a*eos es$a i#4o*aci# 0a*a o1$e#e* el #o1*easocia)o a ca)a c)igo e#co#$*a)o e# el /c.e*o )e 0e*so#as+

Lo ?l$io @ue .a*eos se*B alace#a* e# u#a 1ase )e )a$os los )a$os0*ocesa)os+

Tra!a"o con #poon

De#$*o )el )i*ec$o*io )e i#s$alaci# e# la ca*0e$a data-integration$e#eos el /c.e*o Spoon.bat e)ia#$e el @ue 0o)eos a**a#ca* la.e**aie#$a+ S0oo# 0ue)e $*a1a%a* alace#a#)o los 0*ocesos c*ea)os e# u#*e0osi$o*io &@ue 0ue)e es$a* 1asa)o e# u#a 1ase )e )a$os o e# /c.e*os( o1ie# )i*ec$ae#$e e# /c.e*os e# el e@ui0o local+ Pa*a es$e $u$o*ial

u$ili!a*eos la segu#)a o0ci# 0a*a a.o**a*#os algu#os 0asos )eco#/gu*aci#+ Po* $a#$o 0o)eos ce**a* el )iBlogo os$*a)o al a**a#ca* la.e**aie#$a @ue es$B )es$i#a)o a co#/gu*a* la co#e3i# al *e0osi$o*io+

U#a 'e! a1ie*$a la .e**aie#$a e0e!aos a $*a1a%a* ge#e*a#)o u#a$*a#s4o*aci# a $*a's )el e#? Fichero Nuevo+ As= se .a*B 'isi1le la0ale$a e# la 0es$aa )iseo )es)e la @ue 0o)eos seleccio#a* laso0e*acio#es @ue 4o*a*B# 0a*$e )e #ues$*a $*a#s4o*aci#+ E# el la)o)e*ec.o 0o)eos 'e* u#a *e0*ese#$aci# g*B/ca )e la $*a#s4o*aci# @uees$aos c*ea#)o @ue lgicae#$e se e#cue#$*a $o)a'=a 'ac=a+

Lec$u*a )e )a$os &E3$*ac$(

El 0*ie* 0aso se*B la o1$e#ci# )e i#4o*aci# )e )is$i#$as 4ue#$es )e)a$os+ Las al$e*#a$i'as @ue #os o4*ece la .e**aie#$a las 0o)eos 'e* e# laca$ego*=a Entrada)e la 0ale$a e# la @ue e#co#$*aos co0o#e#$es 0a*aacce)e* a /c.e*os )e $e3$o se*'i)o*es LDAP 1ases )e )a$os e$c+


7/22

Vaos a e0e!a* seleccio#a#)o la o0ci# Entrada de Fichero de Texto+ Laa**as$*aos so1*e #ues$*a $*a#s4o*aci# > .aceos )o1le clic 0a*a acce)e*a su co#/gu*aci#+ Lo 0*ie*o @ue $e#eos @ue .ace* es )a*le u# #o1*e >seleccio#a* los /c.e*os )e e#$*a)a+ Es$e 0*oceso 0ue)e o1$e#e* lai#4o*aci# )e u#o o 'a*ios /c.e*os @ue 0o)eos i* aa)ie#)o )es)e la0es$aa Fic.e*o+ No1*aos el 0aso coo Leer personas > seleccio#aos >aa)ios el /c.e*o )e 0e*so#as+

Ilustracin $ %aleta deentrada


8/22

Ilustracin & #eleccin del fchero de entrada

A co#$i#uaci# $e#eos @ue co#/gu*a* co se o1$e#)*B la i#4o*aci#)es)e la 0es$aa Contenido+ Po)eos $*a1a%a* co# /c.e*os CSV o )e 4o*a$o/%o+ E# a1os casos 0o)*eos co#/gu*a* la ca*ga )e u#a 4o*a u>i#$ui$i'a+ Pa*a es$e 0*ie* caso 'aos a $*a1a%a* co# u# /c.e*o )e 4o*a$o/%o 0o* lo @ue seleccio#aos es$a o0ci# &Fixed(+

Nues$*o /c.e*o )e e#$*a)a ues$*a )i*ec$ae#$e los )a$os si# co#$e#e*#i#g?# $i0o )e ca1ece*a 0*e'ia+ Po* $a#$o $e#eos @ue )esa*ca* el

checkboxco**es0o#)ie#$e+


9/22

Ilustracin ' Defnicin del contenido del fchero de entrada

Co# es$a co#/gu*aci# 0o)eos 0asa* a la 0es$aa Campos e# la @ue$e#eos @ue i#)ica* @u 'alo*es 'aos a o1$e#e* )el /c.e*o+ Pa*a ello$e#eos a #ues$*a )is0osici# u# a>u)a#$e u> ?$il )is0o#i1le a $*a's )el1o$# Traer Campos+ Si 0ulsaos so1*e l al .a1e* seleccio#a)oa#$e*io*e#$e la o0ci# Fixed coo $i0o )e /c.e*o se a1*e u#a #ue'a'e#$a#a e# la @ue 'eos el co#$e#i)o )el iso+ E# es$a 'e#$a#a 0o)eos)e/#i* los ca0os 0i#c.a#)o so1*e el co#$e#i)o co# lo @ue c*eaos a*cas@ue )elii$a*B# )#)e e0ie!a > aca1a ca)a u#o+


10/22

Ilustracin ( Delimitacin de los campos del fchero de personas

U#a 'e! a*ca)os los ca0os acce)eos a la siguie#$e 'e#$a#a e# la

@ue 0o)eos )a* u# #o1*e > $i0o a ca)a u#o )e ellos+ Pa*a si0li/ca* es$e0aso 0o)eos 0ulsa* el 1o$#Adivina Todos+ Si 'aos *eco**i#)olos 'eos@ue la .e**aie#$a .a asig#a)o a ca)a ca0o el $i0o @ue le co**es0o#)e&ca)e#a o #?e*o( > su lo#gi$u)+

Asig#aos u# #o1*e )esc*i0$i'o a ca)a u#o )e los ca0os+ E# el caso)el ca0o codigorovincia'aos a ca1ia* el $i0o a String > 0ulsaos e#/#ali!a*+

Ilustracin ) Nom!res de los campos de personas

Vol'eos a las 0*o0ie)a)es )el 0aso )es)e )o#)e 0o)eos 0ulsa* el1o$# revisua!i"ar #!as0a*a 'e* los )a$os le=)os )el /c.e*o )e acue*)o aes$a co#/gu*aci#+ P*e'iae#$e se #os 0*egu#$a*B e)ia#$e u# )iBlogocuB#$as /las @ue*eos 0*e'isuali!a*+ Es$a o0ci# es i#$e*esa#$e cua#)o$*a1a%aos co# 4ue#$es )e )a$os g*a#)es e'i$a#)o 0*ocesa* $o)os los*egis$*os cua#)o lo ?#ico @ue @ue*eos es 'e* co @ue)a*=a el *esul$a)o+


11/22

Ilustracin * %re+isuali,acin de los datos de personas

Co0le$aos el 0*oceso 0ulsa#)o el 1o$# $a!e+

Co# es$e 0*ie* 0aso .eos o1$e#i)o u#a colecci# )e )a$os so1*e0e*so#as @ue @ue*eos a0lia* co# u#a #ue'a colu#a @ue co#$e#ga el#o1*e )e la 0*o'i#cia+ A#$es )e #a)a $e#eos @ue lee* el o$*o /c.e*o )e$e3$o )el @ue e3$*ae*eos esa i#4o*aci#+

El /c.e*o )e 0o1lacio#es es u# /c.e*o CSV+ Pa*a lee* es$e $i0o )e /c.e*ose3is$e u# 0aso e# S0oo# )e#oi#a)o CS$ #!e input @ue #o*ale#$e se*=ael Bs a0*o0ia)o+ Es$e 0aso 0e*i$e .ace* lo iso @ue el @ue u$ili!aosa#$e*io*e#$e &Entrada #chero de texto( 0e*o )e u#a 4o*a Bs si0le alelii#a* g*a# 0a*$e )e las o0cio#es 0*ese#$es+ Si# e1a*go el /c.e*o @ue'aos a lee* a.o*a $ie#e u#a ca1ece*a )e l=#eas @ue $e#eos @ue ig#o*a*> es$a 0osi1ili)a) slo la $e#eos co# Entrada #chero de texto+ Po* $a#$o'ol'eos a a**as$*a* el 0aso so1*e #ues$*a $*a#s4o*aci# > acce)eos alas 0*o0ie)a)es .acie#)o )o1le clic+ Le )aos el #o1*e Leer pob!aciones >aa)ios a la lis$a )e /c.e*os seleccio#a)os el )e 0o1lacio#es+


12/22

Ilustracin - #eleccin del fchero C#. de entrada

Pasaos a la 0es$aa Contenido )o#)e seleccio#aos el $i0o CS$ >o)i/caos el se0a*a)o* al ca*Bc$e* coma &(+ El c!osure lo @ui$aos

)e%B#)olo e# 1la#co+ E# el ca0o )e ca1ece*a @ue e# es$e caso s= )e%aosa*ca)o i#)icaos 0a*a el n%mero de !&neas de cabecera+ Ma*caos$a1i# el )e 0ie e iguale#$e le )aos el 'alo* @ue so# las l=#eas e# las@ue se ci$a al INE > se i#)ica# sus )a$os )e co#$ac$o+


13/22

Ilustracin 1/ Defnicin del contenido del fchero C#. de entrada

Nos 'aos 0o* ?l$io a la 0es$aa Campos+ No*ale#$e u$ili!a*=aos el1o$# Traer campos0a*a @ue la .e**aie#$a se e#ca*gue 0o* s= isa )e)e$ec$a* los ca0os )is0o#i1les e# el /c.e*o+ Si# e1a*go si 0*o1aos co#

#ues$*o /c.e*o 'e*eos @ue )e$ec$a u# ?#ico ca0o as= @ue 'aos a e$e*la co#/gu*aci# a a#o+ C*eaos )os ca0os )e $i0o ca)e#a e# los @ue selee*B# el c)igo > #o1*e )e la 0*o'i#cia 0o* u# la)o > el #?e*o )e.a1i$a#$es 0o* el o$*o+


14/22

Ilustracin 11 Defnicin de campos del fchero C#. de entrada

E# es$e 0u#$o 0o)eos 0ulsa* revisua!i"ar #!as0a*a 'e* la i#4o*aci#@ue o1$e#)*eos al e%ecu$a* el 0aso+ Pos$e*io*e#$e ace0$aos el )iBlogo+

T*a#s4o*aci# )e )a$os &T*a#s4o*(

E# el 0*ie* ca0o le=)o )el /c.e*o $e#eos a.o*a $a#$o el c)igo cooel #o1*e )e la 0*o'i#cia+ Vaos a i#clui* u# #ue'o 0aso a la $*a#s4o*aci#e# el @ue )i'i)i*eos esa i#4o*aci# e# )os ca0os i#)e0e#)ie#$es+ Pa*aello u$ili!aos el 0aso artir campos )e#$*o )el g*u0o Trans'ormar+

U#a 'e! @ue .eos a**as$*a)o el 0aso > a#$es )e e)i$a*lo $e#eos @uee#'ia*le la i#4o*aci# o1$e#i)a e# Leer pob!aciones+ Los u%os )ei#4o*aci# e#$*e 0asos se )e/#e# 0ulsa#)o la $ecla shi't > a**as$*a#)o el

cu*so* )es)e el 0aso )e o*ige# .as$a el )e )es$i#o+ Al .ace*lo S0oo#os$*a*B u# e#? co#$e3$ual 0a*a seleccio#a* el $i0o )e e#'=o @ue 0ue)ese* el 0*i#ci0al o el )e e**o*+ Elegios el 0*ie*o+


15/22

Ilustracin 1 0n+o de in2ormacin entre pasos

A.o*a 0o)eos acce)e* a las 0*o0ie)a)es )e artir campos+ Coo#o1*e le 0o#eos Separar nombre ( codigo+ E# el )es0lega1le )e ca0o a0a*$i* $e#eos los ca0os @ue le llega# al 0aso )es)e Leer pob!acionese#$*e los @ue elegios CodigoNombre+ El se0a*a)o* $e#eos @ue ca1ia*lo>a @ue es el es0acio #o la coa+

E# la $a1la )e ca0os 'aos a $e#e* @ue i#$*o)uci* $*es /las u#a 0a*aca)a u#o )e los ca0os @ue 'aos a o1$e#e* i#clui)o el se0a*a)o*+ To)asse*B# )e $i0o String+

Ilustracin 1$ Di+isin de los campos cdigo 3 nom!re

a $e#eos el c)igo > el #o1*e e# ca0os )is$i#$os 0o* lo @ue0o)eos 'ol'e* al u%o )e )a$os @ue o1$u'ios )el /c.e*o )e 0e*so#as >1usca* el c)igo )e la 0*o'i#cia )e ca)a u#a )e ellas e# el @ue aca1aos )eo1$e#e*+ Pa*a .ace* es$a 1?s@ue)a 0o)eos u$ili!a* el 0aso )%s*ueda en+u,o de datos )e#$*o )e la ca$ego*=a )%s*uedas+

Es$e 0aso *eci1i*B i#4o*aci# $a#$o )e Leer personascoo )e Separarnombre ( codigo+


16/22

Ilustracin 1& 0n+o de in2ormacin al paso de !4s5ueda

A1*ios la 'is$a )e 0*o0ie)a)es )el #ue'o 0aso > lo #o1*aos coo)uscar nombre de provincia+ E# el )es0lega1le Lookup step $e#eos @ueelegi* so1*e cuBl )e los )os 0asos )e los @ue *eci1ios i#4o*aci# .a*eosla 1?s@ue)a+ Pa*a es$e caso se*B# los )a$os )e Separar nombre ( codigo+

E# la siguie#$e $a1la $e#eos @ue i#)ica* 0o* @u ca0os se .ace la1?s@ue)a+ E# la 0*ie*a colu#a Campo $e#eos @ue seleccio#a* el ca0o)e los 0*o'is$os 0o* Leer personas > e# la segu#)a Campo )%s*ueda elca0o )e los )is0o#i1les e# Separar nombre ( codigoco# el @ue lo 'aos aiguala*+

Po* ?l$ios e# la ?l$ia $a1la $e#eos @ue i#)ica* )e @u ca0oo1$e#)*eos la i#4o*aci# @ue @ue*eos ag*ega* > co se llaa*B el#ue'o ca0o @ue se c*ea*B 0a*a co#$e#e*la+ El 'alo* @ue #ecesi$aos esNombre+ Le )aos $a1i# u# 'alo* 0o* )e4ec$o @ue se u$ili!a*B e# a@uelloscasos e# @ue la 1?s@ue)a #o 0*o)u!ca *esul$a)os+


17/22

Ilustracin 1' Confguracin de la !4s5ueda en 6u"o

Ca*ga )e )a$os &Loa)(

Lo ?#ico @ue #os @ue)a 0a*a co0le$a* la )e/#ici# )el 0*oceso esgua*)a* la i#4o*aci# e# u#a 1ase )e )a$os+ Pa*a es$e e%e0lo se .a

u$ili!a)o O*acle E 5 provincia a1osca)e#as )e $aao 7 le e#'iaos los )a$os )e )uscarnombre de provincia+


18/22

Ilustracin 1) 0n+o de in2ormacin para la escritura en !ase de datos

Acce)eos a la e)ici# )el 0aso > le )aos el #o1*e uardar en basede datos+ E# la co#/gu*aci# )e es$e $i0o )e 0asos lo 0*ie*o es )e/#i* u#aco#e3i# a la 1ase )e )a$os @ue 'a>aos a u$ili!a*+ Pulsaos el 1o$#Nuevo %u#$o al ca0o Conexi/n+ Se a1*e el )iBlogo 0a*a c*ea* co#e3io#ese# el @ue lo 0*ie*o es seleccio#a* el $i0o )e co#e3i#+ Coo .eos )ic.oes$e e%e0lo se .a .ec.o co# u#a 1ase )e )a$os O*acle acce)ie#)o 0o*

DC+ Co# cual@uie* o$*o SGD coo M>SL o SL Se*'e* se $*a1a%a*=ae3ac$ae#$e igual &ca1ia#)o slo los 0a*Be$*os #ecesa*ios 0a*aco#/gu*a* la co#e3i# @ue so# es0ec=/cos )e ca)a 1ase )e )a$os(+

U#a 'e! seleccio#a)o el $i0o )e co#e3i# i#4o*aos el *es$o )e ca0os$al coo se ues$*a a co#$i#uaci#+


19/22

Ilustracin 1* Confguracin de la cone7in a !ase de datos

Ace0$aos el )iBlogo > co#$i#uaos co#/gu*a#)o el 0aso )e i#se*ci# )e)a$os+ Te#eos @ue i#)ica* el es@uea > $a1la )e )es$i#o @ue es ersonas+E#$*e las o0cio#es )is0o#i1les es$B la )e 'acia* la $a1la ca)a 'e! @ue sei#se*$e# #ue'os )a$os+ De0e#)ie#)o )e la #a$u*ale!a )e #ues$*o 0*oceso0ue)e @ue la i#4o*aci# @ue 'a>aos a ca*ga* )e1a i* i#c*ee#$B#)ose o1ie# sie#)o sus$i$ui)a e# ca)a e%ecuci#+ Vaos a elegi* es$a ?l$ia o0ci#0o* lo @ue seleccio#aos el c.ecJ+ Ta1i# a*caos Speci'( database#e!ds )a)o @ue @ue*eos i#)ica* #oso$*os isos @u ca0os )e la $a1la'a# a se* i#4o*a)os+

Acce)eos a la 0es$aa 0atabase #e!ds+ A@u= $e#eos @ue i#)ica* @uca0os )el u%o se 'a# a ca*ga* e# @u ca0os )e la $a1la+ La 4o*a Bsse#cilla )e .ace*lo es 0ulsa* el 1o$# Enter #e!d mapping+ Si .a> ca0os @ue$ie#e# el iso #o1*e $a#$o e# la $a1la coo e# el u%o )e )a$os )ee#$*a)a la .e**aie#$a los asocia*B au$oB$icae#$e+ Pa*a el *es$o$e#eos @ue i#)ica* #oso$*os co se *elacio#a*B#+


20/22

Ilustracin 1- 8apeo de los datos a insertar

T*as ace0$a* la co#/gu*aci# el 0aso @ue)a coo se ues$*a+

Ilustracin / Confguracin del paso de salida a ta!la

Si ace0$aos el cua)*o )e 0*o0ie)a)es .a1*eos $e*i#a)o )eco#/gu*a* el 0*oceso ETL+


21/22

Lo ?#ico @ue #os @ue)a es e%ecu$a*lo 0a*a 'e* el *esul$a)o+ Po)eos.ace*lo e# el e#?Action E,ecutar o )i*ec$ae#$e co# el 1o$# )e la 1a**a*e0*ese#$a)o co# u#a ec.a 'e*)e+ A0a*ece el cua)*o )e co#/gu*aci# )e lae%ecuci# @ue #os 0e*i$e )e0u*a* e#'ia* 0a*Be$*os e$c+ No 'aos au$ili!a* #i#gu#a )e es$as o0cio#es )e o)o @ue 0ulsaos so1*e E,ecutar+

Ilustracin 1 Opciones de e"ecucin

E# la secci# )e 1esu!tados de !a e,ecuci/n e# la 0a*$e i#4e*io* )e la0a#$alla 0o)eos 'e* $a#$o el log coo las $*icas )e los 0asose%ecu$a)os+

Ilustracin 9esultados de la e"ecucin

Pa*a co0*o1a* @ue $o)o es co**ec$o a)eBs )e *e'isa* @ue #o .a>e**o*es e# el log i#s0eccio#aos la $a1la )e la 1ase )e )a$os > 'eos @uese .a# i#se*$a)o los 'alo*es es0e*a)os+


22/22

Ilustracin $ Contenido de la !ase de datos

Documents

Tutorial de Pentaho - Proceso ETL con Spoon