31
ARIADNE is funded by the European Commission's Seventh Framework Programme Rome, Ariadne mee-ng, Nov. 1315, 2014 Training for innova-on: data and mul-media visualiza-on Roberto Scopigno Visual CompuDng Lab, CNRISTI, Pisa, Italy

Training for innovation:data and multimedia visualization

Embed Size (px)

Citation preview

ARIADNE  is  funded  by  the  European  Commission's  Seventh  Framework  Programme  

Rome,  Ariadne  mee-ng,  Nov.  13-­‐15,  2014    

Training  for  innova-on:  data  and  mul-media  visualiza-on  

Roberto  Scopigno  Visual  CompuDng  Lab,  CNR-­‐ISTI,  Pisa,  Italy  

Ariadne  -­‐TNA    •  EU  INFRA  “ARIADNE”  acDvity  on  Visual  Media:    – Workshop:  “Ariadne  infrastructure  for  Mul2media  data:  matching  technologies  and  user  needs”  (Pisa,  Oct.  7-­‐8,  2013)  

–  Review  of  visual  media  use  in  current  archeology  archives  and  working  pracDces  

–  OrganizaDon  of  the  first  TNA  on  Visual  Media  (Pisa,  June  23-­‐27,  2014)  •  Full  Dme  week  on  the  subject,  lessons  and  pracDcal  acDvity  •  PresenDng  services  and  resources  developed  by  Ariadne  technical  partners  

Ariadne  -­‐TNA    Other  TNAs  organized  in  Y2:  •  TNA  on  “Mapping  exis+ng  datasets  to  CIDOC-­‐CRM”,  hosted  by  PIN  in  Prato,  on  26-­‐30  May  2014    – Goal:  implement  conceptual  mappings  and  data  conversions  of  their  exisDng  datasets  to  the  CIDOC  CRM  ontology    

•  TNA  on  “Design  of  archaeological  datasets”,  held  at  CNR-­‐ISTI  Pisa,  July  14-­‐18,  2014.    – Goal:  design  archeological  datasets  endowed  with  rich  seman-cs  and  allow  seman-c  interoperability    

The  ARIADNE  “popula-on”  •  Data  providers  /  users  –  ApplicaDon-­‐related  knowledge,  consolidated  experience  on  current  working  procedures  

–  Data  owners,  experDse  on  conservaDon/access  management  

•  Technology  providers  –  Experience  on  designing  and  using  innovaDve  tools  for  visual  media  producDon,  delivery  and  visualizaDon    

–  Role:  disseminaDon  of  knowledge  on  new  technologies,  technology  advisors  

Visual  Media  – Visual  Media  Data:  any  type  of  visual  representaDon  of  Archaeological  findings  or  assets,  i.e.:    •  Standard  2D  images  (high-­‐res!)  

•  Advanced2D    images  (PTM,  RTI,  panoramic  images,  HDR)  

•  3D  models  (single  or  complex  scenes)  

•  Videos  •  GIS  data  

Goals  of  the  TNA  on  2D/3D  media  

•  General:  enable  scholars  and  professionals  to  endorse  and  implement  modern  approaches  for  the  visual  mulDmedia  documentaDon  of  artworks  and  archaeological  sites  (i.e.  fieldworks  and  artefacts)    

•  More  specifically:  pair  classical  frontal  lessons  with  a  more  pracDcal  acDvity  (hands-­‐on  experience  on  the  technologies  presented)  

Goals  of  the  TNA  on  2D/3D  media  

•  Prac-cal  ac-vity:  – We  solicited  parDcipants  to  submit  specific  problems  and  test  cases  they  are  working  with  

– These  test  beds  were  an  important  criterion  in  the  selecDon  of  the  parDcipants    

– Program  of  the  school  included  Dme  dedicated  to  advising  the  students  on  the  pracDcal  hands-­‐on  experience  and  in  their  proposed  case  studies    

Selected  students  •  Eleven  parDcipants    – 9  were  assigned  an  ARIADNE  fellowships  and  2  come  at  their  expenses    

–  from  several  different  countries  (ArgenDna,  Belgium,  Estonia,  Germany,  Greece,  Italy,  Netherlands,  UK)    

– Holding  a  mixed  background  (in  the  majority  a  human  science  background,  only  a  few  holding  an  engineering  degree)  

Lesson  learned  (WS  &  TNA)  •  Good  experience  in  produc-on  of  visual  media  (mostly  2D,  but  also  some  high-­‐profile  3D  acDvity)  – CNR  offers  support  in  this  acDvity  (open  source  tools)  

•  Cri-cal  issue:  Archival  and  Access  to  visual  media…  

Lesson  learned  (WS  &  TNA)  •  2D  images  are  stored  and  integrated  with  in  Ariadne  

partner’s  archives  /  databases  •  3D  models  are  sDll  isolated  resources  •  Access  is  the  problem:  –  SDll  managed  as  “data  files”  – Approach  used:    

•  NoDfy  existence  of  the  data  file  of  a  visual  media  resource  •  User  downloads  the  file  (Dme  lag)  •  User  needs  to  have  an  applicaDon  for  managing  that  file  type  (error  messages)  

Lesson  learned  (WS  &  TNA)  Problems  with  data  file  approach:  •  Explicit  download  and  file  size  –  Files  of  visual  media  assets  are  usually  large/huge  

•  2D  image  in  high-­‐res  (40Mpixels)  è  120MB  uuncompressed,  15  MB  lossy-­‐compressed  

•  3D  model  (scanned)  is  mulit-­‐million  triangles/samples  è  from  50MB  to  GBs  

–  Should  we  wait  for  enDre  file  transfer  comple-on  before  looking  into  the  data  (and  discover  that  is  not  the  one  we  are  searching  for)?  

Lesson  learned  (WS  &  TNA)  Problems  with  data  file  approach:  •  Once  file  is  on  local  disk,  do  I  have  an  applicaDon  to  open  it?  – Many  different  file  types  (easier  with  images,  highly  complex  with  3D  models)  

– The  deprecated  error  message:    •  Unrecognized  file  type  

Modern  access  to  visual  data  •  The  web  is  the  channel:  – Click  and  immediately  inspect  the  data  –  Inside  current  web  page  or  into  a  new  one  – Using  your  favourite  web  browser  

– Possible  with  many  visual  media  using  WebGL  and  modern  support  to  data  

– How  can  we  help  our  community  to  integrate  those  technologies  in  exis+ng  archives  /  databases?    

3DHOP  –  Visual  data  on  the  web  •  PresentaDon  /Publishing  3D  content  on  web:  – 3D  visualiza-on  on  web  pages  is  now  possible  with  WebGL  &  SpiderGL  

– 3D  data  &  visualizaDon  become  part  of  the  web  page  

– Simplify  the  producDon  of  web-­‐based  presenta-ons  or  installa-ons  using  CNR’s  “3DHOP”  (3D    Heritage  Online  Presenter)  h_p://vcg.is-.cnr.it/3dhop/  

3DHOP  –  Visual  data  on  the  web  Hi-­‐res  Single  Viewer  (component)   Collec-on  Viewer  (component)  

More  complex    example:    

New  ARIADNE  services  for  visual  data  

Our  idea:  •  For  each  visual  media  asset:  – The  user  fills  a  simple  form  and  uploads  the  data  file  

– An  automa-c  service  on  the  ARIADNE  server  will  open,  convert,  transform  in  a  browsable  page,  send  in  output  the  URL  (or  a  .zip  file)  to  the  user  

– The  user  links  the  media  asset  in  his  archive  using  the  provided  URL  

New  ARIADNE  services  for  visual  data  

Which  media  types?  •  3D  models  •  High-­‐resoluDon  2D  images  •  ReflecDon  TransformaDon  Images  (RTI)  •  [High  Dynamic  Range  (HDR)  images]  

For  all  of  them  (technology):  •  MulD-­‐resoluDon  encoding,  progressive  transmission,  nearly  immediate  visualizaDon    

 

Visual  Media  service    

Some  demos  of  current  status  

Web  Service  Home  

hqp://pc-­‐ponchio.isD.cnr.it/ariadne/index.php  

Info  page  on  single  media  

The  input  form  

Inspec-on  of  results  –  3D  

hqp://pc-­‐ponchio.isD.cnr.it/ariadne/browse  

Inspec-on  of  results  –  2D  

Image:  20Kpix  x  10Kpix  (200  Mpix)  

Inspec-on  of  results  –  RTI  

 

Visual  Media  service:    what  about  terrains/GIS?  

 Work  ongoing  at  ITABC-­‐CNR  

3D  Cloud  Services  -­‐  ITABC  Cloud  Services  for  2D/3D  Landscapes  •  Cloud  service  for  upload  /  management  of  processing  data  (DEMs,  Geo-­‐images,  

shapefiles,  etc.)  with  flexible  and  customizable  access  policies  •  Large  3D  Terrain  datasets  generaDon  as    

web  service  (also  accessible  from    mobile  devices)  

•  2D  interacDve  maps  (web  components)  

•  Cloud  Composing  services  to  create    collaboraDve  gis-­‐based  3D    reconstrucDons  

Output  •  3D  datasets  opDmized  for  real-­‐Dme    

visualizaDon  and  web  streaming  •  Different  output  formats  (disseminaDon)  

Web  Service  Home  

3D  Terrain  Services  example  -­‐  ITABC  

Roadmap  •  We  are  now  tesDng  it…  •  Deliver  to  Ariadne  partners  for  use,  assessment  and  test  [Dec  2014]  

•  Future  work:    – Add  support  for  more  data  file  types  (2D,  3D)  –  Support  for  HDR  images  (CNR-­‐ISTI)  –  Support  for  massive  data  items  uploading  (batch)  –  Enhanced  support  for  terrain  models  (CNR-­‐ITABC)  

Conclusions  •  Our  first  experience  of    TNA  under  the  ARIADNE’s  umbrella  

•  Several  technological  instruments  presented  extensively,  on  real  archaeological  examples  and  with  prac-ce    

•  Feedback  gathered  instrumental  to  the  design  of  first  Ariadne  services  for  visual  media    

•  Stay  tuned  with  ARIADNE  training  program!  (next  ediDons  in  summer  2015)  

30

Questions?

Contact: Visual Computing Lab ISTI - CNR

http://vcg.isti.cnr.it

[email protected] http://vcg.isti.cnr.it/~scopigno/ ARIADNE  is  a  project  funded  by  the  European  Commission  under  the  Community’s  Seventh  Framework  Programme,  contract  no.  FP7-­‐INFRASTRUCTURES-­‐2012-­‐1-­‐313193.    The  views  and  opinions  expressed  in  this  presentaDon  are  the  sole  responsibility  of  the  authors  and  do  not  necessarily  reflect  the  views  of  the  European  Commission.