Presentation vid Open Source för GIS 2011onsdagen den 2 ......till geodata, liksom frågan om rättsligt bindande avtal för ... Elastic Compute Cloud (Amazon EC2), Elastic MapReduce,

Finns det Open Source för GIS i Molnet? - Anders SödermanULI OS4GIS 2011

11

Presentation vid Open Source för GIS 2011 onsdagen den 2 mars.

Finns det Open Source för GIS i Molnet?v Hur många av er har försökt tränga in i molntjänstbegreppet?

v Vad är molntjänster? Vad kostar molntjänster?

v Används molntjänster i Sverige idag?

v Vilka GIS/GIT behov kan dra nytta av kommande molntjänster?

v Exempel på idag nåbara molntjänster inom FOSS4G.

v Säkerhetsaspekter – vågar jag ”lämna ifrån mig” mina geodata?

v Frågor? & Tack!

1


Vad är molntjänster?

• Från en leverantörsperspektiv – förmågan att dynamiskt skala och ge tillgång till beräkningskraft, lagring och åtkomst till andra program, t.o.m. en komplett infrastruktur, på ett kostnadseffektivt sätt via Internet.

• Ur ett kundperspektiv – förmågan att få tillgång till molnets resurser On-demand utan att behöva hantera den under-liggande infrastrukturen och relaterade investeringar och underhållskostnader.

• Denna nya paradigm kan bidra till att lösa de ökande kraven på tillgång till geoinformation m.a.p. datalagring och åtkomst till geodata, liksom frågan om rättsligt bindande avtal för tjänsternas kvalitet, SLA (t.ex. för krav som ställs av Inspire).

• Följande aspekter omfattas av Cloud Computing paradigmen:

• Effektiv användning av dataresurser (resursdelning), ”Finns när det behövs”, skalbarhet i realtid ”obegränsad” datalagring och processorkraft, Låg startkostnad

Vad är molntjänster?

2


Egna och publika molntjänster

• De som erbjuder/nyttjar molntjänster behöver bara investera i datorkapacitet för normala belastningsförhållanden.

• Vid toppbelastningar kan kapacitet från publika molntjänster utnyttjas.

Hybrid molntjänster

Hybrid molntjänst. Utnyttja egen datakraft och hämta hjälp vid belastningstoppar.

Publika molntjänster

Egna molntjänster

Last-balansering

3


Cloud Computing -- What is it?

• A paradigm of computing in which virtualized resources are provided as a service over the Internet (Gruman & Knorr, 2008)

• Computing resources “as a Service”

• Infrastructure as a Service(IaaS) • Platform as a Service (PaaS) • Software as a Service (SaaS)• Data storage as a Service (dSaaS)

• Utility computing

• Distributed computing


4

Kärt barn har många namn …


Cloud Computing or Lipstick on a Pig?

• So how do you know if you are looking at a true cloud service? The National Institute of Standards and Technology identifies five essential characteristics of cloud computing:

• on-demand self-service,

• broad network access,

• resource pooling,

• rapid elasticity,

• and measured service.

• These provide a good basis for evaluating whether or not a service is a true cloud service.

• http://blogs.orange-business.com/live/2010/12/cloud-computing-or-lipstick-on-a-pig.html


5

http://blogs.orange-business.com/live/2010/12/cloud-computing-or-lipstick-on-a-pig.html�


6

• A broad term used to denote abstraction and virtualization at any of several different system layers

• “Outsourcing” of hardware, system environment, or services

• Things just run “in the cloud”, i.e., somebody else’s data center

InfrastructureLevel

PlatformLevel

ApplicationLevel

• Infrastructure as a Service (IaaS)• Acquire a set of machines you can login to

• Example: Amazon EC2

• Platform as a Service (PaaS)• Acquire a set of hosting environments

• Example: Google App Engine (Python)

• Software as a Service (SaaS)• Build an application from pre-defined services

• Example: Salesforce.com

Cloud Computing -- What is it?… ännu en definition som jag hoppar över, men som vinklar molnbegreppet på ännu ett sätt

…


Performance and Scalability of Distributed Geoprocessing

Sufficient performance and scalability of distributed geoprocessing in SDIs is a key requirement according to the guidelines of for instance the Network Drafting Team of INSPIRE. Both aspects can be addressed using cloud computing, which is one of the latest trends in the mainstream IT world. It provides storage of data and the hosting of applications on distributed third-party facilities in an on-demand way. Therefore, Cloud Computing is a valid approach to ensure performance and scalability for computing-intensive Geoprocessing applications.

http://www.vector1media.com/component/content/article/75-feature/12431-geoprocessing-in-spatial-data-infrastructures

Två exempel – WPS.

7

http://www.vector1media.com/component/content/article/75-feature/12431-geoprocessing-in-spatial-data-infrastructures�














Scalability is addressed by automatically starting and stopping virtualized machines in the Cloud. In the case of WPS, depending on the number of incoming requests new virtualized instances of the WPS can be started in the cloud. A classic load balancer then distributes the incoming requests to the increasing number of WPS instances. The 52°North WPS for instance was deployed as a proof-of-concept in the Google (Google AppEngine) and Amazon (Amazon Web Services) cloud infrastructure. The results show that the cloud-enabled WPS scales better (response times are almost constant) over a non-cloud approach (i.e. WPS hosted on a single machine)

Performance and Scalability of Distributed Geoprocessing


9

Towards Service Level Agreements (SLA) in SDI

One important use-case in the project is the distributed and parallel execution of geoprocessing tasks in the D-Grid infrastructure (SDI Infrastructure Provider) under the terms of a previously concluded SLA. The geoprocessing use-case is based on the OpenLayers client for displaying map data in the browser. SDI services could be incorporated and the delivered data could be analyzed and processed by means of a WPS (SDI Service Provider). A WPS plugin for the OpenLayers client is provided in which the complete SLA negotiation process is covered.


Amazon web service –Elastic Compute Cloud (EC2)

• Customers can rent computers on which to run their own applications

• Scalable deployment of applications by creating virtual machines

• A customer can create, launch, and terminate server instances as needed

• Customers are charged by the hour for active servers

• Per virtual machine ($0.10 to $1.2 per hour)

• Data transfer ($0.10 to $0.17 per Gb)

• Using Amazon's CloudWatch ser-vice to monitor your virtual machine

• Using Amazon's Elastic Load Balancing which distributes load among selected virtual machine


10


Molntjänster och kostnader 2010

• Amazon Web Services

• Virtual (Machine) Computing Environment

• Simple Storage Service (Amazon S3), SimpleDB, Elastic Compute Cloud (Amazon EC2), Elastic MapReduce, etc.

• „0,10$ / hour“ for an running virtual system

• Google App Engine

• Web applications written in Java and Python

• Storage Service, Google Applications (Mail, Account)

• „0,10$ / hour“ for real CPU usage

• Microsoft, Apple, SUN, IBM, Salesforce, etc.


11


Kostnader för bearbetning(ex.) Calculate monthly rainfall frequency in the 21st century

Detta är ett exempel för att ge storleksordningen på aktuella kostnader för att nyttja molntjänster (“Molnjobb”: Nederbördstillfällen/månad i 100 år – 1200 beräkningar).

• CPU:

• Downloading/Processing data: (275 hr + 32 hr) x $ 0.1 = $ 30.7

• Processing/Downloading results: 42 hr x $ 0.1 = $ 4.2

• Transfer:

• 70 GB x $ 0.1 = $ 7

• Storage:

• Climate data storage: 30 GB x $ 0.1 = $ 3

• Database storage: 10 GB x $ 0.1 = $ 1


12


13

“MolnGIS” erbjuds redan idag!

http://opengeo.thegismarketplace.com/category/67-gis-cloud-thegismarketplacecom.aspx

http://opengeo.thegismarketplace.com/category/67-gis-cloud-thegismarketplacecom.aspx�









14

“MolnGIS” erbjuds redan idag!OpenGeo Suite - Community Cloud Edition (ca 1500 SEK/månad)• A deployment of the OpenGeo Suite Community Edition

pre-installed on a Skygone Cloud server. A perfect way to try the capabilities of the Suite at a low cost.

• Community Edition is the unsupported version of OpenGeo Suite's. It is aimed at developers who want to preview these new features, some of which may not be fully tested, and experiment with the newest version of the Suite before they go to production.

• Due to it's ease of deployment on Skygone Cloud, Community Cloud Edition can also be deployed by hobbyists, small organizations with limited scaling needs.

* Full capabilities of the OpenGeo Suite, with latest, not fully-tested features.

* Unsupported version; users must be willing resolve issues on your own and rely on community forums for support.

* On-demand deployment of latest version; any desired version upgrades must be performed by user

Community Cloud Edition is a pre-installed on the following Skygone Cloud infrastructure:

* 1 virtual CPU core and 4 GB RAM Linux (CentOS) virtual server. 100 GB of data storage included. Bandwidth included in pricing (up to 500GB monthly)


Rapport från Radar Group

• IT-marknaden kommer att omsätta över 139 miljarder kronor 2011.

• Störst tillväxt i efterfrågan råder inom molntjänster där tillväxten 2011:

• kommer att vara cirka 30 procent inom infrastruktur och plattformar som tjänst

• kommer att vara cirka 35 procent på mjukvara och på processer som tjänst.

• Det innebär att molntjänster kommer att omsätta cirka 5,1 miljarder kronor 2011.

• CIO Briefing Molntjänster En rapport om en trend som definitivt gått från hype till verklighet i Sverige med över 40 procents penetration i verksamheterna. En fullständig rapport som visar på var de 3.9 miljarder SEK som omsätts i affärsmodellen i Sverige idag genereras samt hur stor tillväxten kommer att vara inom och utom IT budgetarna de kommande 2 åren i molnet. Rapporten kommer med Cloud workshop, Cloud presentation samt en modell för TCO analys för att jämföra traditionell IT kostnad mot molnkostnad. Pris 3.500 SEK.

• http://radargroup.se/se/?s=molntj%C3%A4nster&x=0&y=0


15

http://radargroup.se/se/?s=molntj%C3%A4nster&x=0&y=0�


Spatial Cloud GeoProcessing Infrastrcture


http://cisc.gmu.edu/projects/Spatial%20Cloud%20Geoprocessing.htm

• Grundtanken med molntjänster är att använda program, datalagring och databehandling via Internet. Skalbara datorresurser tillhandahålls som tjänster för användare via Internet.

• Obs! WPS.

• Många behovtillgodoses

• Orginaltext: The basic concept of Cloud Computing is the use of the web or software applications, data storage and computing powers through the Internet. It is a way of computing in which typically scalable resources are provided as a transparent service for users over the Internet.

16

http://cisc.gmu.edu/projects/Spatial Cloud Geoprocessing.htm�


Molntjänster - WPS exempel

• ToxicGasScenario3D – 3D-WPS

• Avancerad algoritmer för spridning av olika sorters gas, baserat på mängden gas som strömmar ut per tidsenhet, temperatur, vindriktning, topografi etc är analysfunktioner som få användare behärskar eller har tillgång till.

• Används en bra DTM och väderdata etc. så är detta en oerhört tung beräkning.

• Det är en typiskt WPS tjänst som kan finnas som en molntjänst dåfå organisationer har denna datakraft själva.


17


Molntjänster - KRIS exempel

• KRIS exempel. Avbrott i viktig fiberförbindelse.

• Baseline connectivity of a fiber network provider in NYC. This particular provider is a good proxy for the structure of the entire island of Manhattan since they have about 80% of the right of ways on the island and a large number of egress points off the island. The higher the peak in the map the more frequently used the path is as a possible routing path.

• Lastly a scenario is run where just 10,000 sq ft. of damage is done to the Holland Tunnel and the impact calculated. The result is a 8.6% loss of network connectivity. The dramatic impact is seen in the image from the loss as well as the stress put on the GW Bridge route out of the city.


18


MolntjänsterWPS – Simplified roads


19

The 52°North WPS udig client enables to configure and integrate remote functionality hosted by WPS.

A screen-shot of Google Earth accessing as a result obtained by WPS è


MolntjänsterWPS – SimpleBufferAlgoritm


20

The 52°North WPS OpenLayers client allows users to customize the web-based data by performing remote functionality hosted by WPS. In the given example the client application shows the form to configure a buffer process (right hand side) and visualizes the result of the buffer on a base map.

The client can be configured to include any arbitrary web map and also any desired process available through WPS based on interoperable standards. Most likely those services are hosted in an SDI.


MolntjänsterWPS – SimpleBufferAlgoritm


21


A Future GeoCity in the Cloud: Washington D.C.

• Washington is creating the infrastructure for a city that makes everyone a map maker in the cloud. Citizens gets easy tools to create their own mapping applications that can be augmented with additional data.

• As for geospatial goals, Washingtons plan is to crowdsource the process of creating geodata that is layered on to map locations.

• The city is now developing a series of templates and best practices to spark the development of mapping applications. For example, this might include support to create apps that provide pointers to city services or polling place locations.

• ”Our poor economy creates constraints that force local, state and federal governments to look at new ways cloud-based services may be provided.”


22


Molntjänster - SäkerhetSäkerhet

Din webbklient begär att webbservern ska identifiera sig.

Servern sänder en kopia av sitt SSL certifikat

Webbklienten kontrollerar SSL certifikatet och om det är OK så skickasett meddelande till servern

Servern skickar tillbaka ett digitalt signerat meddelande att denstartar en krypterad förbindelse

Krypterade data utbyts mellan webbklienten och servern

SSL är ett säkerhetsprotokoll som används av webbläsare och webbservrar för att hjälpa användare att skydda sina data under överföringen. SSL är en standard för upprättande av tillförlitligt utbyte av information över Internet. Utan SSL, skulle inte kommunikation över Internet vara möjlig. För de som lagrar sina data i molnet är en säker nätverksanslutning viktigt.

© 2011 GeoTrust, Inc.

23


FOSS4G 2011 Denver

Vilka åker från Sverige/Norden? Det underlättar mycket om vi börjar hålla kontakt redan nu och vid behov samordnar resor och hotell. Detta för att var och en, som så vill, ska få större utbyte och trevligt sällskap under detta evenemang.

Observera att också OpenStreetMap har sitt årliga träffa direkt efter FOSS4G och att även State of the Map http://stateofthemap.org/ äger rum i Denver.

24

FOSS4G2011 Svenska deltagare??

http://stateofthemap.org/�


FOSS4G Workshops 2011 Denver

Workshops are 3 hour hands-on experiences with participants following along with the instructor, working directly with the application under discussion. All workshop rooms will be equipped a projector, and with computers for participants to use. Instructors will need to discuss pre-installation requirements with the Conference Organizing Committee if required.

Hello Mr. Söderman Torsdagen den den 17 februari 2011 kl. 05:19The FOSS4G Workshop committee is happy to inform you that your abstract titled

Practical use of GeoServer & SLD for WMShas been accepted as a 3 hour workshop for this year's program. As an accepted workshop, the main presenter will receive one free registration to the main event, and the co-presenter will receive 50% off one registration to the main event; organizers will be in contact with you shortly regarding this discount. In the mean time, stay tuned to the workshop mailing list for any important deadlines and discussions.

Thank you and we are happy that you will be a part of our wonderful event in Denver!

2011 Workshop Committee

FOSS4G2011 Workshop

25


2626

Tack!


Vilka GIS/GIT behov kan dra nytta av kommande molntjänster?

• Koordinattransformationer

• Konverterting av dataformat, typ FME

• Enkla analyser WPS, ex. buffertzoner, …

• Avancerade analyser WPS, ex. översvämningskartering längs rinnande vattendrag, …

• Geocoding – Adresser till koordinater.

• Precisionskorrigering/Omsampling av stora rasterbilder (satellitdata) till lokala koordinatsystem.

• …


2

Documents

Presentation vid Open Source för GIS 2011onsdagen den 2 ......till geodata, liksom frågan om rättsligt bindande avtal för ... Elastic Compute Cloud (Amazon EC2), Elastic MapReduce,