오픈소스 공간통계분석 패키지 개발

오픈소스 공간통계분석 패키지 개발- GeoTools, GeoServer, uDig -

망고시스템 이민파

[email protected]

국토공간정보연구사업

[공간정보 SW활용을 위한 오픈소스 가공기술 개발 - 공간자료 분석기술 개발]

2015.02.26

제2회 오픈소스GIS솔루션데이

https://www.kaia.re.kr/app/main/main.jsp

https://www.kaia.re.kr/app/main/main.jsp

INTRODUCTION

2

개요

3

공간통계분석 프로그램 기능 및 활용 수요조사

공간통계 분석기법 설계 및 개발

활용체계

Server GIS(Map Data Server) Desktop GIS

uDig Desktop

기초 공간통계분석기법 설계

및 개발

신규 공간통계 분석방법론 연구 및 개발

(일/다변량 포함 5종 이상)

사례발굴 등적용연구 수행및 상용화

GitHub & Transifex & SourceForge

① GeoTools Processing Libraries

② OGC WPS Extension ③ uDig Processing Plugin

Committer

pinogio

목표

4

공간통계분석 라이브러리, 서버기반 WPS Extension, 데스크톱 기반 Processing 플러그인 개발 및 제공

Eclipse RCPSpring Framework

① GeoToolsSpatial Statistics Libraries

② GeoServerWPS Extension

③ uDig DesktopProcessing Plugin

uDig Desktop

Java + JTS + JAI + Apache

Spatial Statistics Programs

기반 오픈소스 GIS 프로젝트

5

JTS, GeoTools, OGC Standards + GeoServer + uDig

LibrariesServer GIS

Desktop GIS

GeoTools

OpenMap

GeoServer JTS Topology Suite

(Geometry Engine)

JUMP and …

uDig

deegree

gvSIG GeoAPIOGC

Standards

GEOS: C

NTS: .NET

JSTS: JavaScript

World Wind

shapely: Python

JTS Topology Suite(JTS)

6

A Library for Geometry Processing

JTS Topology Suite

공식 사이트 : https://sourceforge.net/projects/jts-topo-suite/ License : GNU Library or Lesser General Public License version 2.0 (LGPLv2) 특징 및 기능:

Full implementation of OpenGIS Consortium Simple Features for SQL specification JUMP, GeoTools (uDig, GeoServer), eXist, (as GEOS) PostGIS, FME, OGR, MapServer, MapGuide Open

Source, (as NTS) monoGIS, SharpMap

GeoTools

GeoServer

JTS Topology Suite

(Geometry Engine)

JUMPuDig

GEOS: C

NTS: .NET

JSTS: JS

shapely: python

https://sourceforge.net/projects/jts-topo-suite/

GeoTools

7

Open Geospatial Consortium (OGC) 표준을 기반으로 지리공간 데이터를조작하기 위한 표준 방법을 제공하는 오픈 소스 (LGPL) Java 코드 라이브러리

공식 사이트 : http://geotools.org/ License : GNU Lesser General Public License (LGPL) 특징 및 기능:

Open Geospatial Consortium (OGC) 표준을 기반으로 지리공간 데이터를 조작하기 위한 표준 방법을 제공하는오픈 소스 (LGPL) Java 코드 라이브러리

망고시스템에서 2013년 정보통신산업진흥원의 공개 SW 개발지원사업 수행으로 국내 공간 DBMS(Altibase, Tibero, Kairos) 및 국토지리정보원 NGI 포맷 드라이버 지원

http://geotools.org/

GeoTools

8

Open Geospatial Consortium (OGC) 표준을 기반으로 지리공간 데이터를조작하기 위한 표준 방법을 제공하는 오픈 소스 (LGPL) Java 코드 라이브러리

주요 기능 GeoServer의 기반 엔진 플러그인 구조로 된 다양한 파일 포맷 및 공간 데이터베이스 지원 다양한 지도 투영 지원 공간과 비공간 속성을 이용한 필터 및 조회 지원 복잡한 스타일을 가진 지도의 생성 및 디스플레이 그래프 및 네트워크의 생성 및 분석

Open Geospatial Consortium (OGC) 표준을 기반으로 하며 확장하기쉬운 구조 Simple Feature 지원을 포함하는 OGC General Feature Model including OGC Grid Coverage representation of raster information OGC Style Layer Descriptor / Symbology Encoding 데이터 구조 및 렌더링 엔진 OGC Filter 및 Common Constraint Language (CQL) GeoAPI Web Feature Service, Web Map Service 및 Web Process Service 클라이언트 ISO 19107 Geometry

GeoServer

9

지리공간 데이터를 OGC 표준을 통해 공유하고 편집할 수 있는 Java로 개발된오픈 소스 GIS 소프트웨어 서버

공식 사이트 : http://geoserver.org/ License : GNU GENERAL PUBLIC LICENSE(GPL) Version 2.0 특징 및 기능:

국내 및 전 세계에서 가장 많이 활용되고 있는 오픈 소스 GIS 서버 프로그램 한글화(2013/01) 및 한글 매뉴얼 완료(2014/01) 국내 공간 DBMS(Altibase, Tibero, Kairos) 및 국토지리정보원 NGI 포맷 드라이버 지원

http://geoserver.org/

uDig GIS

10

User-friendly Desktop Internet GIS

공식 사이트 : http://udig.refractions.net/ License : Eclipse Public License(EPL) & Refractions BSD License 특징 및 기능:

LocationTech Incubation Project Eclipse RCP 기반의 데스크톱 GIS 프로그램, 망고시스템 KOPSS 관리도구 활용 1.5/2.0 출시 후 100% 한글화 지원 예정

http://udig.refractions.net/

버전 테이블

11

GeoTools(11.2) – GeoServer(2.5.2) – uDig(2.0.0-Alpha 2) 기준GeoTools

JTS Java MavenGeoServer uDig

GT Version Release JAITools ImageIO-Ext Version Release GWC Spring Wicket Xstream Version Release

2.62.6.5 2010-08-08 1.10 5/6 1.2.0 2010-08-16

2.6.6 2011-03-19 1.0.8 1.10 5/6 2.0.3 2011-03-22 2.5.5 1.3.7 1.3.1

2.72.7.4 2011-12-21 1.1.1 1.0.8 1.11 5/6 2.1.3 2011-12-23 1.3-RC2 2.5.5 1.4.12 1.3.1

2.7.5 2012-06-01 1.1.1 1.1.3 1.11 5/6 2.2.1 2.1.4 2012-06-01 1.3-RC3 2.5.5 1.4.12 1.3.1

8

8.0 2012-08-03 1.2.0 1.1.4 1.12 6/7 2.2-RC2 2012-08-07 1.3-RC4 1.3.1 2012-01-07

8.1 2012-09-04 1.2.0 1.1.4 1.12 6/7 2.2-RC3 2012-09-01 1.3.2 2012-09-06

8.2 2012-09-20 1.2.0 1.1.4 1.12 6/7 2.2.0 2012-09-21 1.3.0 3.1.1 1.4.12 1.3.1

8.3 2012-10-24 1.3.0 1.1.5 1.12 6/7 2.2.1 2012-10-21 1.3.0 3.1.1 1.4.12 1.3.1

8.4 2012-11-23 1.3.0 1.1.5 1.12 6/7 2.2.2 2012-11-21 1.3-RC5 3.1.1 1.4.12 1.3.1

8.5 2012-12-22 1.3.0 1.1.5 1.12 6/7 2.2.3 2012-12-21 1.3-RC5 3.1.1 1.4.12 1.3.1

8.6 2013-01-21 1.3.0 1.1.6 1.12 6/7 2.2.4 2013-01-21 1.3-RC5 3.1.1 1.4.12 1.3.1

8.7 2013-02-21 1.3.0 1.1.6 1.12 6/7 2.2.5 2013-02-21 1.3-RC5 3.1.1 1.4.12 1.3.1

9

9.0 2013-03-18 1.3.0 1.1.6 1.13 7 3.0 2.3.0 2013-03-18 1.4.0 3.1.1 1.4.12 1.4.3 1.4.0 2013-03-24

9.1 4/20/2013 1.3.0 1.1.7 1.13 7 3.0 2.3.1 2013-04-18 1.4.0 3.1.1 1.4.12 1.4.3

9.2 5/15/2013 1.3.0 1.1.7 1.13 7 3.0 2.3.2 2013-05-18 1.4.0 3.1.1 1.4.12 1.4.3

9.3 6/22/2013 1.3.0 1.1.7 1.13 7 3.0 2.3.3 2013-06-18 1.4.0 3.1.1 1.4.12 1.4.3

9.4 7/28/2013 1.3.0 1.1.7 1.13 7 3.0 2.3.4 2013-07-18 1.4.0 3.1.1 1.4.12 1.4.3

9.5 8/18/2013 1.3.0 1.1.7 1.13 7 2.3.5 2013-08-18 1.4.0 3.1.1 1.4.12 1.4.3

10

10 9/20/2013 1.3.0 1.1.7 1.13 7 3.0 2.4.0 9/18/2013 1.5.0 3.1.4 1.4.12 1.4.3

10.1 10/17/2013 1.3.0 1.1.7 1.13 7 3.0 2.4.1 10/22/2013 1.5.0 3.1.4 1.4.12 1.4.3

10.2 11/17/2013 1.3.0 1.1.7 1.13 7 3.0 2.4.2 11/19/2013 1.5.0 3.1.4 1.4.12 1.4.3

10.3 12/18/2013 1.3.0 1.1.7 1.13 7 3.0 2.4.3 12/18/2013 1.5.0 3.1.4 1.4.12 1.4.3

10.4 1/20/2014 1.3.0 1.1.7 1.13 7 3.0 2.4.4 1/20/2014 1.5.0 3.1.4 1.4.12 1.4.3

10.5 2/27/2014 1.3.0 1.1.7 1.13 7 3.0 2.4.5 3/10/2014 1.5.0 3.1.4 1.4.12 1.4.3

10.6 4/14/2014 1.3.0 1.1.7 1.13 7 3.0 2.4.6 4/15/2014 1.5.0 3.1.4 1.4.12 1.4.3

10.7 6/19/2014 1.3.0 1.1.7 1.13 7 3.0 2.4.7 6/19/2014 1.5.0 3.1.4 1.4.12 1.4.3

10.8 8/18/2014 1.3.0 1.1.7 1.13 7 3.0 2.4.8 8/18/2014 1.5.0 3.1.4 1.4.12 1.4.3

11

11 3/18/2014 1.3.0 1.1.7 1.13 7 3.0 2.5.0 3/19/2014 1.6.0 3.1.4 1.4.12 1.4.3

11.1 5/19/2014 1.3.0 1.1.7 1.13 7 3.0 2.5.1 5/19/2014 1.6.0 3.1.4 1.4.12 1.4.3

11.2 7/19/2014 1.3.0 1.1.7 1.13 7 3.0 2.5.2 7/23/2014 1.6.0 3.1.4 1.4.12 1.4.3 2.0.0 ?

12 12 9/24/2014 1.3.0 1.1.7 1.13 7 3.0 3.1.4 1.4.12 1.4.3

공간통계 분석기능 수요분석

12

오픈 소스 기반 공간통계 분석 S/W의 개발 전략과 단계별 개발 계획 수립을 위한 수요자의 요구를 파악하기 위함실제로 업무에 널리 활용되기 위해서는 어떤 형태의 도구로 개발되어야 하는지를 파악하는데 초점을 둠

개발 내용

13

Spatial Aggregation & Distributions

Category FunctionsR&D

ArcGIS GeoDa SAGACrime

StatGeoTools uDig GeoServer

SpatialAggregation

&Distributions

Descriptive

Spatial Aggregation o o o o

Basic Statistics o o o o o

Pearson Correlation Coefficient o o o o

Distributions

Mean Center o o o o o

Median Center o o o o o 2015

Central Feature o o o o

Standard Distance o o o o o

Standard Deviational Ellipse o o o o

Linear Directional Mean o o o o

Density Kernel Density Estimation o o o o o o2015

개발 내용(계속)

14

Spatial Pattern & Clustering Analysis




SpatialPatternAnalysis

GlobalPoint Pattern

Analysis

(k) Nearest Neighbor Statistic o o o o o

Quadrat Method

G-function

F-function

Cuzick-Edwards Test (Case-Control)

(Network) K-function o o

LocalPoint Pattern

Analysis

Nearest Neighbor Hierarchical Clustering o

Zonal Nearest Neighbor Hierarchical Clustering o

Spatial and Temporal Analysis of Crime o

K-Means Clustering (Kmeans) o o o o

GlobalSpatialAuto-

correlation

Univariate

Join Count Statistic o o o

Moran’s I Statistic o o o o o o o

Oden’s I Statistic

Geary’s C Statistic o o o o

Getis-Ord’s G Statistic o o o o o

Tango’s C Statistic o o o

Rogerson’s R Statistic o o o

Bivariate Bivariate Moran’s I Statistic o o o o

LocalSpatialAuto-

correlation

Univariate

Local Moran’s I Statistic o o o o o o

Local G Statistic o o o o o

Local Tango’s C Statistic o o o

Local Rogerson’s R Statistic o o o

Bivariate Local Bivariate Moran’s I Statistic o o o o

LocalSpatial Clustering

Openshaw’s GAM

AMOEBA o o o

Kulldorff’s Spatial Scan Statistic

New(2015~)

Algorithms


15

Spatial Regression, Interpolation, Graph, Visualization




(Spatial)Regression

Standardized Standardized regression o o

GlobalSpatial Lag Model (SLM) o o

Spatial Error Model (SEM) o o

LocalGeographically Weighted Regression (GWR) o o

Expansion Method

Spatial Interpolation

DeterministicIDW (Inverse Distance Weighted) o o o o o

Spline o o

Geostatistical (Co) Kriging o o

Visualization Analysis Tools

Graph

Moran Scatter Plot o o

Histogram o o o

Box Plot(Box and Whisker) o o o

Scatter Plot o o o

Bubble Chart o o o

3D Scatter Plot o

Conditional Map o

Conditional Scatter Plot o

Conditional Histogram o

Parallel Coordinate o

Covariance Cloud o

Semivariogram o o

Correlagram o

VisualizationStandard Graphic Tools o o

Thematic Map o o o o

Graph


16

Utilities – Spatial Weight Matrix, Units, Join, Conversion




Utilities

Spatial WeightMatrix

Creating(Network) Spatial Weight Matrix o o

Create Spatial Weight Matrix o o o o o 2015

Cross-Validation o

Pattern Creation

Spatial Units

Area

Create Fishnet Grids o o o o

Create Hesagonal Grids o o o o

Create Thiessen Polygons o o o o o

PointRandom Points o o o o

Random Points per Features o o o

Calculation

Calculate Count o o o o

Calculate Areas o o o o o

Calculate Field o o o o o

Aggregation

Aggregate(Union) Polygons o o o o

Collect Events o o o o

Spatial Join o o o o

Point Statistics o o o o o

Buffer Statistics o o o o

Sum Line Lengths o o o

ConversionText File to Point Features o o o o o

Export Layer to Other Format o o o o o o

User friendly

License

17

Free software and licensed under the LGPL(Library), GPL(Server), EPL/BSD(Desktop)

Product Original Project R&D

GeoTools

GNU LGPL v2.1

- gt-main (BSD License)

- gt-xsd-core (Apache License)

- gt-brewer (Apache License)

- gt-referencing3d (일부 NASA)

Spatial Statistics Libraries

GNU LGPL v2.1

GeoServer GNU GPL v2.0GeoServer WPS Extensions

GNU GPL v2.0

uDig EPL v2.0/BSD v1.0uDig Processing Toolbox Plugin

EPL v2.0/BSD v1.0

GitHub: Web-based Git repository service

18

https://github.com/MapPlus/spatial_statistics_for_geotools_udig

http://en.wikipedia.org/wiki/Git_(software)

SourceForge: Deployment

19

https://sourceforge.net/projects/mango-spatialstatistics

Transifex: Localization Platform

20

https://www.transifex.com/projects/p/ss-rd/

영문기본

uDig Plugin Update Site

21

- http://www.mangosystem.com:8080/s2toolbox_updates

향후 계획

년차 주요 분석 기법 비고

2014▪ 공간통계분석기법 기반구축(Conversion, …)▪ 기본 공간통계분석기법 개발(Moran’I, G Statistics, Graph, …)

WPS-20Toolbox-40

2015

▪ 포인트 분포 분석기법 개발▪ 일변량 공간 연관성 측도 개발▪ Lee's S, Si, 공간적 카이-스퀘어 통계량, 일변량 조인▪ 카운트 통계량 개발▪ 분석기능의 전자정부프레임워크 연동

2016▪ 이변량 조인-카운트 통계량 중심 개발▪ Pearson's r, 국지적 Pearson's r, Lee's L, Li, 이변량 Geary 등▪ 공간적 주성분분석 개발

2017▪ 주성분점수의 시각화 기법 개발▪ 래스터 데이터를 위한 공간 연관성 분석기법 개발

2018▪ 래스터 데이터를 위한 공간 연관성 분석기법 개발▪ 패키징▪ 테스트베드/제품화를 통한 시범 사이트 적용 완성

22

기존 SW 기능 + 신규 공간통계분석기능 + 시범적용

GeoTools Spatial Statistics library

23

How to use GeoTools Spatial Statistics library

GeoTools Quick Start http://docs.geotools.org/latest/userguide/tutorial/quickstart/eclipse.html

Add this file to Java Build Path gt-process-spatialstatistics-11.2.jar

Sample Code

ProgressListener monitor = ...SimpleFeatureCollection inputFeatures = ...

Map<String, Object> map = new HashMap<String, Object>();map.put(AreaProcessFactory.inputFeatures.key, inputFeatures);

Process process = new org.geotools.process.spatialstatistics.AreaProcessFactory.create();Double area = Double.valueOf(0.0);try {

Map<String, Object> resultMap = process.execute(map, monitor);area = (Double) resultMap.get(AreaProcessFactory.RESULT.key);

} catch (ProcessException e) {LOGGER.log(Level.FINER, e.getMessage(), e);

}system.out.println(area);

GeoServer WPS Extension – Process Chaining 시연

24

1차년도 25개의 Web Processing Service(WPS) Process 제공원격의 WPS 서버에 연결하여 여러 분석 프로세스들을 조합하여 다양한 공간분석/공간통계분석을 실시간으로 수행


25



26



27



28



29



30



31



32



33



34


uDig Processing Plug-in – 툴박스 시연

35

1차년도 40개의 변환/생성/공간조인/공간통계분석/시각화/그래프 도구 제공사용자 중심의 위젯 및 툴박스 제공


36



37



38



39



40



41


망고시스템 활용 - PINOGIO

42

자사의 오픈소스 기반 데이터 시각화 및 분석 솔루션과 통합하여 웹 기반의공간(통계)분석 프로젝트 적용

Point Data

43

Point, Point-Point, Point-Polygon 예

Point

PointStatistics

Symbolization

Boundary

Text GeoCoding

Buffer GridsPolar Grids

Point

Interpolation

Density

HeatMap

Distribution

Spider Maps

ThiessenPolygon

Clustering

Distance

Clustering

Spatial Statistics Analysis

AutocorrelationClustering Distribution

Single Layer – Spatial Statistics

44

LinePoint Polygon

Central Feature

Standard Deviational

Ellipse

Standard Distance

Mean Center

Median CenterLinear

Directional Mean

G-Statistics

Moran’s I

Spatial LQ

K-Means

Patterns - Global

G-Statistics Moran’s I

Spatio-Temporal Clustering

Nearest Neighbor

K-function

Knox Statistics

Spatial Scan Statistics

Featu

re

Typ

e

45

Q & A

UDIG PROCESSING TOOLBOX

46

uDig Processing Toolbox

47

uDig 환경에서 온라인으로 공간통계분석 플러그인을 설치하고 활용


48

How to install Processing Toolbox: http://www.mangosystem.com:8080/gxt/udig_en/

도움말 찾기 및 설치…

Help Find and Install…1. Copy this file to %udig_home%\plugins folder- org.locationtech.udig.processingtoolbox-2.0.0-SNAPSHOT.jar

2. Update 사이트이름: Spatial Statistics ToolboxURL : http://www.mangosystem.com:8080/s2toolbox_updates

http://www.mangosystem.com:8080/s2toolbox_updates


49

How to activate Processing Toolbox

창 뷰 보기 기타(O)…

Window Show View Other(O)…

http://www.mangosystem.com:8080/gxt/udig_en/


50

How to change user interface locale

창 환경설정 일반 런타임 환경설정

Window Preferences General Runtime preferences

http://www.onspatial.com/2012/12/udig-locale-character-set-support-for.html


51

How to support shapefile’s character set

창 환경설정 일반 uDig 사용자 인터페이스

Window Preference General uDig User Interface

http://www.onspatial.com/2012/12/udig-locale-character-set-support-for.html


52

Input parameters and User Interface

Parameter Type Widget Related Widget & Popup Constraints

BoundingBoxData BoundingBox Text + Button Extent from map, layers

ComplexData

SimpleFeatureCollection Combo All, Point, Line, Polygon

GridCoverage2D Combo

Geometry Text + ButtonMap’s Centroid, ExtentGeometry Picker Dialog

WKT

Filter Text+ Button Query Builder Dialog

LiteralData

CoordinateReferenceSystem Text+ ButtonCRS Chooser DialogCRS from map, layers

EPSG:3857

Enum Combo Enum Types

NumberFloat, Double Text+ Button Layer’s Area…

Short, Integer, Long Spinner

Boolean Combo Yes/No

String

Field Combo Related to vector layers

Other Text+ ButtonExpression Builder DialogMultiple Fields Selector DialogSummary Fields Builder Dialog


53

Output parameters

Parameter Type Target Display Type Constraints

BoundingBoxOutput BoundingBox Map Polygon Layer Temporary

ComplexOutput

SimpleFeatureCollection Map Vector Layer

GridCoverage2D Map Raster Layer

Geometry Map Vector Layer Temporary

Custom XML Text

LiteralOutput

String Text

Number Text Number Format(6)


54

Toolbox – Processing Environment


55

Toolbox - Parameter Tab

I18N support and various widgets & actions in parameter tab


56

Toolbox - Help Tab

I18N


57

Toolbox – Custom Widget & Dialog – CRS Chooser Dialog

BoundingData– BoundingBox


58

Toolbox – Custom Widget & Dialog - Expression Builder Dialog

LiteralData – String Type

Filter Expression & Functions


59

Toolbox – Custom Widget & Dialog – Multiple Fields Selection Dialog


Comma separated fields


60

Toolbox – Custom Widget & Dialog – Statistics Fields Selection Dialog


String – first, last

Numeric – sum, mean…


61

Toolbox – Custom Widget & Dialog – Query Builder Dialog

ComplexData – Filter


62

Toolbox – Custom Widget & Dialog – Popup menu related to numeric values

LiteralData – Double, Float

Polygon layer’s area(sum)


63

Toolbox – Custom Widget & Dialog – CRS Chooser Dialog(uDig internal)

LiteralData– CoordinateReferenceSystem


64

Toolbox – Custom Widget & Dialog – Geometry Picker Dialog

ComplexData – Geometry

Software

오픈소스 공간통계분석 패키지 개발