MySQL 5.7で刷新されたGIS機能のご紹介：FOSS4G Tokaiでの発表資料

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. |

MySQL 5.7で刷新されたGIS機能のご紹介

Yoshiaki Yamasaki / 山﨑由章 MySQL Senior Sales Consultant, Asia Pacific and Japan

updated: 2017/12/02

Copyright © 2017, Oracle and/or its affiliates. All rights reserved.

Safe Harbor Statement

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメントするものではない為、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

2


はじめに

3


今日伝えたいこと

• MySQLにもGIS機能があります！

• ご意見下さい！ –本日は終日会場にいます

–懇親会も参加します

•試してみて気づいた点があれば、是非フィードバック下さい！ –フィードバックできるページ • MySQL Bugs

https://bugs.mysql.com/

–バグ報告だけでなく、機能追加リクエストも受け付けています

4




参考情報

• MySQLのインストール方法の参考資料 –MySQL 5.7入門セミナー講演資料 (インストール、アーキテクチャ基礎編)

https://www.mysql.com/jp/why-mysql/presentations/mysql-57-for-beginners-install-ja/

•サンプルデータベース –ダウンロード先

https://dev.mysql.com/doc/index-other.html

– “sakila database”にgeometory型のデータが含まれています • ”address”テーブルの”location”列

5






















MySQLのGIS機能の歴史

6


要点

• MySQL 5.7では、GIS関連機能が刷新され、InnoDBで以下の機能が利用できるようになった – GEOMETRYデータ型

–空間インデックス(Rツリーインデックス)

– ST_Contains()、ST_Distance()などのSpatial関数

– GeoHash関数

– GeoJSON関数

• MySQL 5.7で、ジオメトリ同士の関係を比較する関数について、プレフィックスが付かない関数は今後廃止予定となった – Contains()、Distance()、など

7

Copyright © 2017, Oracle and/or its affiliates. All rights reserved. 8

MySQLの歴史

4.0 全文検索 (MyISAM) 複数テーブルUPDATE/DELETE 組み込みライブラリ型サーバ

Oracle MySQL Sun

3.23 MyISAM InnoDB レプリケーション

5.1 プラグガブル・ストレージエンジン・アーキテクチャパーティショニングタスクスケジューラ

5.6 全文検索(InnoDB) memcached API UNDO表領域 Global Transaction ID マルチスレッドスレーブオンラインALTER TABLE トランスポータブル表領域

5.5 InnoDBがデフォルトに準同期型レプリケーション PERFORMANCE_SCHEMA

1.0-3.22以前ストレージエンジン (ISAM, HEAP) マルチスレッド Windows対応/64bit対応日本語文字コード (SJIS/UJIS)

5.0 ストアドプロシージャストアドファンクションカーソル/トリガ/ビュー XAトランザクション INFORMATION_SCHEMA

4.1 GIS(MyISAM) Unicode対応サブクエリ CSV, ARCHIVE ndbcluster

1995 2000 2005 2010 2015

5.7 2015年10月21日 GA 全文検索CJK対応/GIS (InnoDB) 新コストモデルオプティマイザロスレスレプリケーションマルチソースレプリケーショングループレプリケーションセキュリティ強化データディクショナリ NoSQLオプション

・ 1995年：スウェーデンにてMySQL AB設立・(2005年：オラクルがInnobase Oyを買収) ・ 2008年：Sun MicrosystemsがMySQL ABを買収・ 2010年：オラクルがSun Microsystemsを買収

8.0 2017年9月21日 RC トランザクショナルDD MySQLドキュメントストア Unicode 9.0サポート国ごとの照合順序を追加 CTE、Window関数 GIS機能の拡張 (InnoDB)


GIS機能の歴史

• MySQL 4.1

–MyISAMでのみGIS機能が使えるようになった • geometryデータ型

• Spatialインデックス

• Spatial関数

• MySQL 5.0

– InnoDBでもgeometryデータ型、Spatial関数を扱えるようになった • Spatialインデックスは使用できず

※地理情報システムに関するオープンな規格であるOpenGISに基づいた実装がされていたが、MySQL開発チームによる独自実装であった

9


GIS機能の歴史

• MySQL 5.7

– Boost.GeometryというC++のオープンソースライブラリを採用して独自実装をやめ、 InnoDBでGIS関連機能を再実装した • geometryデータ型

• Spatialインデックス

• Spatial関数（使える関数の種類も増加）

• GeoHashサポート

• GeoJSONサポート

※Boost.Geometryコミュニティとも活発に交流し、MySQLチームから Boost.Geometryへのコントリビュートも行っている

10


GIS機能の歴史

• MySQL 5.7

–挙動が不明確で分かり難いSpatial関数は非推奨となった • 例：Contains()は、以下のどちらの関数と同じ動きをするか分かり難いので廃止予定となった

– MBRContains

– ST_Contains()

– SRIDについては現時点で利用できる機能は限られている • SRID（Spatial Reference ID：空間参照ID）：特定の測地系、座標系に関連付けられた一意なID

• ST_GeomFromWKB(ST_AsBinary(geometry),srid)

11


GIS機能の歴史

•現在開発中のMySQL 8.0では、引き続きGIS機能の拡張を実施中 –OpenGIS標準準拠

–演算、データ変換に役立つ各種のSpatial関数 • st_x(geom, x)

• st_y(geom, y)

• st_srid(geom, srid)

–MySQL 5.7で非推奨になった関数の廃止

–Geography サポート

• st_distance() 関数

–Spatial Data、Spatial Index、Spatial関数のSRIDサポート

12


GIS機能の紹介

13


geometryデータ型

• OpenGISジオメトリモデルに基づいた以下のデータが使用可能 – GEOMETRY、GEOMETRYCOLLECTION

–点：POINT、MULTIPOINT

–線：LINESTRING、MULTILINESTRING

–多角形：POLYGON、MULTIPOLYGON

※GEOMETRYには、POINT、LINESTRING、POLYGONを格納可能

※GEOMETRYCOLLECTIONには、MULTIPOINT、MULTILINESTRING、MULTIPOLYGONを格納可能

14


補足：MySQL 5.7で扱えるのはベクターデータ

• ベクター形式 –点、線、面（ポリゴン）で表現される

–一般的にデータベースで扱われるデータ形式

– .Shp, .OSM, .KML, .GeoJSON, など

• ラスター形式 –セルの塗りつぶしで表現される

–人工衛星、イメージファイルなどで使用されるデータ形式

– .tiff, .jpg, .gif, など

15


Spatialインデックス

• MBR（Minimum Bounding Rectangle：最小外接矩形）に基づく Rツリーインデックス

16

(0,0) (0,1) (0,2)

(1,0) (1,1) (1,2)

(2,0) (2,1) (2,2)

GEOMETRY型の図形

MBR (隣接する最小の長方形)


Spatialインデックス

• Rツリーインデックスでは、MBR同士の抱合関係を保持

• MBRContains()、MBRWithin()、 ST_Contains()、ST_Within()などの関数で利用される – ST_関数の場合は、最初のスクリーニングステップでRツリーインデックスが使用され、その後正確な形に基づいた判定がされる

•現時点では2次元データのみをサポート

17


補足：MBRとST_の違い（例：Contains関数）

• MBRContains(g1,g2)

– g1の最小外接矩形にg2の最小外接矩形が含まれているかどうかを示す

• ST_Contains(g1,g2)

– g1にg2が含まれているかどうかを示す

18


Spatial関数

• ジオメトリデータを扱える各種の関数

•例 – ST_Distance() • 2つのジオメトリを入力し、2地点間の距離を出力（単位：角度）

– ST_Distance_Sphere() • 2つのジオメトリを入力し、2地点間の距離を地球を球体であると仮定して計算して出力（単位：メートル）

– ST_Contains() • 前ページ参照

19


GeoHash

•経緯度の情報を文字列化したもの –例：愛知大学名古屋キャンパス講義棟（経度：136.884242、緯度：35.161329）の

GeoHash ⇒ xn324bujd4<<後略>>

•特徴 –文字列なので、データベースで扱いやすい（インデックスも活用可能）

– GeoHashの情報は点ではなく範囲（矩形のエリア）を表す

–文字列の桁数で精度を変えることができる • 10桁を超えると矩形の一辺が1m以下になるので、経緯度の変わりとしても十分利用可能

• 近接エリアの判定等に利用可能

20


GeoHash

• MySQL 5.7では、GeoHashを扱うための関数が使用できる – ST_GeoHash()：経度、緯度(POINT型のデータでも可)を入力し、GeoHashを出力

– ST_LatFromGeoHash()：GeoHashを入力し、経度を出力

– ST_LongFromGeoHash()：GeoHashを入力し、緯度を出力

– ST_PointFromGeoHash()：GeoHashを入力し、POINT型のデータを出力

21

※詳細を解説しているマニュアル MySQL 5.7 Reference Manual:13.15.10 Spatial Geohash Functions https://dev.mysql.com/doc/refman/5.7/en/spatial-geohash-functions.html#function_st-geohash


GeoJSON

•空間データを扱うためのフォーマットの一つ

• JSONによる表現で空間データを扱える –例：愛知大学名古屋キャンパス講義棟（経度：136.884242、緯度：35.161329）の

GeoJSONによる表現 ⇒ {"type": "Point", "coordinates": [136.884242, 35.161329]}

22


GeoJSON

• MySQL 5.7では、GeoJSONを扱うための関数が使用できる – ST_AsGeoJSON()：ジオメトリ型のデータを入力し、GeoJSONデータを出力

– ST_GeomFromGeoJSON()：GeoJSONデータを入力し、ジオメトリ型のデータを出力

23

※詳細を解説しているマニュアル MySQL 5.7 Reference Manual:13.15.11 Spatial GeoJSON Functions https://dev.mysql.com/doc/refman/5.7/en/spatial-geojson-functions.html


MySQL Workbenchの活用

24


MySQL Workbench

•管理ツール

• SQLエディタ

• Performance Dashboard

• Visual Explain

• GIS Viewer

• ER図作成、フォワード/ リバースエンジニアリング、など豊富な機能

25

データベースアーキテクト、開発者、DBA のための統合ビジュアルツール

商用版のみの機能： DBドキュメント出力、データモデルの検証、 MySQL Enterprise Backup GUI、MySQL Enterprise Audit GUI


MySQL Workbench – 起動後の画面

• クライアントPCにインストールし、 MySQLデータベースへの接続定義を作成して接続

26


MySQL Workbench – 管理

• サーバーステータス

• クライアントコネクション一覧

• ユーザー管理

• データDump/Import

• サーバー起動/停止

• パフォーマンスレポート

• パフォーマンススキーマの設定変更、など

27


MySQL Workbench – 開発支援：SQL Editor

• SQLエディタ – キーワードハイライト

– SQL整形

– スニペット、など

• Visual Explain

• オブジェクト確認

• データ確認/編集

• オブジェクト作成、など

28


MySQL Workbench – モデリング

• ER図作成

• フォワードエンジニアリング

• リバースエンジニアリング

• ドキュメント出力（商用版のみ）

• データモデルの検証（商用版のみ）

• データモデルとDBの同期、など

29


MySQL Workbench – データベース・マイグレーション・ウィザード

•移行元 –Microsoft SQL Server, PostgreSQL,

Sybase ASE, Sybase SQL Anywhere, SQLite, Microsoft Access, MySQL, and more

• オブジェクトとデータの移行

• MySQLバージョンアップグレード（テスト環境用）

30


"Spatial Viewer" and "Geometry Viewer"

• ジオメトリ型のデータを図示可能

31


Appendix：Some Real World Examples

32


A Starting Point

• My old apartment in Brooklyn, NY

– 33 Withers Street Brooklyn, NY 11211

– POINT(<LONG>,<LAT>) • -73.951353,40.716914

33

https://www.google.com/maps/place/33+Withers+St,+Brooklyn,+NY+11211/@40.7169144,-73.9513538





The Application Use Case

• I’m hungry and in the mood for Thai food

–What Thai restaurants are around me?

–What’s the closest one?

– Can I see the menu, contact info, yelp ratings, etc.?

– How would I get there?

34


Getting Some Data In

• Download a NYC OSM extract:

– http://osm-extracted-metros.s3.amazonaws.com/new-york.osm.bz2

• Import the data using a customized OsmDB.pm Perl module

– http://wiki.openstreetmap.org/wiki/OsmDB.pm (original)

– https://www.dropbox.com/s/l17vj3wf9y13tee/osmdb-scripts.tar.gz (customized) • Creates a Geometry column named ‘geom’

• Creates a spatial index on the ‘geom’ column

35

mysql -e "create database nyosm" bunzip2 new-york.osm.bz2 ./bulkDB.pl new-york.osm nyosm

http://osm-extracted-metros.s3.amazonaws.com/new-york.osm.bz2







http://wiki.openstreetmap.org/wiki/OsmDB.pm

https://www.dropbox.com/s/l17vj3wf9y13tee/osmdb-scripts.tar.gz




The Generated Schema

• http://wiki.openstreetmap.org/wiki/Elements

36

mysql> show tables; +-----------------+ | Tables_in_nyosm | +-----------------+ | nodes | | nodetags | | relationmembers | | relations | | relationtags | | waynodes | | ways | | waytags | +-----------------+

– We’ll focus on nodes and nodetags for our examples

– Nodes

• A point or location

– Nodetags

• Metadata about each location

• X name/value pairs

http://wiki.openstreetmap.org/wiki/Elements


De-normalizing the Tag Data

• Greatly simplify our query

• Allow for the use of a full-text index

– Also improves performance

• Mimic better schema created by osm2pgsql

– http://wiki.openstreetmap.org/wiki/Osm2pgsql/schema#planet_osm_nodes

37

mysql> alter table nodes add column tags text, add fulltext index(tags); mysql> update nodes set tags=(SELECT group_concat(concat(k, "=", v) SEPARATOR ';') from nodetags where nodetags.id=nodes.id group by nodes.id);

* Source: ESRI

http://wiki.openstreetmap.org/wiki/Osm2pgsql/schema


Final Nodes Table

38

mysql> show create table nodes¥G *************************** 1. row *************************** Table: nodes Create Table: CREATE TABLE `nodes` ( ìd` bigint(20) DEFAULT NULL, `geom` geometry NOT NULL, ùser` varchar(50) DEFAULT NULL, `version` int(11) DEFAULT NULL, `timestamp` varchar(20) DEFAULT NULL, ùid` int(11) DEFAULT NULL, `changeset` int(11) DEFAULT NULL, `tags` text, UNIQUE KEY ì_nodeids` (ìd`), SPATIAL KEY ì_geomidx` (`geom`), FULLTEXT KEY `tags` (`tags`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1


Creating a Distance Calculation Function

• Various great circle (orthodrome) distance formulas

– Haversine, Spherical Law of Cosines (my choice), …

– http://en.wikipedia.org/wiki/Great-circle_distance

– Necessary for calculating distances between two Geometries • Need goes away when we support Geography and/or Projections (ST_Transform)

39

mysql> CREATE FUNCTION slc (lat1 double, lon1 double, lat2 double, lon2 double) RETURNS double RETURN 6371 * acos(cos(radians(lat1)) * cos(radians(lat2)) * cos(radians(lon2) - radians(lon1)) + sin(radians(lat1)) * sin(radians(lat2)));

http://en.wikipedia.org/wiki/Great-circle_distance




Creating a Bounding Box For Our Search

• Utilize the r-tree index by limiting area

– Easy with future spatial reference systems support • WGS84 or SRID 4326 being the most common

– Need to use some additional geographic formulas • http://www.movable-type.co.uk/scripts/latlong.html

• Need should go away with full SRID support

40

${origlon} = -73.951368 ${origlat} = 40.716743 ${lon1} = ${origlon} + (${distance_in_km}/abs(cos(radians({$origlat}))*111)) ${lat1} = ${origlat} + (${distance_in_km}/111) ${lon2} = ${origlon} - (${distance_in_km}/abs(cos(radians({$origlat}))*111)) ${lat2} = ${origlat} - (${distance_in_km}/111)

http://www.movable-type.co.uk/scripts/latlong.html




Calculating the Results

• Our final query, searching within ~ 10km radius

41

mysql> SELECT id, slc(40.716743, -73.951368, y(geom), x(geom))*1000 as distance_in_meters, tags, ST_AsText(geom) FROM nodes WHERE ST_Contains(ST_Envelope(linestring(point((-73.951368+(10/111)), (40.716743+(10/111))), point((-73.951368-(10/111)), (40.716743-(10/111))))), geom) AND match(tags) against ("+thai +restaurant" IN BOOLEAN MODE) ORDER BY distance_in_meters¥G


Examining the Results

42

*************************** 1. row *************************** id: 888976948 distance_in_meters: 614.4973960877276 tags: addr:street=Bedford Avenue;amenity=restaurant;name=Tai Thai;addr:housenumber=206;phone=7185995556 astext(geom): POINT(-73.958637 40.717174) *************************** 2. row *************************** id: 2178443635 distance_in_meters: 2780.87697408101 tags: microbrewery=no;website=http://www.onemorethai.net/;name=One More Thai;amenity=restaurant;opening_hours=12:00-22:30;cuisine=thai;phone=(212) 228-8858 astext(geom): POINT(-73.983871 40.7210541) *************************** 3. row ***************************

…


Mapping the Results

43

• From my old place

– -73.951353,40.716914

• To Tai Thai

– -73.958637,40.717174

• Maps APIs

– Google, Bing, Apple, …

https://www.google.com/maps/dir/40.716914,+-73.951353/40.717174,+-73.958637







Appendix：参考情報

44


参考情報

• マニュアル – http://dev.mysql.com/doc/refman/5.7/en/spatial-extensions.html

• コミュニティフォーラム – http://forums.mysql.com/list.php?23

• Boost.Geometry – http://www.boost.org/libs/geometry

•バグ報告＆機能追加リクエスト – http://bugs.mysql.com/

45

http://dev.mysql.com/doc/refman/5.7/en/spatial-extensions.html



http://forums.mysql.com/list.php?23

http://www.boost.org/libs/geometry

http://bugs.mysql.com/


参考情報

• MySQL 5.7 and GIS, an Example http://mysqlserverteam.com/mysql-5-7-and-gis-an-example/

• Importing Raster Based Spatial Data into MySQL 5.7 http://mysqlserverteam.com/importing-raster-based-spatial-data-into-mysql-5-7/

• MySQL GIS: Boost.Geometry – http://mysqlserverteam.com/making-use-of-boost-geometry-in-mysql-gis/

– http://mysqlserverteam.com/why-boost-geometry-in-mysql/

– http://mysqlserverteam.com/building-mysql-with-boost/

• MySQL GIS: InnoDB R-Tree – http://mysqlserverteam.com/innodb-spatial-indexes-in-5-7-4-lab-release/

46

http://mysqlserverteam.com/mysql-5-7-and-gis-an-example/













http://mysqlserverteam.com/importing-raster-based-spatial-data-into-mysql-5-7/

















http://mysqlserverteam.com/making-use-of-boost-geometry-in-mysql-gis/















http://mysqlserverteam.com/why-boost-geometry-in-mysql/









http://mysqlserverteam.com/building-mysql-with-boost/







http://mysqlserverteam.com/innodb-spatial-indexes-in-5-7-4-lab-release/


















参考情報

• Spatial Data in MySQL 8.0 https://www.percona.com/live/e17/sites/default/files/slides/Spatial%20Data%20in%20MySQL%208.0%20-%20FileId%20-%20115506.pdf

• MySLQ 8.0 GIS Demos https://github.com/nryeng/mysql-8.0-gis-demos

47

https://www.percona.com/live/e17/sites/default/files/slides/Spatial Data in MySQL 8.0 - FileId - 115506.pdf







https://github.com/nryeng/mysql-8.0-gis-demos








Copyright © 2017, Oracle and/or its affiliates. All rights reserved. 48

Technology

MySQL 5.7で刷新されたGIS機能のご紹介：FOSS4G Tokaiでの発表資料