第15回Solr勉強会 - Solr at Yahoo! JAPAN #SolrJP

Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved.

Solr at Yahoo! JAPAN

ヤフー株式会社大須賀稔 2014/12/08 第15回Solr勉強会 #SolrJP

Copyright (C) 2014 Yahoo Japan Corpora5on. All Rights Reserved. P.2

自己紹介

大須賀　稔（おおすかみのる）

Apacheソフトウェア財団 ManifoldCFコミッタ兼PMCメンバー

Solrコントリビュータ共著： [改訂新版] Apache Solr入門

ヤフー株式会社プロジェクトマネージャ・Solr黒帯

https://www.flickr.com/photos/o_0/14086728048/sizes/l Some rights reserved by *_*


会社紹介

月間総PV：

7,300万 ※2

120以上 ※1

624億 ※2

Daily UB：

サービス数：

https://www.flickr.com/photos/joao_trindade/4562486583/sizes/l Some rights reserved by trindade.joao ※2 ヤフー株式会社 2014年度第2四半期決算説明会資料 http://ir.yahoo.co.jp/jp/archives/present/

2,800万 ※2

月間アクティブユーザーID：

※1 Yahoo! JAPAN サービス一覧 http://services.yahoo.co.jp/


以前の検索サービスの仕組み

サービスA

以前の検索サービスの仕組み

Y!J独自検索ライブラリ

インタフェースA

サービスB


インタフェースB

サービスC


インタフェースC

サービスD


インタフェースD

効率的な開発・運用ができないか検討

インデックスインデックスインデックスインデックス

ライブラリのバージョンが違う

検索機能の二重開発

ライブラリのバグに気付かない


ABYSS

ABYSSとは？

https://www.flickr.com/photos/bg3photo/5082428505/sizes/l Some rights reserved by BG³Photo

BOSS Search APIインスパイア


現在の検索サービスの仕組み

ABYSS

現在の検索サービスの仕組み


サービスA サービスB サービスC サービスD


現在のアーキテクチャ

現在のアーキテクチャ※3

※3 新検索プラットフォーム「ABYSS」 http://techblog.yahoo.co.jp/architecture/abyss/


ABYSS再構築

なぜ再構築するのか？

https://www.flickr.com/photos/billjacobus1/122497422/sizes/l Some rights reserved by billjacobus1

レガシーなアーキテクチャ

検索エンジンのコモディティ化

運用・メンテナンスコスト

ソフトウェアライフサイクル


Solr

なぜSolrなのか？

https://www.flickr.com/photos/gsfc/5808204795/sizes/l Some rights reserved by NASA Goddard Photo and Video

多くの稼働実績

可用性・耐障害性

Apacheソフトウェア財団管理下

プラグインでの拡張が容易


提供する機能

提供する機能

https://www.flickr.com/photos/basheertome/6785217165/sizes/l Some rights reserved by basheertome

高可用性・耐障害性

Webベースの管理コンソール

カスタマイズ可能な検索

ログ可視化機能


新アーキテクチャ

OpenStack

Flume

SolrCloud (Document Indexes)

SolrCloud (Log Indexes)

Control API Feed/Search API

ZooKeeper

Banana

Admin UI

新アーキテクチャ

WebMA

SPDY Protocol Support

WebMA

SPDY Protocol Support

Front End Application

User� ABYSS Administrator / ABYSS User�

Morphline�

Event Log


WebMA

WebMAとは？

https://www.flickr.com/photos/crdot/5510506796/sizes/l Some rights reserved by crdotx

京都大学はどこですか？

京都大学はどこですか？

Yahoo! JAPAN独自の日本語形態素解析器一般ユーザーにもWeb APIで公開中 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html

何処

何所

京都

京都大

大学

学

京大

文章

区切り

類義語

トークン


SPDYプロトコルサポート

SPDYプロトコルサポート

search

Shard1

Shard2

update

414 ms

342 ms

Solr�

https://www.flickr.com/photos/xavier33300/15236610911/sizes/l Some rights reserved by Grand Parc - Bordeaux, France

HTTP HTTP

SPDY

Solr(Jetty9)+SPDY3�

テスト環境 : SolrCloud(2シャード+レプリカ=4ノード) Virtual Server 2GHz 4CPU / 6GBメモリ / 120GB HDD

データセット : Wikipedia (English) クエリセット : Wikipedia (English) 見出し語

8万キーワード(3万ユニークキーワード) ツール : solrmeter (20QPS)

Average Query Time (Latency)

17%の速度改善がみられた


今後の計画

今後の計画

https://www.flickr.com/photos/29198100@N00/2368267322/sizes/l Some rights reserved by gamillos

オートスケールの実装

独自検索エンジンの機能移植 Query Parser Top-k Query Processing (WAND) Machine-Learned Ranking (MLR) etc.

OSSコミュニティとの協力




WASHINGTON, DC NOVEMBER 11-14

カンファレンスへ積極的に参加

コミッターやユーザーとのネットワーク構築

コントリビューション




https://www.flickr.com/photos/sis/66422743/sizes/l Some rights reserved by Sister72


参考資料

参考資料 Yahoo! JAPAN サービス一覧 http://services.yahoo.co.jp/ ヤフー株式会社 2014年度第2四半期決算説明会資料 http://ir.yahoo.co.jp/jp/archives/present/ BOSS Search API – Yahoo Developer Network https://developer.yahoo.com/boss/search/ 新検索プラットフォーム「ABYSS」 http://techblog.yahoo.co.jp/architecture/abyss/ これがABYSSのすべてだ!! http://techblog.yahoo.co.jp/architecture/abyss_1/ テキスト解析：日本語形態素解析 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html The Chromium Projects - SPDY http://www.chromium.org/spdy To enable SPDY in a SolrCloud setup https://issues.apache.org/jira/browse/SOLR-6699 Visualizing Logs Using Apache Solr http://www.slideshare.net/mosuka/visualizing-logs-using-apache-solr

https://www.flickr.com/photos/spam/5086168739/sizes/l Some rights reserved by Smath.


ご清聴ありがとうございました

Technology

第15回Solr勉強会 - Solr at Yahoo! JAPAN #SolrJP