1 Copyright © 2012, Oracle and/or its affiliates. All …...Title Make the Future Java FY13 PPT Template Author Oracle Brand & Creative Created Date 9/12/2013 4:50:23 PM

Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 13 1


Batch Application for the Java Platform – JSR352

NTTコムウェア株式会社技術SE部 OSS・AP技術担当上妻宜人


自己紹介

上妻宜人 (あげつまのりと)

NTTコムウェア株式会社勤務

社内のJava/APサーバの技術サポートを担当しています


バッチってなんだろう？


月次締め処理

銀行勘定システム

在庫管理

深夜に起動(非対話型) 計算量が多い

ジョブ順序制御並列実行


月次締め処理


在庫管理



多くの業種にバッチ処理 (会計金融流通 …)


月次締め処理


在庫管理



業種は違えど、処理の背景は同じ


月次締め処理


在庫管理



バッチに求められる機能も業種をまたがって同じ


異なる業種が

類似の処理の背景を持って、

同じような機能を作る


D R Y !!! 同じことを何度も繰り返すべからず


標準化しよう

IBM (Spec Lead)

Oracle (Expert Group Member)

RedHat (同)

VMWare(同)

Credit Suisse (同)

ユーザ企業によるJava貢献 http://mi9.com/get-together_232.html


JSR352

Batch Application for

The Java Platform


Portable

Extensions

JSP 2.2

Servlet 3.1

Concurrency

Utilities for EE

Batch

Applications

(JSR 352)

Java API for JSON

(JSR-353)

Java API for

WebSocket

(JSR-355)

JSP2.2 JSP2.2 CDI 1.1

Managed Beans 1.0 EJB 3.2

Connector

1.0 JPA 2.1 JTA 1.1 JMS 2.0

JSF 2.2 JAX-RS

2.0 EL 3.0

が Java EE 7 で新たに盛り込まれる仕様

ｊＢａｔｃｈはＪａｖａＥＥ７へ


正式な仕様名は (Batch Application for the java Platform)

とても長いので、


ここからは jBatch で.

Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 13 16 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 16

Program Agenda

jBatch の概要

アーキテクチャ

– ユーザは何を実装するのか

– Chunk方式処理の流れ

Spring Batch との違い

Java SE / EE の違い


ｊＢａｔｃｈの概要


ｊＢａｔｃｈって何が仕様化されているの？

どんなことができるの？


JobOperator Job Step

JobRepository

ItemReader

ItemProcessor

ItemWriter

1. バッチ用語と関連性の定義 (DSL)

2. ジョブXMLの定義

<job id="samplejob">

<step id="step1"/>

</job>

3. APIの定義

public interface ItemReader {

Object readItem(Object item);

}

ｊＢａｔｃｈ仕様３つの構成




<step id="step1"/>

</job>

3. APIの定義



}

どのような構成で作るのか (アーキテクチャ定義)

ｊＢａｔｃｈ仕様３つの構成


JobRepository

ItemReader

ItemProcessor

ItemWriter





<step id="step1"/>

</job>

3. APIの定義



}

jＢａｔｃｈ仕様３つの構成


JobRepository

ItemReader

ItemProcessor

ItemWriter


アーキテクチャをどうやって実装するか(XML/API 定義)


jＢａｔｃｈの機能1 – 順序制御

ジョブXMLで処理の順序を定義することができる。

start

STEP1 Flow1

STEP2-1 STEP2-2

Flow(グループ化)

Decision(分岐)

STEP3-1

Split

Flow

Flow

Flow

end

Split(並行実行)


jＢａｔｃｈの機能2 – チェックポイント

デフォルトでは10レコードごとにコミットされる。

commit

▼

commit

▼

10行処理 10行処理

×

障害発生

ロールバックは最終コミットまで

途中からリスタートも可能


jＢａｔｃｈの機能3 – エラーハンドリング

ｊＢａｔｃｈ

No. Message

001 I like GlassFish4.

002 I like Java EE 7.

999999999 Bad Record.

004 I like modern framework.

壊れたデータをスキップして処理を継続することができる。

success



ｊＢａｔｃｈ

No. Message






success



ｊＢａｔｃｈ

No. Message








ｊＢａｔｃｈ

No. Message






error



ｊＢａｔｃｈ

No. Message






SKIP



ｊＢａｔｃｈ

No. Message






success

success

skip

success


ジョブスケジューラとｊＢａｔｃｈ

ジョブ実行順序管理 JP1: ジョブネット

jBatch : ジョブ定義XML

スケジューリング (時刻・周期起動)

実行権限の管理

ジョブ実装サポート (API/例外制御)

ジョブスケジューラ (cron/JP1/Tivoliなど) ｊＢａｔｃｈ






ジョブスケジューラ (cron/JP1/Tivoliなど)

















ｊＢａｔｃｈはスケジューリング機能を持っていない。









被る部分は使い分け整理する必要がある。


ｊＢａｔｃｈはバッチ処理の標準APIを提供します。


jＢａｔｃｈの位置づけ

Cron

他の Java EE 仕様と同様に、APIを提供するのが役割

JA

X-R

S 2

.0

ユーザアプリケーション

ｊＢａｔｃｈ

Java EE サーバ

CDI JTA

EJB/JPA …

データベース

ファイル (CSV/XML 等)

APIの利用


jＢａｔｃｈを起動する

Cron

JA

X-R

S 2

.0


ｊＢａｔｃｈ

Java EE サーバ

CDI JTA

EJB/JPA …

データベース


時刻起動

http post http://localhost:8080/batch/job/1


jＢａｔｃｈを起動する

Cron

JA

X-R

S 2

.0


ｊＢａｔｃｈ

Java EE サーバ

CDI JTA

EJB/JPA …

データベース


時刻起動

http post http://localhost:8080/batch/job/1 @Path("/jobs/{jobId}")

public class BatchResource {

@POST

public void start(@PathParam("jobId") String jobId) {

// バッチジョブの起動

JobOperator jobOperator = BatchRuntime.getJobOperator();

jobOperator.start(jobId, null);

}

}


Java EE のコードから簡単にバッチ起動が可能です。 (JAX-RS EJB Servlet など)





メインフレームのバッチの移行を視野に入れた構造

JCLやCOBOL開発者にも馴染みやすい

JobOperator

Step1 Step2 Step3

Item

Reader

Item

Processor

Item

Writer batchlet

Job

Job Repositoty


ジョブ : トップレベル要素

ジョブは１つ以上のステップから構成

ステップ全体に関わる設定はジョブに設定

リスタート可能かどうか？ジョブ設定プロパティ等

JobOperator

Step1 Step2 Step3

Item

Reader

Item

Processor

Item

Writer batchlet

Job

Job Repositoty






JobOperator

Step1 Step2 Step3

Item

Reader

Item

Processor

Item

Writer batchlet

Job

Job Repositoty


<step id="step1" next="step2" />

<step id="step2" />

<properties>

<property name="filePath" value="input.txt">

</properties>

</job>






JobOperator

Step1 Step2 Step3

Item

Reader

Item

Processor

Item

Writer batchlet

Job

Job Repositoty



<step id="step2" />

<properties>


</properties>

</job>

ジョブID. 必須属性. 一意の識別子を設定。

JobOperator.start(“samplejob”, null);






JobOperator

Step1 Step2 Step3

Item

Reader

Item

Processor

Item

Writer batchlet

Job

Job Repositoty



<step id="step2" />

<properties>


</properties>

</job>

ステップの流れを定義する。

最低１つ以上のステップが必要。






JobOperator

Step1 Step2 Step3

Item

Reader

Item

Processor

Item

Writer batchlet

Job

Job Repositoty



<step id="step2" />

<properties>


</properties>

</job>

ジョブ全体で使うプロパティ。

オプション要素。


ジョブインスタンスの考え方

スケジュールごとにJobInstanceが生成される

実行ごとにJobExecutionが生成される

JobInstanceは再実行に備えて永続化 (シリアライズ)

Job

JobInstance JobInstance

JobInstance JobExecution

＊

＊

『ファイル取り込み』ジョブ

2013/08/22 に実行する『ファイル取り込み』ジョブ

2013/08/22 に実行する『ファイル取り込み』ジョブの1回目


ジョブインスタンスが永続化される訳

8/22 のジョブインタンスは、8/23 に再実行しても、 8/22 のデータにアクセスする。

対象データが異なる場合は、前日リスタート分と当日分のジョブを並行処理させることも可能。

JobInstance

8月22日分のジョブ

JobExecution JobExecution

＊

Date Sales amount

8/22 ¥30, 000

8/22 ¥30, 000

8/23 ¥30, 000

8/22 1回目の実行(失敗)

8/23 8/22分リスタート

再開時も8/22分のデータを処理


各ステップの処理内容はユーザがコーディングする

ステップの実装方法

– chunk方式 : reader processor writer の実装

– batchlet方式 : batchletインタフェースのみ実装

JobOperator Step1 Step2 Step3

Item

Reader

Item

Processor

Item

Writer batchlet

Job

Job Repositoty

ステップ : ジョブに含まれるタスク


chunk方式の登場人物

Step ItemReader ItemProcessor ItemWriter


ItemReader 実装方法


@Named

public class MyReader implements ItemReader {

@Override

public void open(Serializable checkPoint)

throws Exception {..}

@Override

public Object readItem() throws Exception {..}

@Override

public void close() throws Exception {..}

...

}


ItemProcessor 実装方法

Step ItemReader ItemWriter

@Named

public class MyProcessor implements ItemProcessor {

@Override

public Object processItem(Object item)


}

ItemProcessor


ItemWriter 実装方法

Step ItemReader

@Named

public class MyWriter implements ItemWriter {

@Override

public void open(Serializable checkPoint)


@Override

public Object writeItems(List<Object> items)


@Override

public void close() throws Exception {..}

...

}

ItemWriter ItemProcessor


まずはオープンする


Open

Open


アイテムを１件読む


Open

Open

readItem


アイテムを１件処理する


Open

Open

readItem

processItem(item)


次の１件を読みに行く


readItem


同じく１件処理する


readItem

processItem(item)


また読み込みを処理を行う。


readItem

processItem(item)

readItem

processItem(item)


デフォルトでは10回、読み込みと処理を繰り返す


readItem

processItem(item)

readItem

processItem(item)

1アイテム目の

読み込みと処理

2アイテム目の



10アイテム目の処理が終わると


readItem

processItem(item)

10アイテム目の



まとめて書き込み処理を行う


readItem

processItem(item)

10アイテム目の


writeItems(results)


chunk方式のゆえん


readItem

processItem(item)

10個ずつ纏めて塊を処理しているので、 Chunk(塊)方式と呼ばれる。

writeItems(results)


書いたらcheckpointを実行


readItem

processItem(item)

writeItems(results)

checkpointInfo

checkpointData

checkpointinfo

Chunkの書き出しが終わると、コミット前にcheckpointinfoが実行される。


checkpointInfoの実装


readItem

processItem(item)

writeItems(results)

checkpointInfo

checkpointData

checkpointinfo

@Named


@Override

public void open(Serializable checkPoint) throws Exception {..}

@Override

public Serializable checkpointInfo() throws Exception {

// 読み込んだ行数をチェックポイントにする return readedCount; // => 1

}

}


チェックポイントは

リスタート時に使われる。


スタートとリスタートは違う

// バッチジョブの起動 JobOperator jobOperator = BatchRuntime.getJobOperator();

long jobExecId = jobOperator.start(“myjob”, null);

// ジョブのリスタート long jobExecId = jobOperator.restart(jobExecId, null);

初回起動時はjob.xmlの <job id =“myjob”> のid文字列を指定する。






リスタートするときは restart で起動する。初回起動時に取得したジョブ実行ID(long)を引数に指定する。






restart で起動すると、 open(Serializable cp) に checkpointInfo()で返された値が渡される。通常の start では、nullが常に渡される。

@Named


@Override

public void open(Serializable checkPoint) throws Exception {..}

@Override

public Serializable checkpointInfo() throws Exception {

return readedCount; // => 1

}


commitの実行


readItem

processItem(item)

writeItems(results)

checkpointInfo

checkpointData

checkpointinfo

checkpoint処理が終わったら、バッチランタイムで commit する。 (GlassFish であればJTAトランザクション)

▲

commit


chunk処理終了の流れ


readItem

読み込み対象のデータがなくなった！




readItem

ItemReaderから null を返す。 null




readItem

処理済みのデータを書き出す。

null

writeItems(results)


チェックポイントを実行する。


readItem

null

writeItems(results)

checkpointInfo

checkpointData

checkpointinfo


トランザクションをコミットする


readItem

null

writeItems(results)

checkpointInfo

checkpointData

checkpointinfo

▲

commit


コミット後は close 処理を行う


▲

commit

close

close

ItemReaderとItemWriterのclose処理をして chunk方式のステップは完了。


chunk方式 : job.xml の書き方

<?xml version="1.0" encoding="UTF-8"?>

<job xmlns="http://xmlns.jcp.org/xml/ns/javaee" version="1.0" id="job1">

<step>

<chunk item-count="100">

<reader ref="myReader"/>

<processor ref="myProcessor"/>

<writer ref="myWriter"/>

</chunk>

</step>

</job>


chunk方式 : chunkタグとオプション



<step>





</chunk>

</step>

</job>

Stepの子要素としてchunkを定義。コミット間隔チューニングは、item-count属性。デフォルトは10。


chunk方式 : reader/processor/writer



<step>





</chunk>

</step>

</job> ItemReader ItemProcessor ItemWriterのクラス名の先頭を小文字にして定義する。


ＦＡＱ

全てのメソッドの

実装を強制されると困ります..

(open close処理が必要ない場合)


空実装されたAbstractReaderを継承

デフォルト実装は空実装 (何もしない)

openやcloseが呼ばれても何もしない

public class MyReader extends AbstractItemReader {

@Override

public Object readItem() throws Exception {

// read処理の実装 }

}


ＦＡＱ

Abstractクラスを使うと、

他クラスを継承できないので困る

(POJOが一番嬉しい..)


Public Reviewフェーズまでは、

アノテーション活用提案があった。


アノテーションでItemReaderが定義できた

@Named

public class MyItemReader {

@ReadItem

Object read() throws Exception {

// レコード読み取り処理 }

} 今後盛り込まれることを期待。


ＦＡＱ

チャンク処理を実装することで、

何かメリットはあるのか？


共通的な機能を自身で作成しなくてもよくなる

APサーバからコールバックすることで、以下の処理を差し込める

コミット間隔のコントロール

例外が発生したときのハンドリング

– 例外をスキップするのか

– 例外が発生した時点でバッチ処理を中断するのか


処理したレコード数がモニタリング可能になる

GlassFish4の管理コンソールでは、ｊBatch状態の確認が可能。


もう１つのStep実装方式 : batchlet

Step

Stepとbatchletが１対1。非常にシンプルな実装。

batchlet

process()

ExitStatus

public class MyBatchlet implements Batchlet {

@Override

public String process() throws Exception { // 処理をここに実装

}

@Override

public void stop() throws Exception { // JobOperator.stop()で強制停止した時の処理をここに実装

}

}

<step id="step1">

<batchlet ref="myBatchlet" />

</step>


chunkとbatchletの使い分け

Chunk方式

– バルクオペレーション全般

– ファイル、DBレコードを１件ずつ処理

batchlet方式

– コマンド処理全般

– 他サーバへのファイル転送 (ftpなど)

– 圧縮解凍コマンドの実行


JobOperator


Item

Reader

Item

Processor

Item

Writer batchlet

Job

Job Repositoty

バッチ処理のコントロール役

JobOperator経由でジョブ起動/再起動/停止


JobRepository : 永続化機構

ジョブインスタンスやチェックポイント情報を保存

仕様上ではあまり詳細については言及されず

GlassFish4 同梱のRIでは組み込みDerbyに永続化


Item

Reader

Item

Processor

Item

Writer batchlet

Job

Job Repositoty


アーキテクチャの振り返り

Jobには１つ以上のStepが含まれる

JobやStepはXMLで表現する

Stepの実装方法は２つある

– chunk : 読む/処理/書くを繰り返す処理向き

– batchlet : コマンド向き

chunk/batchletはjavaで実装する

JobOperatorからジョブを起動する

JobRepositoryにジョブ情報は永続化される


ＳｐｒｉｎｇＢａｔｃｈとｊＢａｔｃｈ


Spring Batch とｊＢａｔｃｈ

ｊＢａｔｃｈ Spring Batch

基本的な作り XMLベース

(ジョブXML)

ユーティリティクラスの充実

XMLベース (ジョブXML)

現状はなし (シンプルに標準化)

ファイル操作サポート JPA連携サポート

複数サーバ分散処理

なしあり

JSR準拠標準仕様

(ベンダフリー) 現状は未準拠


Spring Batch がｊＢａｔｃｈ仕様準拠の方向へ

次バージョンの Spring Batch 3.0 で対応予定

– issue としては既に登録済み。

– https://jira.springsource.org/issues/?jql=labels%20%3D%20JSR-352

JSR-330(DI標準仕様)でも Spring とJava EE では連携があった

Spring と Java EE が類似する傾向は今後も続くと考える


ｊＢａｔｃｈ動作環境


対応しているJDK

JDK6 以上 (既にEndOfServiceLifeなので、ぜひJDK7を)


Java SE 環境と EE環境の違い

Java SE Java EE

トランザクションローカル

トランザクション

スレッドプール

JTA トランザクション

ランタイム実装に依存

Concurrency Utilities for Java EE (コンテナ管理スレッド)

必要な設定ファイル

/META-INF/ batch-jobs/job.xml

・/META-INF/ batch-jobs/job.xml ・/META-INF/batch.xml


もっとｊＢａｔｃｈを知る


java.net から情報収集

Java EE 7 チュートリアルを読む

– http://docs.oracle.com/javaee/7/tutorial/doc/home.htm

仕様書を読む

– http://jcp.org/aboutJava/communityprocess/final/jsr352/index.html

GlassFish4 を動かしてみる

– GlassFish4にはRI(参照実装)が同梱済み

– Java SE で動かす場合は java.net からダウンロード

– https://java.net/projects/jbatch/downloads/download/jsr352-SE-RI-1.0.zip


Java EE 7書籍も出始めています(洋書)

Java EE Essentials Arun Gupta(著)

Beginning Java EE 7 (日本語訳もあるEE6金魚本の改訂版)


お時間があれば、デモの簡単なご紹介。

https://github.com/n-agetsu/JBatchDemo


GlassFish4 を今すぐダウンロード！

ご清聴ありがとうございました。

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。


Documents

1 Copyright © 2012, Oracle and/or its affiliates. All …...Title Make the Future Java FY13 PPT Template Author Oracle Brand & Creative Created Date 9/12/2013 4:50:23 PM