34
テテテテテテテテテテテテテテテテテテテテテテテ テテテテ テテテテテテテテテテテテテテテテテテテテテテテテ http//www.quasars22.co.jp テテ 14 テテテ 1 テテテテ テテテ テテテテテテテ テテテテテ 「」 テテ2002 テ 7 テ 19 テ 1 00‐2 00

ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

  • Upload
    prem

  • View
    30

  • Download
    0

Embed Size (px)

DESCRIPTION

ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//www.quasars22.co.jp. 平成 14 年度第 1 回統数研/総研大「経済学」研究会 プログラム 日時: 2002 年 7 月 19 日 1 : 00‐2 : 00. ティックデータ. ティックデータとは一般的には呼び値のことである。 単一の価格 買値と売値 買値または売値 買値、売値、取引価格 中値. ティックデータ. ティックデータの用途 トレーディング トレーディングシミュレーション 学術研究 リスクマネージメント. - PowerPoint PPT Presentation

Citation preview

Page 1: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータのフィルターリングとクリーニング

森谷博之オックスフォードファイナンシャルエデュケーション

http//www.quasars22.co.jp

平成 14 年度第 1 回統数研/総研大「経済学」研究会 プログラム

日時: 2002 年 7 月 19 日 1 : 00‐2 : 00  

Page 2: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータティックデータとは一般的には呼び値のことである。

単一の価格買値と売値

買値または売値買値、売値、取引価格

中値

Page 3: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータティックデータの用途

トレーディングトレーディングシミュレーション

学術研究リスクマネージメント

Page 4: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータ入手先

Olsen   Data   AG  :高頻度データ提供会社

http://www.olsendata.com

CQG  : チャート・グラフィクス提供会社

http://www.cqg.com

  GTIS   http://www.realtimedata.ch/financial.htm

Berkeley Options Database

http://www.haas.berkeley.edu/finance/opdata.htm

Page 5: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータデータエラー

人為的なエラー故意のエラー

故意ではないエラー

システムエラー

Page 6: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータDecimal  Errors

Test  Quotes

Repeated  Quotes

Quote  Copying

Scaling  Problem

Page 7: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータフィルター・クリーニングの必要

エラーの存在さまざまな分布形状

データの出所の違いと信頼性時間間隔の複雑性

建値情報の意味の違い

Page 8: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータフィルター・クリーニングの役割

悪いデータを除く悪いデータを訂正する

データのクオリティーを判断する

Page 9: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータ

学術研究 : データのクオリティー

トレーディング

シミュレーション  : データの取引可能性・トレーディング

リスクマネージメント : データの定常性

Page 10: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータ手法1

目視によるチェックシステムと目視によるチェックシステムだけによるチェック

Page 11: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータ手法2

単一の市場のデータ単一のデータ複数のデータ

複数の市場データ単一のデータ複数のデータ

Page 12: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータ

HFDF-1993 Data Set Description

CCYY-MM-DD   (GMT)    bid     ask   country/city bank filter1990-03-25      23:59:14 1.7188 1.7198   344 01 0000 11990-03-25      23:59:30 1.7185 1.7195   036 02 0058 1 1990-03-25      23:59:38 1.7190 1.7200   392 01 0053 1 1990-03-25      23:59:44 1.7190 1.7195   344 01 0056 1 1990-03-25      23:59:56 1.7185 1.7192   036 02 0065 1

http://www.olsendata.com/

Page 13: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

ティックデータ

CQG

Contract Date Session Time Price (T) (M) (C) JY1995U 19950731 0 1730 11424 A N N JY1995U 19950731 0 1730 11413 B N N ... JY1995U 19950731 1 0002 11376 B N N JY1995U 19950731 1 0002 11394 A N N ... JY1995U 19950731 2 0720 11465 T N N JY1995U 19950731 2 0720 11464 T N N

http://www.cqg.com

Page 14: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

為替のティックデータの例ドル円 頻度分布(価格の差)

1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000Bid

- 2 12 29 60 91 29 8 3 10 2 6 10 11-1.8 0 7 4 13 16 9 0 0 0 5 1 1-1.6 1 1 0 5 4 0 0 0 1 0 0 0-1.4 2 1 2 6 6 2 0 0 2 0 2 1-1.2 5 2 1 4 6 3 1 0 3 6 1 1-1 55 100 237 388 439 66 28 3 16 40 39 71

-0.8 34 81 208 282 313 101 9 2 25 38 45 48-0.6 20 51 61 105 118 117 26 4 44 46 34 29-0.4 40 107 167 615 513 219 92 28 179 265 201 153-0.2 248 1312 1582 2831 2497 1385 1625 624 3902 7164 3130 1567

0 59761 140261 242961 508033 414498 433760 733229 633187 604345 705054 905011 12163430.2 42611 83818 159939 453937 367842 393753 674261 564108 527173 655815 811799 10137500.4 138 868 1030 2010 1709 994 1015 447 2765 5330 2446 12920.6 29 74 132 503 466 190 73 23 145 189 172 1330.8 16 38 63 96 102 107 20 3 34 55 29 251 57 136 346 467 511 116 12 3 22 46 57 71

1.2 30 41 90 195 242 40 22 3 19 29 30 471.4 4 3 2 5 2 3 2 0 0 4 2 11.6 1 1 1 5 6 1 0 0 2 1 0 11.8 1 2 0 7 4 0 0 0 0 1 0 00 9 36 73 102 50 17 2 9 2 13 11 11

Page 15: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

為替のティックデータの例ドル円 頻度分布%(価格の差)

Bid 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000-2 0.01% 0.01% 0.02% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

-1.8 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%-1.6 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%-1.4 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%-1.2 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%-1 0.05% 0.04% 0.06% 0.04% 0.06% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

-0.8 0.03% 0.04% 0.05% 0.03% 0.04% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%-0.6 0.02% 0.02% 0.01% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%-0.4 0.04% 0.05% 0.04% 0.06% 0.06% 0.03% 0.01% 0.00% 0.02% 0.02% 0.01% 0.01%-0.2 0.24% 0.58% 0.39% 0.29% 0.32% 0.17% 0.12% 0.05% 0.34% 0.52% 0.18% 0.07%

0 57.98% 61.80% 59.70% 52.39% 52.51% 52.20% 51.99% 52.83% 53.07% 51.31% 52.52% 54.46%0.2 41.34% 36.93% 39.30% 46.81% 46.60% 47.39% 47.81% 47.07% 46.30% 47.73% 47.11% 45.39%0.4 0.13% 0.38% 0.25% 0.21% 0.22% 0.12% 0.07% 0.04% 0.24% 0.39% 0.14% 0.06%0.6 0.03% 0.03% 0.03% 0.05% 0.06% 0.02% 0.01% 0.00% 0.01% 0.01% 0.01% 0.01%0.8 0.02% 0.02% 0.02% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%1 0.06% 0.06% 0.09% 0.05% 0.06% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

1.2 0.03% 0.02% 0.02% 0.02% 0.03% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%1.4 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%1.6 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%1.8 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%2 0.01% 0.02% 0.02% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

Page 16: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

為替のティックデータの例ドル円 頻度分布(価格の差)

Ask 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000-2 12 23 48 92 28 9 3 10 2 7 10 11

-1.8 0 8 2 16 24 5 0 0 0 3 3 1-1.6 0 1 0 5 7 0 0 0 1 2 0 0-1.4 2 2 1 7 12 2 0 0 2 1 2 1-1.2 3 4 5 11 20 4 1 0 3 5 1 0-1 80 160 274 487 511 89 50 7 22 38 59 63

-0.8 98 152 282 538 524 91 60 10 46 65 69 68-0.6 27 51 108 210 166 104 25 8 42 65 42 39-0.4 33 116 191 714 572 228 103 29 172 307 212 192-0.2 252 1378 1617 2938 2522 1422 1589 721 4160 7741 3435 1884

0 62895 134628 216279 473316 377623 428246 734486 634042 607815 741158 927448 12486460.2 39273 123567 212264 446539 352376 389642 680045 578507 533383 668388 849253 10780800.4 167 1028 1154 2137 1786 1052 1075 540 3048 5899 2720 15560.6 26 87 175 605 525 207 76 19 138 235 188 1760.8 20 53 108 209 169 109 24 6 35 74 38 331 128 237 419 742 725 90 76 16 44 75 88 88

1.2 48 67 131 291 300 71 31 3 18 29 42 451.4 2 3 3 7 16 0 2 0 3 5 3 01.6 1 1 0 5 13 2 0 0 2 1 0 11.8 0 2 0 5 9 0 0 0 0 1 0 00 10 33 59 108 55 15 2 9 2 13 12 11

Page 17: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

為替のティックデータの例ドル円 頻度分布(スプレッド)

Spread 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 20000.05 72.67% 73.40% 72.76% 62.48% 53.46% 49.06% 61.70% 64.44% 53.92% 48.12% 67.37% 62.70%0.1 26.72% 26.22% 26.32% 35.35% 43.07% 47.82% 35.27% 34.51% 44.01% 50.99% 28.96% 35.74%0.15 0.32% 0.19% 0.71% 1.55% 2.97% 2.97% 2.32% 0.31% 0.82% 0.34% 3.44% 1.41%0.2 0.14% 0.06% 0.06% 0.39% 0.31% 0.11% 0.60% 0.72% 1.12% 0.41% 0.17% 0.12%0.25 0.01% 0.01% 0.02% 0.08% 0.08% 0.02% 0.08% 0.01% 0.06% 0.03% 0.02% 0.01%0.3 0.05% 0.01% 0.01% 0.05% 0.02% 0.01% 0.02% 0.00% 0.04% 0.06% 0.01% 0.01%0.35 0.00% 0.02% 0.02% 0.02% 0.01% 0.00% 0.00% 0.00% 0.02% 0.01% 0.01% 0.00%0.4 0.01% 0.01% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.01% 0.01% 0.01% 0.00%0.45 0.00% 0.00% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.01% 0.00% 0.00%0.5 0.00% 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.01% 0.01% 0.00% 0.00%0.55 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.6 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.65 0.00% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.7 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.75 0.00% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.8 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.85 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.9 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.95 0.02% 0.02% 0.01% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

1 0.03% 0.02% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%1.05 0.00% 0.00% 0.00% 0.02% 0.03% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

Page 18: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

為替のティックデータの例ドル円 頻度分布%(スプレッド)

0.05 72.67% 73.40% 72.76% 62.48% 53.46% 49.06% 61.70% 64.44% 53.92% 48.12% 67.37% 62.70%0.1 26.72% 26.22% 26.32% 35.35% 43.07% 47.82% 35.27% 34.51% 44.01% 50.99% 28.96% 35.74%0.15 0.32% 0.19% 0.71% 1.55% 2.97% 2.97% 2.32% 0.31% 0.82% 0.34% 3.44% 1.41%0.2 0.14% 0.06% 0.06% 0.39% 0.31% 0.11% 0.60% 0.72% 1.12% 0.41% 0.17% 0.12%0.25 0.01% 0.01% 0.02% 0.08% 0.08% 0.02% 0.08% 0.01% 0.06% 0.03% 0.02% 0.01%0.3 0.05% 0.01% 0.01% 0.05% 0.02% 0.01% 0.02% 0.00% 0.04% 0.06% 0.01% 0.01%0.35 0.00% 0.02% 0.02% 0.02% 0.01% 0.00% 0.00% 0.00% 0.02% 0.01% 0.01% 0.00%0.4 0.01% 0.01% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.01% 0.01% 0.01% 0.00%0.45 0.00% 0.00% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.01% 0.00% 0.00%0.5 0.00% 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.01% 0.01% 0.00% 0.00%0.55 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.6 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.65 0.00% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.7 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.75 0.00% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.8 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.85 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.9 0.00% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%0.95 0.02% 0.02% 0.01% 0.00% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

1 0.03% 0.02% 0.01% 0.01% 0.01% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%1.05 0.00% 0.00% 0.00% 0.02% 0.03% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00% 0.00%

Page 19: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

為替のティックデータの例銀行ではアシスタントディーラーがデータインプットそれぞれのベンダーに対して異なる人がインプット

ブローカーのボイスをそのままリピートすることもあるインプットする人のポジションが故意に価格に影響する

1993 年以前は大台もインプット、現在は大台は自動的に入る

ブローカーにおいてもほぼ同じことが言える。

Page 20: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

フィルター

生データー>第1フィルター

ー>計算ー>第 2 フィルター

ー>クリーンデータ

Page 21: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

olsendata

特徴Trust   Capital の導入

指数移動平均時間の重視

ボラティリティ-の予測ファットテイル

時間枠データの訂正

Page 22: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

olsendata

生データ 計算最も単純なチェック

• 質のよいデータであれば期間は短い• この Window に含まれ るデータの信頼性  は新しい Quote が来るたびに変わる• 外されたデータの信頼性は固定される

P>0BidOfferSpread>0

Scalar filtering windowの決定EMA の計算期間が決まるExpected   Volatiltiy の計算期間が決まる

新しいデータが計算期間に加わるかどうかはLevel filter と pair filteringにより決まる。

古いデータは 300 日後には自動的に排除

WCn

jji

nnii

61

01 )()(

Page 23: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

olsendata

生データ 計算最も単純なチェック

P>0BidOfferSpread>0

データを買値・売値・売値買値のペアー価格を必要に応じて変形するLog(P)Log(P-Pmin)など

変形の理由分布を単純にする定常性を確保する

  Full  Quote Filter

Page 24: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

olsendata

生データ 計算最も単純なチェック

  Full  Quote Filter

UnivariateFilter

Decimal   ErrorScaling   ErrorSpecial   FilterC=min(Cbid,Cask,Cspread)

Page 25: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

olsendata

生データ 計算最も単純なチェック

  Full  Quote Filter

UnivariateFilter

Decimal   ErrorScaling   ErrorSpecial   FilterC=min(Cbid,Cask,Cspread)

MultivariateFilter

Page 26: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

olsendata

Ctotal C1=

  0   0.25

  0.5 

  0.75

   1

C2=1 ( 0.5 )

1 1 1 1

0.75 

0   0.5 

0.75 0.878 1

0.50 0   0.25

  0.5   0.75

1

0.25 0 0.122 0.25 0.5 1

0 .00 0 0 0 0 ( 0.5 )

Ctotal= C[t(C1)+ t(C2)],C(T)=0.5+0.5T/Sqrt(1+T2) 、 T(C)=(C-0.5)/Sqrt(C(1-C))

Page 27: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

olsendataLevel   Filter

為替の場合スプレッドに用いる

2)(,[ˆ

xxTEMA

xxx

],[ xTEMAx

14

12

forTT

C

0

ˆ

ii

x 2

0 1 iiT

Page 28: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

olsendataPair  Filter

jiij xxx

)(0 ij

ijij

V

x

22 1)( ijijij UU

Page 29: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

olsendata

結果

     期間    データ数    Reject

USDJPY   Jan89- Dec89    683,555     0.49 %

USDJPY   Jan99- Dec99   1,324,421    0.48 %

Page 30: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

簡単フィルター為替レートドル円の例

1)最大値・最小値でのフィルターリング2)ペアーになっていないデータははじく3)スプレッドが 0.15 以上のものははじく4)現在の買値が前の買値より ±0.5 以上であれば現在のデータは Unqualified になる。5)現在の売値が前の売値より ±0.5 以上であれば現在のデータは Unqualified になる。6)すべての計算が終了した後に Unqualifed が含まれているペアーを除く。

Page 31: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

簡単フィルター為替レートドル円の例

BidBA 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000- 2 7 17 29 22 13 6 1 7 1 1 0 11

- 1.8 1 6 1 2 4 3 0 0 0 2 1 1- 1.6 0 1 0 2 2 0 0 0 2 1 0 0- 1.4 0 0 0 4 1 5 0 0 3 0 3 0- 1.2 4 2 1 1 2 1 0 0 3 4 1 0- 1 39 55 117 144 150 42 6 1 12 12 32 46

- 0.8 26 38 105 116 116 60 5 2 21 36 47 42- 0.6 15 22 32 19 41 38 10 2 31 48 33 20- 0.4 33 96 101 298 271 158 50 6 138 258 172 135- 0.2 214 1157 1363 1268 1361 1048 891 372 3386 6722 2931 1541

0 58240 127202 207965 366004 299349 361424 602911 546677 556526 669331 855298 11733260.2 41580 70459 123174 308378 255727 323741 547056 475202 480103 615833 758172 9635610.4 134 742 846 907 944 765 546 254 2395 4979 2260 12470.6 19 42 103 264 280 125 46 7 105 184 150 1190.8 11 12 26 31 44 68 8 0 11 60 29 111 42 83 165 175 195 52 6 2 18 47 37 47

1.2 31 32 71 70 104 28 3 1 11 31 15 361.4 2 2 1 1 0 1 1 0 1 4 4 11.6 1 0 2 0 3 2 0 0 2 1 0 11.8 0 3 0 3 0 0 0 0 0 2 0 02 4 18 25 25 16 13 0 5 1 10 9 4

1= 24 18 54 72 58 7 2 1 9 18 7 14- 1= 15 19 54 70 58 17 4 0 2 4 11 16

Page 32: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

簡単フィルター為替レートドル円の例

AskBA 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000- 2 7 18 28 21 9 7 1 7 1 2 0 11

- 1.8 1 6 2 3 8 2 0 0 0 0 1 1- 1.6 0 0 0 2 2 0 0 0 2 2 0 0- 1.4 0 0 0 3 1 5 0 0 3 0 3 0- 1.2 2 3 1 1 2 3 0 0 3 4 1 0- 1 39 49 116 125 145 52 6 1 15 18 36 38

- 0.8 29 44 107 136 121 49 7 2 18 28 43 50- 0.6 14 19 25 16 39 29 7 2 36 55 34 18- 0.4 31 85 93 278 256 160 48 7 126 242 167 134- 0.2 197 1105 1245 1238 1321 1021 841 363 3507 6823 3044 1668

0 61732 109787 176983 358794 295463 365644 605340 543325 557577 682275 850863 11576040.2 38094 87860 154254 315584 259613 319489 544649 478549 478801 602610 762392 9790580.4 144 817 878 930 967 814 576 268 2531 5151 2360 13480.6 23 45 106 295 308 133 47 6 103 199 152 1180.8 10 15 27 32 45 72 8 0 14 64 33 111 35 83 152 170 203 56 7 2 15 47 34 65

1.2 38 30 82 77 100 29 2 1 14 26 18 201.4 2 2 2 1 1 0 1 0 1 7 4 01.6 1 0 1 0 3 2 0 0 2 1 0 11.8 0 3 0 3 2 0 0 0 0 2 0 02 4 18 25 25 14 13 0 5 1 10 9 4

1= 16 20 55 55 49 14 1 1 5 10 2 11- 1= 19 21 47 46 54 17 4 0 2 5 9 13

Page 33: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

簡単フィルター為替レートドル円の例

BidBA 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000- 2 4 1 - 1 17 2 0 0 - 1 1 6 9 - 1

- 1.8 - 1 - 1 2 2 5 2 0 0 0 3 1 0- 1.6 1 0 0 - 1 0 0 0 0 - 1 - 1 0 0- 1.4 2 0 2 0 5 - 3 0 0 - 1 0 - 1 1- 1.2 1 0 0 1 1 1 0 0 0 2 0 1- 1 14 17 16 84 125 4 - 2 1 3 27 6 25

- 0.8 3 20 34 73 120 13 - 2 - 1 3 3 - 2 5- 0.6 3 21 19 35 30 55 1 0 14 - 2 - 1 9- 0.4 6 - 6 34 67 78 9 - 5 3 37 3 29 17- 0.2 28 22 77 214 131 52 108 46 496 421 189 35

0 96 91 191 1349 778 272 4412 2959 5142 2932 1703 18590.2 100 143 196 1988 1165 510 3733 4549 7095 3462 1599 11660.4 5 18 66 202 99 28 72 31 374 327 179 400.6 8 17 - 3 35 50 29 - 11 2 37 6 23 150.8 2 23 32 19 27 16 - 3 1 23 - 5 - 1 141 11 13 37 115 134 24 - 2 0 4 - 1 18 23

1.2 - 2 - 2 - 10 56 79 6 - 1 1 7 - 2 15 111.4 2 0 0 2 1 1 0 0 - 1 0 - 2 01.6 0 0 - 1 2 2 - 1 0 0 0 0 0 01.8 1 0 0 - 1 1 0 0 0 0 - 1 0 02 5 2 8 15 5 - 2 1 1 1 3 2 7

1= 4 14 18 31 33 17 - 1 - 1 2 1 5 9- 1= 14 7 18 41 49 - 1 - 1 1 0 8 0 6

0.003049 0.001996 0.002195 0.006372 0.005201 0.001499 0.007155 0.00737 0.012534 0.005512 0.002324 0.001513

Page 34: ティックデータのフィルターリングとクリーニング 森谷博之 オックスフォードファイナンシャルエデュケーション http//quasars22.co.jp

簡単フィルター為替レートドル円の例

BidBA 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000-2 36% 17% 14% 18% 7% 0% 0% 0% 0% 0% 11% 10%

-1.8 0% 0% 0% 0% 0% 0% 0% 0%-1.6 100% 0% 0% 0% 0%-1.4 0% 50% 25% 17% 0% 0% 0% 0%-1.2 20% 0% 0% 50% 33% 0% 0% 17% 0% 0%-1 9% 1% 1% 4% 7% 2% 0% 0% 7% 3% -3% 3%

-0.8 14% 16% 13% 7% 6% 8% -33% 0% 21% 3% 4% 6%-0.6 22% 63% 53% 17% 10% 0% 0% 0% 38% 13% 0% 28%-0.4 21% 7% 13% 12% 9% 5% -2% 33% 21% 8% 9% 3%-0.2 12% 2% 6% 15% 8% 4% 11% 11% 13% 6% 6% 2%

0 0% 0% 0% 0% 0% 0% 1% 1% 1% 0% 0% 0%0.2 0% 0% 0% 1% 1% 0% 1% 1% 1% 1% 0% 0%0.4 9% 3% 7% 18% 10% 4% 11% 11% 13% 6% 7% 3%0.6 33% 22% 9% 9% 8% 4% -6% 0% 21% 6% 6% 4%0.8 31% 69% 62% 20% 11% 1% -20% 0% 44% 9% 0% 32%1 13% 8% 6% 7% 7% 7% 0% 0% 23% -2% 2% 6%

1.2 3% 0% 0% 4% 8% -3% 0% 0% 11% 3% 0% 2%1.4 25% 0% 0% 0% 0% 50% 0% 25% 0% 0%1.6 0% 0% 100% 0% 0% 0% 0% 0%1.8 100% 0% 0% 0% 0%2 44% 15% 12% 15% 5% 0% 0% 0% 0% 0% 9% 9%