View
321
Download
1
Category
Preview:
Citation preview
1
DEEP LEARNING JP[DL Papers]
http://deeplearning.jp/
Deep Direct Reinforcement Learning for Financial SignalRepresentation and Trading
Kunihiro Miyazaki, Matsuo Lab
• タイトル– Deep Direct Reinforcement Learning for Financial Signal Representation and Trading
• ジャーナル– IEEE transactions on neural networks and learning systems– IF: 6.108 as of 2016
• Date of Publication– 15 February 2016
• 引用数– 13
• 著者– Yue Deng, Feng Bao, Youyong Kong, Zhiquan Ren and Qionghai Dai–
• 一言で– DL RL
2017/6/2 2
• 元々金融系の研究をしている
• DLによる金融時系列情報からの特徴量抽出• RLによる金融商品トレーディング– 2
• まだDLでトレーディングを試みている論文は少ない
2017/6/2 3
• 金融における機械学習応用は様々1.2.3.4.5. etc
•
• 効率的市場仮説–
•–
•• =>DL
2017/6/2 4
• 問題設定• 提案手法• 実験と結果• 考察• 感想
2017/6/2 5
• 2つの問題設定––
• 以下の二つを統合した、• Direct Reinforcement Learningによる金融トレードシステムを
提案– Fuzzy Learning RNN– Task-aware BPTT
2017/6/2 6
Direct Reinforcement Learning
7
• R: 時間t毎の利得• δ: ポジション {1,0,-1}• c: 決済のコスト• z: 前の時刻からのリターン• u: ポジション変更のコスト
• g: NNのマッピング• a: 前の層からのインプット• o: ある層のアウトプット
Fuzzy Learning
8
• 株価にはその会社の本質の価値だけでなく、マーケットのセンチメントや会社の噂など、数多くのファクターで成り立っている
• メンバーシップ関数を用いることで、よりロバストな学習が可能– k=3
• v: メンバーシップ関数R→[0,1]
Task-aware BPTT
2017/6/2 9
• Fuzzy Learningは、実装する上で膨大な潜在変数に対処しきれない– Task-aware BPTT
• 初期値の設定– DNN Part AutoEncoder
• Task-aware BPTT– Reward BPTT time stack BP
• Reward stack
Task-aware BPTT
• Task-aware BPTTを用いるとロバストな学習ができる
10
-• 使用したデータ– IF
• 300•
–• AG• SU
–
• 特徴量– 45m 3h 5h 1d 3d 10d
• 約1年のデータをtrainとtestに分割11
TC: 決済コスト
-
12
• DLを用い、最初にFuzzy_learningを用いる程結果は良くなる–
-
13
• S&Pのデータで実験–
–
2017/6/2 14
• パラメータを変更した結果–– τ
• 結論–
•– Fuzzy Leaning
–
• 感想– DL– DL
2017/6/2 15
2017/6/2 16
Recommended