03報 告３次元飛翔軌道方程式に基づく ゴルフ軌跡表示システムの開発三ッ峰秀樹　　加藤大一郎†

† （一財）NHKエンジニアリングシステム

Development of Golf Ball Trajectory Display System using 3D Ballistic Flight EquationsHideki MITSUMINE and Daiichiro KATO†

† NHK Engineering System

要 　 約 A B S T R A C T

ゴ ルフ競技におけるティーショットなどの打球は，被写体であるボールが小さい上に，高速で動く

ため，ギャラリーには見えていてもテレビ越しの視聴者には視認しにくい。そのため，テレビ中継では撮影映像にCG（Computer Graphics）で描画した打球の軌跡を合成するなどの演出が行われる。軌跡の可視化には打球の３次元位置情報が必要となるが， 従来のレーダーや画像解析を用いた手法では，電波干渉による精度の低下や複数ホールでの利用制限，高コストなどの課題がある。今回，ステレオカメラを利用し，３次元飛

ひ

翔しょう

軌道方程式に基づいて軌道を予測する手法を開発し，これらの課題の解決を図った。本稿では，その詳細と試作システムによるフィールド実験の結果を報告する。

G o l f sho t s , such as tee sho t s , a re difficult to track despite being visible

from members in the gallery, because the ball is small and moves at a fast speed. The golf ball as the object is thus also difficult for television viewers to visually recognize. To improve th is s i tuat ion , dur ing a T V broadcast the trajectory of a golf shot is rendered by CG（Computer Graphics）on the captured video. To visualize a trajectory, 3D pos i t ion in format ion of the h i t ba l l i s necessar y. However, the convent iona l method of using radars and image analysis presents challenges, including poor accuracy and limitations on its use in covering shots on multiple holes due to radio interference and high cost. To address these issues, we have developed a system that estimates the ball trajectory by using stereo cameras and 3D flight trajectory equations. In this paper, we report on the details of this method and the results of field-testing using a prototype system.

43NHK技研 R&D ■ No.173 2019.1

１．はじめに

ボールゲームの中継において，ボールが弧を描いて飛ぶ様子などをCG の軌跡として表現することは，分かりやすい解説に有効である。ボールの軌跡をCGで描画するためには，ボールの３次元位置情報が必要となる。これまでに，レーダーや画像処理技術を用いる製品が実用化され，放送に活用されている。しかし，精度やコスト，計測遅延量などに関して課題があり，改善が望まれている。

今回，ゴルフ中継への応用を想定し，３次元飛翔軌道方程式と画像処理技術を用いた３次元位置情報取得手法を提案するとともに，試作したゴルフ軌跡表示システムを用いてフィールド実験を行い，有効性を確認したので，提案手法の詳細と実験結果について報告する。

２．３次元位置情報取得の課題

代表的な従来手法として，ドップラーレーダーを利用したボールの３次元位置計測手法が挙げられる。この手法は，長距離での計測が可能で頑健であることから，多くの競技大会で使用されている。しかし，本特集号の解説１「スポーツ映像表現技術の研究開発動向」で述べたように，中継で求められるリアルタイム性（遅延量）やコスト，設置条件等に課題があり，改善が望まれている。例えば，ドップラーレーダーで取得したボールの３次元位置には外乱による誤差が含まれており，滑らかな軌道を得るために行われる平滑化処理などで遅延が生じる。このことは，即時性や映像・音声の同期，別カメラとの違和感のない切り替えなどが求められる中継用途においては課題と言える。この理由から，遅延量に関しては経験的に３フレーム以下（映像の解像度が1080i，フィールド周波数が59.94Hzの場合）が求められている。さらに，この手法では，打ち出しから着地点までを逐次計測することで軌道情報を取得することから，計測途中で，レーダー波の遮蔽や外乱があると，軌跡の連続性が保てなくなるといった問題もある。

ドップラーレーダーによるアクティブな手法に対し，センサーカメラ＊１の映像を解析して打球位置を特定するパッシブな手法１）～３）も提案されている。 それらの中には，TOPGOLF社のPROTRACERのように実用化されているものもある。PROTRACERでは，ゴルフボールのサイズやレンズオートフォーカス機能による測距値など，何らかの距離パラメーターを併用し，精度の確保を図っている。また，撮影には放送用カメラに取り付けた超高解像度のセンサーカメラを利用しているが，全画素の情報を映像解析の処理対象にした場合，画像解析用計算機へのデータ転送速度

の制約から，入力可能なフレームレートが制限される。そのため，撮像素子から必要となる領域の映像情報のみを転送するなどのハードウェアの工夫も行うことで，フレームレートの確保や処理の高速化を図っている。しかし，このような工夫を行った場合，センサーカメラが高コストとなることに加え，ボールの３次元位置情報を得るためには，離れた位置に別途センサーカメラを設置する必要があるなど，運用性の面で課題があると言える。

以上のような課題を考慮して，本稿で述べるゴルフ軌跡表示システムでは，１表に示す各項目を要件として開発を行った。

３．軌道推定の原理

３．１　３次元位置情報取得のアプローチ１表に示す要件を可能な限り満たす３次元位置情報取得

手法（以下，本手法）について，次のように検討を行った。まず，ボール位置のセンシング（計測）については，２章

で挙げた課題を考慮し，低コストの小型ハイビジョンカメラをセンサーカメラとして２台用いた，ステレオ映像解析とした。

一般に，映像解析による計測では，当該フレーム撮影後に映像解析を開始するため，センサーカメラで１コマ撮影するために要する時間に加えて，映像解析による遅延，さらにCG描画・合成に要する遅延が生じる。そこで本手法では，ボール打撃直後の数フレーム分で得られる情報から，３次元飛翔軌道方程式を用いて軌道を推定し，予測された軌道から遅延のない３次元位置情報取得を行うこととした。

さらに，ボール打撃直後の数フレーム分の情報から推定した軌道は，進行するにつれて風やボールの回転により誤差を生じる。そこで本手法では，落下地点側でも，打ち出し側と同等のセンシングを行い，精度の確保を行うこととした。

１表　中継制作用ゴルフ軌跡表示システムの要件

低遅延（フィールド周波数59.94Hzで３フレーム以下）

打ち出し地点・落下地点での精度確保

複数台同時利用

可搬性・運用性

低コスト

＊1 画像解析を目的に設けたカメラ。

44 NHK技研 R&D ■ No.173 2019.1

D ：抗力 （N）L ：揚力 （N）T ：流体トルク （N・m） I ： ボール慣性モーメント　8.10×10-6 （kg・m2）

CD ：抗力係数CL ：揚力係数Cm ：流体トルク係数α ：ボール迎角（deg）β ：横ぶれ角（deg）θ ：回転軸傾き角度（deg）

流体トルクTは空気から受ける回転軸周りのモーメント，ボール慣性モーメントIは回転するボールの慣性の大きさを表す。また，抗力係数＊２CD，揚力係数＊３CL，流体トルク係数＊４Cmは（2）式，（3）式，（4）式，時々刻々の回転数Nは

（5）式で表される。

（2）

（3）

（4）

（5）

CD = D0.5ρU 2A

CL = L0.5ρU 2A

Cm = T0.5ρU 2Ad

N（ t＋∆ t） = ＋ N（ t） －ρAdCm（t）｜U（t）｜2∆ t4�I

３．２　 ３次元飛翔軌道方程式によるボールの３次元位置の推定

前節で述べたとおり，本手法では，打球の軌道情報を３次元飛翔軌道方程式により推定する。高精度な推定を行うために，厳密な物理モデルとして，溝田らにより定式化された３次元飛翔軌道方程式３）～５）を採用した。溝田らの３次元飛翔軌道方程式を（1）式に示す。ここで， Fx（t）， Fy（t），Fz（t）は，それぞれボールのx軸，y軸，z軸の各方向に働く力である。

Fx（ t）= ρA｜U（ t）｜2｛－CD（ t）cosα cosβ － CL（ t）（sinα cosθ ＋ cosα sinβ sinθ ）｝

Fy（ t）= ρA｜U（ t）｜2（－CD（ t）sinα ＋ CL（ t）cosα cosβ cosθ ）－ mg

Fz（ t）= ρA｜U（ t）｜2（－CD（ t）cosα sinβ ＋ CL（ t）（cosα cosβ sinθ ）

12

12

12

（1）

飛翔中のボールに働く力および座標系を１図に示す。また，本稿で使用した記号や変数は以下のとおりである。

d ：ゴルフボールの直径　0.0427 （m）m ：ゴルフボールの質量　0.0456 （kg）g ：重力加速度（m/s2） A ：ゴルフボールの断面積（m2）ρ ：空気の密度（kg/m3）　U ：ボールの速度（m/s）N ：ゴルフボールの回転数 （rps）ZR ：ゴルフボールの回転軸

＊２ ボールが空気中を進行する際に空気の流れに平行な方向で空気から受ける力（抗力）と，空気の密度，ボールの速度・断面積との関係を表す係数。

＊3 ボールが空気中を進行する際に空気の流れに垂直な方向で空気から受ける力（揚力）と，空気の密度，ボールの速度・断面積との関係を表す係数。

＊４ ボールが空気中を進行する際に空気から受ける回転軸周りのモーメントと，空気の密度，ボールの速度・断面積との関係を表す係数。

１図　飛翔中のボールに働く力および座標系

ZR

ZR

zt

yt

xt

N0

NN

D0

D

D

L0

LL

U0

UU

β

α0

θ

θ

－mg

－mg

－mg

Z

XY

（X , 0, Z）

45NHK技研 R&D ■ No.173 2019.1

高精度化には，高解像度カメラの利用が考えられる。しかし，カメラの動きぼやけなどを考慮した場合，撮影環境の変動による誤差が懸念される。

そこで本手法では，ティーバックに設置する計測用のカメラを単眼からステレオとすることで，初期値の精度向上を図った。具体的には，画像認識に用いられる畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）７）＊６により，ステレオカメラで撮影した各カメラの映像において，ボールの２次元座標を検出する。そして，その２次元座標から，三角測量の原理で空間上の３次元位置を求める。それ以降は逐次，撮影映像からボールを認識し，追跡を行う。なお，ボールの認識処理は，リアルタイム性と頑健性を確保するために以下の手順で行った。

① 背景差分処理＊７，２値化，クラスタリング処理＊８によりボール候補領域を複数抽出する。

② ボール候補領域から，面積と前フレーム認識位置を基準に，認識対象領域（128×128画素）を設定する。

③ ３層の畳み込みニューラルネットワークによりボール領域を認識する。

以上の手順を繰り返すことでボールを追跡する。なお，③で求まったボール領域から重心位置をとり，これを画像上でのボールの２次元位置とした。

これらを， 運動方程式を表す（6）式に代入し，Euler法＊５により，ボールの速度ベクトルUと３次元位置 x（t）， y

（t），z（t）を導出する。

（6）

以上の導出方法では，初期値として，ショット直後のボールの位置，速度，角度，回転数などの情報が必要となる。これらの初期値のうち，回転数は，プロゴルファーのクラブ種別ごとの平均値を与えることとし，回転軸は水平，横ぶれ角は０度とした。それ以外の初期値については，センサーカメラの映像解析により得られた値を用いた。

３．３　 ステレオカメラの映像解析による計測と軌道推定手法

本節では，３．２節の３次元飛翔軌道方程式に与える初期値の計測方法について述べる。

映像解析による軌道推定手法の先行研究としては，ティーバック（ティーショットを打つ場所の後方）に設置した単眼カメラによる撮影映像上のボールの位置とサイズから空間上の３次元位置を計測する鳴川らによる研究６）がある。この手法では，撮影映像から得られるボールサイズの情報が不十分なことから，カメラから遠ざかる方向，つまりボール進行方向の軸上のボール位置情報に関して，誤差が拡大する傾向が指摘されている。しかし，ドップラーレーダーを利用する手法と比較して，格段にコンパクトで低コストという長所がある。そこで本手法では，鳴川らの手法に対して，ボール進行方向の精度を確保する工夫について検討し，システムを試作・評価した（２図）。

鳴川らの手法６）で課題となっているボールサイズの情報の

F = m・ dUdt

＊5 常微分方程式の数値解法の１つ。

＊6 画像の局所的な特徴を利用することで，特に画像認識の分野で優れた性能を発揮する，複数の層で構成されるニューラルネットワーク。

＊7 事前に撮影した画像との差異を利用して動物体領域を抽出する処理。

＊8 類似性に基づいて，サンプルをクラスター（集団）に分割する処理。

２図　軌道推定と軌跡合成

放送用カメラ放送用カメラ

補正区間推定した軌道の区間初期値計測区間（Ａ）ステレオ

センサーカメラ

カメラ映像

軌跡合成映像

軌跡映像

（Ｂ）ステレオセンサーロボットカメラ

放送用カメラの映像に合成

取得した情報から軌跡をCG描画

ボールの３次元位置を（A）センサーカメラで計測

ボールの３次元位置を（B）センサーカメラで計測

軌道を推定

46 NHK技研 R&D ■ No.173 2019.1

複数のマーカーを用いて行った。

４．実験

４．１　打ち出し側での計測・合成結果本手法に基づく試作システムをゴルフ練習場に持ち込み，

ゴルファーによる実際のショットで評価を行った。実験には，1,920×1,080画素，順次走査，60フレーム/秒のセンサーカメラを用いた。実験結果から，ステレオカメラ映像から目視で取得したボール位置と，画像認識により得られたボール位置は同一であることが確認できた。このことから認識精度は十分と考える。

一方で，実利用を想定した場合に問題になるのは，放送用カメラに合成した軌跡と実際のボール位置との誤差である。そこで，センサーカメラ脇に設置した放送用カメラに，本手法で取得した３次元位置を用いてCG描画したボールを合成し，その位置と放送用カメラに映るボールの位置との比較を行った。その結果，打ち出し直後においては，両者は一致しており，十分な精度と判断できた。しかし，センサーカメラの視線方向，すなわちボールの進行方向に関しては，カメラからボールが離れるにつれて，予測軌道となるため，ボール進行方向の軸上のボール位置に関して，十数％の誤差が生じる場合があることが分かった。打ち出し直後に取得した画像認識によるボール３次元位置と予測した軌道を３図に示す。また，取得した軌道情報を用いてボール軌跡を合成した放送用カメラ映像を４図に示す。

なお，合成結果における映像遅延量は，放送用カメラの映像に対して100msec（フィールド周波数59.94Hzで３フレーム）であった。

３．４　軌道予測の高精度化３．２節で述べた原理で予備実験を行ったところ，用いた

初期値のうち各空気力係数＊９CD，CL，Cmを定数として与えた場合は，ボールが進行していくと軌道に誤差が生じる結果となった。

鳴尾らの先行研究によると，軌道に影響する各空気力係数は，スピンパラメーター＊10のみで整理できることが明らかにされている４）。スピンパラメーターは映像から計測することが困難であるが，トッププレイヤーの場合，クラブごとに一定の範囲の値となるため，ショットごとにスピンパラメーターの初期値を手動で設定することとした。そして，このスピンパラメーターを基に，（1）式の３次元飛翔軌道方程式に適切な空気力係数を与えることで，軌道予測の高精度化を図った。

さらに，本手法は軌道を予測するものであるため，風などの外乱の影響は考慮されていない。そこで，落下地点側にもステレオカメラを設置し，初期値で予測されたボール位置を基準に，落下地点側で計測したボールの３次元位置を用いて，風などによる外乱の補正を行う。この場合，さまざまな軌道があり得，落下地点側のステレオカメラの方向を事前に決定できないため，予測した軌道を基に，最適なカメラ方向を自動で設定している。

３．５　軌跡の映像合成本手法により求めた３次元軌道情報から３次元CGにより

軌跡を描画し，別途撮影した放送用カメラの映像に合成することで，最終的に軌跡表示を行う。このとき，３次元CGを描画する際の座標系と基準点を，３次元軌道情報の座標系と基準点に整合させる必要がある。本手法では，ステレオセンサーカメラを基準とし，それに対する放送用カメラの回転量と並進量をカメラキャリブレーション８）により求め，これをCG描画の際に適用し，整合を図っている。なお，キャリブレーションについては，既知の３次元位置情報を持つ

＊９ 空気抵抗によりボールに働く力を決定する係数。

＊10 ボールの回転と並進速度の比で表されるパラメーター。

３図　打ち出し側の計測結果と予測軌道 ４図　打ち出し側の軌跡合成結果

認識したボール位置

予測軌道1412108

6420-2140

120100

8060

40200

0-5-10Z（m）

X（m）

Y（m）

-15-20

-25

-20

打ち出し地点

47NHK技研 R&D ■ No.173 2019.1

５．まとめ

本稿では，ステレオカメラ映像から求めたゴルフ打球の３次元位置を用いて，３次元飛翔軌道方程式に基づいて精度良く打球の軌道を予測し，撮影映像に遅延なく軌跡を表示するシステムに関して，詳細を述べるとともに，試作したシステムによるフィールド実験により，その有効性を示した。実験では，落下地点において，実空間のセンサーカメラと放送用カメラ間の位置・姿勢の相対関係と，CG空間での相対関係との間に不整合が生じ，合成映像上で最大20画素の誤差が生じることが分かった。

今後は，抽出された課題の解決を図り，より魅力的で分かりやすいゴルフ中継の実現を目指す。

謝辞　本研究を進めるにあたり，福岡工業大学名誉教授 溝田武人先生に有益なご助言，実験への多大なご協力をいただいた。また，実験にあたり，福岡カンツリー倶楽部 和白コース，ムーンレイクゴルフクラブ 鞍手コースには実験場所の借用をご快諾いただいた。ここに深謝する。

本稿は，計測自動制御学会システムインテグレーション部門講演会および日本ロボット学会学術講演会で発表を行った以下の論文を元に加筆・修正したものである。

加藤，三ッ峰：“飛翔体の３次元座標計測に関する一検討～ゴルフ中継におけるボールの計測と軌跡表示～ ,” 第36回日本ロボット学会学術講演会，RSJ2018AC3J2-02（2018）

４．２　落下地点側での計測・合成結果打ち出し側で計測・予測した軌道を，落下地点側で計測

した結果を用いて補正した軌道，および落下地点側でのボール位置の計測結果を５図に示す。また，落下地点での計測・合成結果の例を６図に示す。落下地点側のセンサーカメラ脇に設置した放送用カメラに合成したボール位置の誤差は，６図のハイビジョン映像で最大20画素（実測で約５m）であった。なお，合成結果における映像遅延量は，放送用カメラの映像に対して100msec（フィールド周波数59.94Hzで３フレーム）であった。

４．３　考察５図からは，ショット全般でシームレスな軌道情報が取

得でき，また，打ち出し地点，落下地点の双方で，計測したボール位置と一致している。

しかし，６図の落下地点側での軌跡合成映像では，ボール位置と軌跡に明らかな誤差が生じている。落下地点ではステレオセンサーロボットカメラで実際に３次元位置を計測しているため，センサーロボットカメラを基準とした場合に，計測自体の大きな誤差は無いと考えられる。しかし，その３次元位置情報を用いて，放送用カメラの姿勢・位置で描画・合成した結果（６図）では，誤差が生じている。この原因は，実空間上におけるセンサーロボットカメラと放送用カメラとの位置・姿勢の相対関係に対して，CG空間で定義された両カメラの位置・姿勢の相対関係に誤差が生じたためと考えられる。

この問題に関しては，今後，レンズ歪なども含めた，より高精度なカメラキャリブレーション手法の適用や，柔らかい芝生上に設置した場合の各カメラの固定などにより改善が見込める。

５図　落下地点側の計測結果と補正軌道

６図　落下地点側の軌跡合成結果

25

20

15

10

5

0-1.0-0.50.0

-1.5-2.0-2.5-3.0-3.5

Z（m）X（m）

Y（m）

200150100500

認識したボール位置

落下地点

補正した予測軌道

打ち出し地点検出結果から描画した軌跡

実際の軌跡

48 NHK技研 R&D ■ No.173 2019.1

参考文献 1） 米国特許，US8077917B2，“Systems and Methods for Enhancing Images in a Video Recording of a Sports Event”

2） T. Zupancic, A. Jaklic：“Automatic Golf Ball Trajectory Reconstruction and Visualization,” Computer Vision / Computer Graphics Collaboration Techniques. MIRAGE 2009. Lecture Notes in Computer Science，Vol.5496，pp.150-160 （2009）

3） 深町，溝田，朴，鳴尾：“自然風境界層中を飛翔するゴルフボールの３次元軌道の実験と解析,” 日本風工学会年次研究発表会・梗概集，pp.41-42 （2004）

4） 鳴尾， 溝田：“ゴルフボール の空気力測定と３次元飛翔軌道解析,” 日本流体力学会誌「ながれ 」，Vol.23，No.3，pp.203-211 （2004）

5） 溝田，朴，鳴尾，深町：“自然風境界層中を飛翔するゴルフボールの３次元飛翔軌道の実験と解析,” 第18回風工学シンポジウム論文集，Vol.18，pp.281-286 （2004）

6） 鳴川，長，井上，中嶋，加藤，内野，高木，溝田：“ビデオカメラ撮影によるゴルフボール飛翔軌道測定システムの開発,” シンポジウム：スポーツ・アンド・ヒューマンダイナミクス，pp.338-343 （2010）

7） 内田, 山下：“[サーベイ論文] 畳み込みニューラルネットワークの研究動向,” 信学技報，Vol.117，No.362，pp.25-38 （2017）

8） Z. Zhang：“A Flexible New Technique for Camera Calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.22，pp.1330-1334 （2000）

三み

ッつ

峰みね

秀ひで

樹き

加か

藤とう

大だい

一いち

郎ろう

1991年入局。名古屋放送局を経て，1993年から放送技術研究所において，被写体の映像部品化，映像合成，バーチャルスタジオ，スポーツ映像表現の研究に従事。現在，放送技術研究所空間表現メディア研究部上級研究員。博士

（工学）。

1983年入局。放送技術研究所，放送技術局，編成局を経て，現在，（一財）NHKエンジニアリングシステムに所属。特撮やCG，合成など，実際には撮影することが困難な映像を本物さながらに再現するVFX技術や，番組をより面白く，楽しくする新映像表現に関わるさまざまな映像システム，新技術の研究開発，実用化に従事。博士（工学）。

49NHK技研 R&D ■ No.173 2019.1