IoT Applications
Applications in Sports
柔道の投げ技の成功を組み手の姿勢から予測する手法を開発
~スポーツ技能が上達するコツをビッグデータから探し出す~
柔道の投げ技の成功を組み手の姿勢から予測する手法を開発
〜スポーツ技能が上達するコツをビッグデータから探し出す〜
【 研究概要 】
スポーツの目標となる運動を達成するために、従来からの方法では、目標となる動作をしている間に注目し、その動作を見てコーチがコメントすることや、動きをあらわす数式を作って比較していました。しかし、コーチの主観が入ることや、動作をしている個人に注目しているため、格闘技などの対戦相手からの力がかかるスポーツの解析が十分にできていませんでした。本研究成果では、成功させたい動作の直前状態を記録したビッグデータを使って、その動作を成功する要因はどこなのかを見つける手法を開発しました。
本成果では、動作の映像から、外的な要因を含む目標の動作の直前の体勢から、考えうるすべての部位を記録したビッグデータを、χ2（カイ二乗）検定と呼ばれる統計手法に適用し、目標の動作が成功するときの直前姿勢に必要な要因を明らかにする手法XSM（Extraction for Successful Movement） を開発しました。さらに、XSMを柔道の投げ技に適用し、投げが成功する直前体勢を構成する要素（例えば、袖のつかみ方、足の方向、など）の組合せを、世界選手権の映像を元に作成したビッグデータを元に、明らかにしました。
本研究の成果は、今まで知り得なかった直前姿勢からの動きのコツをビッグデータから引き出すことで新たなトレーニング理論を導く手法です。さらに、対戦相手が技に入る前の癖を発見でき、試合での戦略を練ることにも利用できる新しい手法です。
１．研究背景
現代のトレーニングでは、映像を用いて、自らの運動を理解することが主流ですが、体格や筋力、状況などの多様性によって、自分の主観やコーチの偏った解釈が入り、画一化できないことが問題です。それを排除するため、動きを捉えるセンサのデータなどを用い、数式での動きのモデルを使った動きのコツを解明する研究が行われてきました。しかし、数式での統計的。経験的パラメタを排除できず、やはり、画一化の難しさが排除できません。さらに、従来の研究では、運動主体への外的な力は考慮されておらず、個人の運動能力に焦点を当てた手法であり、対戦相手のいる格闘技のような競技では、運動のモデル化が出来ていません。そこで、本研究では、対戦相手のいる競技の一つとして柔道に着目し、投げ技を成功るための要因が、投げをし始める前の体勢（組み手）に潜在しているのではないかと予想し、成功する投げ動作と組み手との間の相関を求めることに焦点を当て、研究を実施しました。
２．研究内容と成果
投げ技の成功要因となりうる部位は、投げる側（取）と投げられる側（受）の直前体勢の身体部位の状態から、考えられるものをできるだけ多く選択します。また、成功を目標とする動きの分類を定義します。そして、要因候補と成功動作の組合わせからなるデータセットを準備します。このデータセットは映像を使って、要因候補をピックアップし、その映像の成功動作の分類と組み合わせて作成します。このデータセットを多数用意し、解析を行います。
解析には、χ2検定を用い、要因候補と成功動作とのあいだの相関を求めます。この解析のあと、検定を行い、相関の高い要因候補を、成功に導く要因として選択し、それらが目標とする動きを誘導する、動作の直前体勢の要素になります。
上述のデータセットの作成の際に、男性、女性、階級、世界ランクといった属性を設定しておくことで、ビッグデータの部分集合に絞ることが可能になります。従って、身体的な多様性や、環境の違いなど、運動に影響を与える多様性を絞り込むことによって、成功への動きの要素の違いを知ることができます。
本研究成果では、柔道の世界選手権の試合映像から781件の投げ技の成功シーンから、組み手の状態を抽出してビッグデータを構築し、それをXSM法により、投げ技を成功に導く直前体勢の要因を抽出しました。それらが既存の柔道の投げ技の動きに導く要因であることスポーツ科学のアプローチから分析し、本手法の有効性を示しました。さらに、性別といったデータの属性によってデータの種類を絞ることで、属性の違いによって異なる組み手の成功要因が抽出されることも確認しました。
３．今後の展開
本研究の成果は、今まで知り得なかった直前姿勢からの動きのコツをビッグデータから引き出すことで新たなトレーニング理論を導くことが可能になります。さらに、対戦相手が投げ技に入る前の癖を発見でき、試合での戦略を練ることにも利用できる新しい手法です。本研究の成果を用いれば、データをコンピュータで高速計算することで、新たなトレーニング手法や、試合戦略を練ることができることが、今後のスポーツ科学へのブレークスルーをもたらすことができると考えられます。
〈 用語解説 〉
注１） χ2検定
データの関係性を数値で求めるための数学的手法のひとつ。
注２） ビッグデータ
事象を表現するたくさんの要素の組合せの膨大なデータの塊。
本研究成果では、成功する動作の直前の姿勢の部位の組合せをたくさん集めたデータのセット。
４．主な発表論文等
［掲載論文］
- Satoshi Kato and Shinichi Yamagiwa, Statistical Extraction Method for Revealing Key Factors from Posture before Initiating Successful Throwing Technique in Judo, MDPI Sensors 2021, September 2021
［プレスリリース］
［報道］
動きビッグデータからスキルの予測は可能か？
動きビッグデータからスキルの予測は可能か？
【研究概要】
小型センサでとらえた人の動きのデータをヘルスケアなどへの応用する取り組みが盛んである。従来のバイオメカニクスや運動学習分野では、見た目やパフォーマンスに関連する動きの特徴点から導出した平均モデルからパラメタを選定し、個人の動きを定義する。しかし、パラメタを選定せず、個人の動きのモデルを自動的に導出できれば、健康管理やスキル特定への応用精度が格段に向上する。そこで本研究は映像やセンサデータ等の動きのビッグデータへ知的情報処理を施し、個のスキルのモデル化を試みる。
１．研究背景
（１）動きのデータを利用したスポーツやヘルスケアへの応用が流行している
加速度やジャイロ等のセンサからの動きデータを解析し、技能判定を行うシステムが登場している。例えば、ジョギングを判定するNike＋やAdidas社miCoachが代表的で、オムロン社からは歩行技能を判定する姿勢計が発売されている。このように、動きのデータを利用して、トレーニングの自己評価や、技能レベルの判断ができ、スポーツを趣味とする人々に広く利用されている。
（２）従来からの動き予測・技能判定法は動きの平均モデルに個人のパラメタを適用
しかしながら、上記のようなセンサを利用したシステムは、バイオメカニクスや運動学習といった分野で確立された平均モデルに個に対する差分値を加え判定するため、個の差分値算出の標準化の必要性と年月といった中長期的な動き予測への誤差の増大といった難しさがある。
（３）中長期的な近未来の動き予測の方法は決定打に欠ける
金子明友「技の伝承」、古川康一「身体知」、 生田久美子「わざ言語」といった動きの予測、 動きの形式化議論は盛んに行われてきたが、 未だに個人を自動的に表現できる打開策がないため、動きを予測するシステムに応用できる技術が成熟しておらず、「近未来の動き」の判断はユーザの自己判断力に委ねられているのが問題である。
２．研究の目的
本研究では図１のように、従来の平均モデルのカスタマイズ手法に対する新たなアプローチとして、あらゆる動きの情報が潜在する動きのビッグデータからスキルの機序を発見し「年月単位での近未来の動き」を予測することはできるか？という命題に挑戦する。つまりデータだけから
（１）スキルレベルの特定は可能か？
（２）スキル獲得のための動き予測は可能か？
という２つの疑問の解を、知的情報処理を使ったデータ解析から導き出し、データの蓄積に伴い精度が向上する自己成長型トレーニングシステムの開発を目指す。
図１：本研究の目的
３．研究成果
（１）スキルグルーピングの開発
本研究では、動きのデータを多数集めた「動きビッグデータ」を使って、スキルの得点「スコア」に変換する仕組み「スキルグルーピン グ」を開発した。ユーザが目指す理想の動きに近づけるためのガイドをするシステムの構築と、そのサービスを提供する技術基盤を開発した。動きのデータを採取することは日常に取り込まれ、スマホでさえもモーションセンサを備えるほど、身近な技術であり多くの動きデータを採取することができるため、 動きビッグデータを利用することで、人の動 きの多様性を時間的な変遷も含め、統計値のベースとして用いる事で、上述のバイオメカニクス理論で用いられるパラメタの決定を吸収した。
図２：カーネル法によるデータの分類
図３：スキルに関連する分布
この仕組みの中で、ユーザが熟練者との比較をする際は、その動きデータの数学的距離を求めてできないかと考えた。そこで、図2に示すように、カーネル法と呼ばれる、データの類似性を2 分割する技術に対し、分類したデータ間の距離を決定する処理を追加することで、「動きの距離」を得る。このとき、図3 のように、例えば、マラソンのタイムのようなスキルに関連する指標でグループを作ると、スキルに関連する部位の動きは、リニアに分布する。スキルグルーピングは、このようなスキルに関連する部位を自動で発見するだけでなく、関連する部位の動きデー タが、スキル獲得のための指標として表され、動きデータをスマホなどの端末から送信後、上記の処理をサーバで処理し、スコアを返すことで、自動的にコーチングを行う新しいサ ービスを提供することができる。
（２）スキル分析の実証実験
実証実験として、ミズノ社の協力の下、スキルグルーピングによりマラソンのタイムを良くするためのスキルを分析し、影響度を提示する実証実験を行った。図 4 に示すように、走動作の動きデータは、身体の 6 カ所につけたマーカーの 3 次元位置を高速カメラで撮影した映像から得る。各マーカーの 3 次元位置をスキルグルーピングにかけると、ひじ、ひざ、足首がマラソンのタイムを上げるためのキーとなることが、各走者の動きの距離がタイムに従ってなだらかに変遷することから判明した。これらの 3 つのポイントの動きビッグデータから、タイムに与える影響度（タイムが良いグループから遠いと 100 となる数値。100-スコア）を図5のようにレーダーチャートで示すことで、スキルに対してのスコアを、影響度という形で、目標の動きに近づく際に見るべきポイントを示すサービスの構築可能性を実証した。
図４：ランニングでの実証実験
図５：スキルを提示するサービス例
（３）コンディショニングへの適用可能性の実証実験
スキーの技能検定（いわゆるバッジテスト）では、規定の技能を観察により審査員が評価する。これをコンピュータで評価を自動化できないかと考え、スキーのパラレルターンにスキルグルーピングを適用し、スキーのトレーニングシステムを開発した。図 6 に示すように実証実験の際に、3 人の初心者と 3 人の熟練者に、スマートフォンを背負ってもらい、その加速度センサでパラレルターンの動きを採取して、スキルグルーピングにそのデータを適用した。図 6 のグラフには各実験参加者の 8 回の試技が人物ごとに同じ線としてプロットされている。熟練者と初心者の分布が異なっているのは上述の技能面での差異を表しているが、それぞれの実験参加者の 8 回の試行が、熟練者は狭い範囲でプロットされ、初心者は大きな範囲でプロットされている。つまり、熟練者は毎回の滑りで雪面を同じように捉えられているが、初心者はそうではないことがわかる。したがって、自分の滑りが常に同じであるかを動きの差異から判断できる材料として用い、スキルが向上しているかを確認するコンディショニングサービスを提供できることを実証した。
図６：コンディショニングの実証実験
（４）道具の差異の動き解析の可能性を実証実験
さらに、野球のバットスイングにおいて、図 7 のようにバットの底部に加速度・ジャイロセンサを取り付け、ティーバッティングを行う動作を、プロ、アマの選手たちから取得しスキルグルーピングを適用した。この際に、バットの種類を金属と木製で、同一選手に振ってもらい、結果を比較した。
図 7 のグラフの A4、A5 というラベルは選手を識別する ID であるが、異なるバットを使うと、異なる位置にプロットされる。つまり、道具の差によって、スキルの差が生まれ、打動作が変化することを表している。この実験から、道具の差をスキルグルーピングで数値化し、さらに可視化して、ユーザの体へのフィット感を自動的に判別する道具のフィッティングサービスが展開できることを実証
した。
図７：道具の差異の動き解析実証実験
５．主な発表論文等
［学会発表］
- Shinichi Yamagiwa, Yoshinobu Kawahara, Noriyuki Tabuchi, Yoshinobu Watanabe and Takeshi Naruo, Skill Grouping Method: Mining and Clustering Skill Differences from Body Movement BigData, In Proceeding of International conference on BigData 2015, pp. 2525 – 2534, IEEE, October 2015.
［その他プレスリリース等］
- アスリートのスキル向上に貢献 – “AI コーチ” の実現を目指す山際准教授の挑戦，Amazon Web Service.
- ビッグデータと AI で能力向上！～スポーツトレーニングの新技術」（平成 28 年 8 月 12 日配信)
- 誠文堂新光社 子供の科学 平成 28 年 1月号 KOKA TOPICS「スポーツの技をビッグデータ技術で解析」
- ET/IoT Technology Award 2016「特別賞」一般財団法人 組込みシステム技術協会、平成 27 年 11 月 27 日
- 財経新聞 「動きの映像をもとに、運動技術の習得を支援する技術を開発―筑波大・山際伸一氏ら」平成 27 年 11 月 3 日
- 日刊工業新聞 朝刊 平成 27 年 11 月 2日「運動能力上達 AI が指導」
- 筑波大学プレスリリース「動きのビッグデータから人工知能技術をつかって運動技能の獲得を支援する ～コンピュータで技を伝承する基礎技術を開発～」平成 27 年 10 月 28 日
［研究予算獲得］
- （科研費）挑戦的萌芽 代表, “動きビッグデータからスキルの予測は可能か？”, 2015-2017, （研究代表者 山際伸一）
音フィードバックによる高度な姿勢制御スキル獲得のための学習支援システムの開発
音フィードバックによる高度な姿勢制御スキル獲得のための学習支援システムの開発
【 研究概要 】
身体運動をデータ化できる時代が到来している。本研究はそれらのデータを音に変換して、フィードバックすることで身体バランスを制御することができるかについて挑戦的な研究を実施した。聴覚と身体バランスの潜在的な関係性を、実験を通して解明を試みるとともに、加速度センサデータを音にリアルタイムに変換するシステムを開発し、その有効性を検証した。
１．研究背景
高度に集積された、加速度・地磁気・ジャイロといったセンサによりヒトの行動を多角的にミリ秒間隔で記録する手のひらサイズのシステムを開発できる時代が到来した。そのセンサをヒトが装着し、得たデータをフィードバックして次の動作に繋げる可能性がある。本研究では音刺激がヒトの運動制御に及ぼす影響に着目しセンサ出力を音へと変換しフィードバックすることで身体バランスを制御できるかを解明する。その制御可能性として、ヒトの持つ潜在的な運動能力への音刺激による制御と、音刺激の学習により音を頼りに制御する、という２つの方法が考えられ、柔軟性のある高性能センサシステム開発を中心に、実験を行、その原理・仕組みを探求する。
◆ナノテクの発展によるセンサの極小化が進む
微細加工技術、特に、マイクロマシン技術が発達し、加速度、ジャイロ、地磁気といったヒトの行動を観測する上で重要な方向・移動スピード、姿勢を観測できるセンサが指先程度の大きさのLSIに詰め込むことが出来る時代が到来し、その利用方法をセンサLSIメーカは模索している。
◆センサを装着でき、データをリアルタイムにフィードバックできる時代が到来
最も有望視されている利用方法は超小型せんさを持ち歩き、センサから得られたデータをヒトにフィードバックし、次の行動へ反映させる技術の開発である。センサが小型になり、常に持ち歩くことが出来るため、ヘルスケア、スポーツトレーニングやリハビリへの応用が期待される。
◆従来からのスポーツトレーニングやリハビリへのフィードバック技法には問題がある
従来からのフィードバックして次の動作に結びつける技術はある。例えば、筋肉への直接電気刺激で制御する、前庭電気刺激で平衡感覚を制御するといった方法であるが、特に後者は長期的な身体影響への危惧、知覚までの潜時が長い、前後・左右といった大まかな制御しかできないといった問題があり、実用化が難しい。
本研究に関連する先行研究として、前庭電気刺激による身体バランス制御があげられ、直接電気刺激は身体バランスに影響を与えることは可能であることは知られている。しかし、安全面をどんなに証明しても、電気直接刺激に対しての倫理的な違和感がリハビリ中の患者やスポーツアスリートへの不安感となり、科学的にすばらしい成果だが、利用度を高くするに至っていない。また、リズム入力による単純な聴覚刺激で健常者の身体バランスを制御することが基礎研究のレベルで試行されているが、加速度センサのデータを音に変換しフィードバックすることで、次の動作を潜在的な運動能力から誘導する試みは未だない。
視覚フィードバックによる錯覚で身体バランスの制御は多く試行されている。しかし、音声によるものは未だ謎が多く、解明されていないことが多い。本研究により発見されるだろうヒトの運動から聴覚フィードバックによる潜在運動能力への影響は、新たな身体制御理論を発展させるチャレンジである。
図１：本研究のねらい
センサデータの音フィードバック
２．研究の目的
（１）研究のねらい
そこで、本研究では図１のように加速度センサデータを音に変換し、フィードバックすることで身体バランスを制御できるか？という命題に挑戦する。つまり、運動に伴う音フィードバックで、以下の２つの疑問について、その事実を探究する。
①潜在的な運動能力への影響を与えられるか？
②音刺激の学習によって身体制御か可能か？
という２つのテーマを設定し、その事実が存在するかを探究する。具体的にはセンサデータを音へ高速変換し、音の種類も変更できるセンサーシステムの開発を中心にして、実験をもとに解明していく。
（２）本研究で探究する新たな原理
本研究で考慮する聴覚を使った姿勢制御の方法は２つある。１つ目は、ヒトの潜在運動能力に訴える手法であり、反射に訴え、錯覚を誘導する方法である。例えば直進しているヒトの右耳に音を入力すると左右どちらに曲がる、といった効果が得られることを期待する。この原理が発見できると、音をフィードバックするリハビリシステムへの技術が飛躍的に向上する。２つ目は、ヒトが意識して音に追従する手法である。この方法では、意識的に音源を追従するように被験者に学習させ、センサデータの音への変換により、次の姿勢が指示され、再帰的に身体バランスを制御する。以上の２つの方法論から、以下の原理が期待される。
（新原理１）音フィードバックによる聴覚刺激はヒトの潜在的運動能力に影響を被る
（新原理２）音を追従する学習によって身体バランスを制御することができる
これら２つの原理が相まって、さらに学習が高度に進んだ時に身体への変化を読み取るのが本研究の目的である。
（３）期待する成果
本研究が追う最大の真理は（新原理１）ではあるが、たとえそれを発見できなくても、（新原理２）に従って以下のような成果が得られることを期待する。
①人体への直接刺激のなりリハビリテーションシステムを開発できる
電極など人体に直接装着する器具が不必要なリハビリシステムを期待できる。小さなセンサシステムを体に装着し、音を聞くだけで診察プログラムを受けられ、家庭での治療が可能になる。
②高齢者の転倒などの危険に対する回避システムができる
音フィードバックの直前でセンサデータパターンを解析し、高齢者の転倒パターンに合致する場合には、音声で姿勢修正警告を出力する、事前の危険回避システムへと応用できる。
③スポーツのトレーニングへの応用を期待できる
アスリートの動作の癖やシセをリアルタイムなセンサデータを使って修正するシステムが出来る。また、（新原理２）を使って、トップアスリートのデータを使って、小中学生がまねをしながら競技力向上する時代の到来が期待される。
④全盲及び弱視の障害者に対するアシストシステムが開発できる
ステレオカメラなど、映像入力を加速度センサのデータと統合することで、盲・弱視障害者の行動範囲を広げるアシストシステムが開発できる。例えば足元の段差を音で通知し危険を回避する。
⑤「音ゲー」と呼ばれるエンターテインメントへの応用ができる
音で遊ぶゲームに応用することができ、エンターテインメント産業に利用できる。
３．研究成果
本研究によって得られた成果については、（１）聴覚に対する身体バランス制御の人の基礎的な運動能力と、（２）音声をフィードバックした場合の運動学習、および、身体バランス制御、に分類でき、それぞれに関して以下で説明する。
① 音による誘導によって身体バランス制御の制御量が、その音の変化の種類によって異なることを発見した。
音による身体バランス制御の潜在的な能力による誘導は上記の通り不可能であったが、音刺激を意識的に追いかける実験も行なった結果、左右に変化する音の変化に従って、歩行進行方向を追従させる場合、音の変化方法によって、進行方向転換の回転量が異なることを発見した。この実験では、音刺激を左右にパンを変化させ、それを追従する実験を行い、その変化の仕方については、シグモイド関数とヘビサイド関数に分け、それらをランダムに実験参加者に提示した。その際、シグモイド関数を使った音変化の場合（つまり、穏やかに音が左右で移動する場合）に比べ、ヘビサイド関数を使った場合（矩形で音が左右で変化する場合）のほうが、身体の回転量が多いことがわかった。これは、音声を追いかけるようにガイドするようなアプリケーション（例えばリハビリなど）で、体の回転量を制御したい場合に、ヘビサイド関数でのパンの変更をすることで、多く体を動かすように誘導する、といった応用が可能になると期待できる。
② 音による身体バランス制御は視覚に関わることを発見した。
本成果では視覚を得ている場合について、音刺激に対する反応時間が、短いことを発見した。つまり、聴覚刺激によるバランス制御は視覚情報にも関連していて、視覚情報が助けることで、高速な反応ができていることが明らかになった。
③ 音による運動学習能力は発見できなかった。
音によって運動を学習する、つまり、同じ音刺激を得ることで、身体バランス制御の精度を高めることは不可能であることを実験によって確認した。
（２）音のフィードバックシステムには工学的な課題があることがわかった。
音を動きのデータ（センサデータ）からフィードバックする試験用のシステムを開発した。図４にその写真をします。このシステムでは、加速度センサデータを４４０Hzの音データに変換してイヤホンに音として出力することができる。しかし、このシステムを使ったフィードバック実験を行なったところ、大きく２つの問題点が露呈した。１つ目は、センサデータから音データに変換するディレイが現代の組込システムの技術（つまり、ソフトウェア処理）では大変違和感のある遅延が避けられないことがわかり、動きを先見する必要があることがわかった。しかし、まだ発生していない動きに対し、そのデータを予見して作り出すことは不可能であるので、やはり、高速にリアルタイムなデータ変換ができる演算処理能力を持った計算技術の開発が今後必要である。
図４：音フィードバック機能付実験システム
４．主な発表論文等
［学会発表］
- Shinichi Yamagiwa, Naka Gotoda and Yuji Yamamoto, Space Perception by Acoustic Cues Influences Auditory-induced Body Balance Control, icSports: International Congress on Sports Science Research and Technology Sports 2013, September 2013, Portugal
［獲得外部予算］
- （科研費）音フィードバックによる高度な姿勢制御スキル獲得のための学習支援システムの開発, 2011 – 2013 （研究代表者 山際伸一)