ハンドトラッキングの活用について

ハンドトラッキングとAIを組み合わせることにより、以下のようなことを判定・分析することが可能です。

• カメラに写る人が何の作業をしているかを判定する。
• 一つ一つの行動（作業）または一連の行動（作業）にかかる時間や速度を分析する。

弊社ではハンドトラッキング技術の調査・実験や、様々なAIの開発・導入を行っているため、下記にハンドトラッキングとAIを活用した各業界業種の課題/ニーズへの活用事例をご紹介します。

課題/ニーズ

ハンドトラッキングを活用した、ニーズ/課題に関する事例として以下のようなものが考えられます。

楽器のレッスンを自動化

※AIが講師の代わりに講師と同程度の指導を行うわけではなく、講師が不在の自己学習時において、一人では正しく演奏できているかどうか判断が難しい部分に対して、AIがレッスンの補助・支援を行うレッスン支援ツールの位置づけとして活用することが可能です。

ピアノやリコーダー等の指を使って演奏するものにおいては、下記2つのポイントを判定することが可能です。

• 正しい位置に指を置いているか
• 演奏する指の速度は最適か

実現方法によって一長一短ありますが、スマートフォンやビデオカメラ等で手元を撮影して保存した動画データを専用のシステム(アプリやWEB等)に送ることで評価(どこが悪い・間違っているか等)する方法と、PCに接続したWEBカメラを用いてリアルタイムに表現する方法があります。

手話の言語化

近年では、聴覚障がい者のためのバリアフリーの一つとしてAIを用いた手話の言語化の研究や実用化に向けた動きがあります。

これらが実現化されれば、手話が分からない店舗スタッフ等（店員、販売員）が聴覚障がい者とやりとりを行う場合に有用です。

まずはカメラを設置することで、上記で述べたようにハンドトラッキングで「手や指」を認識することが出来るようになります。

ただし、ハンドトラッキングはあくまで手や指がカメラのどこに写っているかを判定・認識(検出)することしかできないため、ハンドトラッキングの技術だけで、手や指の動きから言語化することは非常に困難です。

そのため、ハンドトラッキングで「手や指」を認識した上で、AIを組み合わせることにより「手・指の動き➝言葉・文章」への変換が可能になります。

改めて、上記のようにハンドトラッキング及びAIとカメラを用いることで手話が分かる店員がいない場所でも、お客様の対応の支援を行うことが可能となります。

他にも、手話の動画に自動で字幕をつけたり、手話の動画から音声化するなど様々な用途が考えられます。

指差し確認の検知

指差し確認業務は、ホームにいる駅務員が電車が入ってくる前と発車した後や、危険物を取り扱う際、作業現場での作業時等、様々なシーンで使用されます。

特に命の危険が伴うシーンで使用されることが多いため、指差し確認の漏れ・ミスは重大な事故に繋がる可能性があります。

そのため、指差し確認の漏れ・ミスを防ぐことは非常に重要なことではありますが、監督職員等の管理者が全作業員の指差し確認作業の実施有無を確認することは非現実です。

しかし、上記課題に関しても先の手話の事例同様、ハンドトラッキングの技術とAIを組み合わせることで、AIによる指差し確認忘れ防止の支援を行うことが可能です。

上記にも述べたように、ハンドトラッキングはあくまで手や指がカメラのどこに写っているかを判定・認識(検出)するだけなので
手や指の動きから、何の動作をしているのかは分かりません。
そのため、ハンドトラッキングで「手や指」を認識したうえで、AIを組み合わせることにより手・指の動き➝指差し確認の検知が可能になります。

また、弊社では腕の動きを伴う指差し確認においても対応が可能です。

指差し確認忘却対策にはチェックシートの導入や、指差し確認の呼びかけ、看板を設けるなど様々な方法がありますが、
誰かの目が一番効果的だといえるのではないでしょうか。

上記の技術を活用して指差し確認をリアルタイムで検知し、音やランプで確認の不足を警告することが、より誰かの目に近く、忘却対策に効果的な実現方法であると考えます。

今回使用した技術について

今回の紹介したハンドトラッキングはMediaPipeという「ビデオ、オーディオ、時系列データを利用したMLパイプライン(機械学習の一連の流れを構築、最適化、管理するもの)を構築するためのフレームワーク」を使用したものです。

ソースコードはこちらに公開されています。

現在の最先端のハンドトラッキングの技術は高スペックPCに依存しているものが多いですが、今回ご紹介したMediaPipeを用いたハンドトラッキングの主な特徴は、安価なカメラからの映像からハンドトラッキングが可能ということです。

数年前までは、ハンドトラッキングを行うためには、高価な特殊機材を用いる（三次元計測が出来るデプスセンサや、専用のグローブを用いて推論する）か高価なハイスペックPCを用いる必要がありました。

しかし、今回のご紹介した技法では、
特殊な機器を用意する必要がなく、3000～6000円の安価なカメラや、スマートフォンのカメラからのハンドトラッキングが可能です。

まとめ

今回はハンドトラッキングによる活用事例をいくつか挙げてみました。
さらに弊社には、AI動体解析サービス「AICam Video」というサービスもございます。当パッケージシステムは現時点では、「人の体全体の動き（※）」に対する動体解析のみ対応していますが、ハンドトラッキングの技術を用いることで「手の動き」に対する動体解析も可能になります。
※「人の体全体の動き」の判定方法としては図にあるように「人の骨格」から判断する仕組みとなっています。そのため、今回紹介したハンドトラッキングによる「手の骨格化」の技法を用いることで、手の動きに対する動体解析も実現可能となります。

今回は弊社にて開発した事例のごく一部を紹介いたしました。弊社はシステム開発を会社として、パッケージソフトの販売ではなくお客様のニーズに合わせた”受託開発”を専門としています。本記事に記載された技術に関するご質問や、利活用のご相談などがございましたらお気軽にお問い合わせください。