ハンドトラッキングとは 映像に写っている手や指の位置を検出し、追跡する技術のことです。
この記事ではハンドトラッキングの活用事例についてご紹介します。

ハンドトラッキングの活用について

ハンドトラッキングとAIを組み合わせることにより、以下のようなことを判定・分析することが可能です。

  • カメラに写る人が何の作業をしているかを判定する。
  • 一つ一つの行動(作業)または一連の行動(作業)にかかる時間や速度を分析する。

弊社ではハンドトラッキング技術の調査・実験や、様々なAIの開発・導入を行っているため、下記にハンドトラッキングとAIを活用した各業界業種の課題/ニーズへの活用事例をご紹介します。

課題/ニーズ

ハンドトラッキングを活用した、ニーズ/課題に関する事例として以下のようなものが考えられます。

楽器のレッスンを自動化

ピアノの練習 ハンドトラッキングの技術を用いることで、一人で練習をする時に、
コンピューター(AI)が指導(※)してくれることが可能になります。


※AIが講師の代わりに講師と同程度の指導を行うわけではなく、講師が不在の自己学習時において、一人では正しく演奏できているかどうか判断が難しい部分に対して、AIがレッスンの補助・支援を行うレッスン支援ツールの位置づけとして活用することが可能です。


ピアノやリコーダー等の指を使って演奏するものにおいては、下記2つのポイントを判定することが可能です。

  • 正しい位置に指を置いているか
  • 演奏する指の速度は最適か

実現方法によって一長一短ありますが、スマートフォンやビデオカメラ等で手元を撮影して保存した動画データを専用のシステム(アプリやWEB等)に送ることで評価(どこが悪い・間違っているか等)する方法と、PCに接続したWEBカメラを用いてリアルタイムに表現する方法があります。

手話の言語化

近年では、聴覚障がい者のためのバリアフリーの一つとしてAIを用いた手話の言語化の研究や実用化に向けた動きがあります。

これらが実現化されれば、手話が分からない店舗スタッフ等(店員、販売員)が聴覚障がい者とやりとりを行う場合に有用です。

手話の言語化は、冒頭で述べたハンドトラッキングの技術とAIを組み合わせることにより実現することが可能です。

まずはカメラを設置することで、上記で述べたようにハンドトラッキングで「手や指」を認識することが出来るようになります。

ただし、ハンドトラッキングはあくまで手や指がカメラのどこに写っているかを判定・認識(検出)することしかできないため、ハンドトラッキングの技術だけで、手や指の動きから言語化することは非常に困難です。

そのため、ハンドトラッキングで「手や指」を認識した上で、AIを組み合わせることにより「手・指の動き➝言葉・文章」への変換が可能になります。

改めて、上記のようにハンドトラッキング及びAIとカメラを用いることで手話が分かる店員がいない場所でも、お客様の対応の支援を行うことが可能となります。

他にも、手話の動画に自動で字幕をつけたり、手話の動画から音声化するなど様々な用途が考えられます。

指差し確認の検知

指差し確認業務は、ホームにいる駅務員が電車が入ってくる前と発車した後や、危険物を取り扱う際、作業現場での作業時等、様々なシーンで使用されます。

指差し確認 現場に設置したカメラから指差し確認の検知

特に命の危険が伴うシーンで使用されることが多いため、指差し確認の漏れ・ミスは重大な事故に繋がる可能性があります。

そのため、指差し確認の漏れ・ミスを防ぐことは非常に重要なことではありますが、監督職員等の管理者が全作業員の指差し確認作業の実施有無を確認することは非現実です。

しかし、上記課題に関しても先の手話の事例同様、ハンドトラッキングの技術とAIを組み合わせることで、AIによる指差し確認忘れ防止の支援を行うことが可能です。

上記にも述べたように、ハンドトラッキングはあくまで手や指がカメラのどこに写っているかを判定・認識(検出)するだけなので
手や指の動きから、何の動作をしているのかは分かりません。
そのため、ハンドトラッキングで「手や指」を認識したうえで、AIを組み合わせることにより手・指の動き➝指差し確認の検知が可能になります。

また、弊社では腕の動きを伴う指差し確認においても対応が可能です。

指差し確認忘却対策にはチェックシートの導入や、指差し確認の呼びかけ、看板を設けるなど様々な方法がありますが、
誰かの目が一番効果的だといえるのではないでしょうか。

上記の技術を活用して指差し確認をリアルタイムで検知し、音やランプで確認の不足を警告することが、より誰かの目に近く、忘却対策に効果的な実現方法であると考えます。

今回使用した技術について

今回の紹介したハンドトラッキングはMediaPipeという「ビデオ、オーディオ、時系列データを利用したMLパイプライン(機械学習の一連の流れを構築、最適化、管理するもの)を構築するためのフレームワーク」を使用したものです。

ソースコードはこちらに公開されています。


現在の最先端のハンドトラッキングの技術は高スペックPCに依存しているものが多いですが、今回ご紹介したMediaPipeを用いたハンドトラッキングの主な特徴は、安価なカメラからの映像からハンドトラッキングが可能ということです。

数年前までは、ハンドトラッキングを行うためには、高価な特殊機材を用いる(三次元計測が出来るデプスセンサや、専用のグローブを用いて推論する)か高価なハイスペックPCを用いる必要がありました。

しかし、今回のご紹介した技法では、
特殊な機器を用意する必要がなく、3000~6000円の安価なカメラや、スマートフォンのカメラからのハンドトラッキングが可能です。

まとめ

今回はハンドトラッキングによる活用事例をいくつか挙げてみました。
さらに弊社には、AI動体解析サービス「AICam Video」というサービスもございます。当パッケージシステムは現時点では、「人の体全体の動き(※)」に対する動体解析のみ対応していますが、ハンドトラッキングの技術を用いることで「手の動き」に対する動体解析も可能になります。
※「人の体全体の動き」の判定方法としては図にあるように「人の骨格」から判断する仕組みとなっています。そのため、今回紹介したハンドトラッキングによる「手の骨格化」の技法を用いることで、手の動きに対する動体解析も実現可能となります。

今回は弊社にて開発した事例のごく一部を紹介いたしました。弊社はシステム開発を会社として、パッケージソフトの販売ではなくお客様のニーズに合わせた”受託開発”を専門としています。本記事に記載された技術に関するご質問や、利活用のご相談などがございましたらお気軽にお問い合わせください。

お問い合わせ・デモのご依頼

お問い合わせフォームはこちら

TEL: 03-5948-9600

弊社は画像処理やAI等の解析分野を強みとしており、解析技術を用いて各企業様が抱える課題を解決するためのシステムをご提供しております。また解析に必要となるデータを取得するためのセンシング(カメラ、レーザー、レーダー等)の選定含めて、ハードウェア・ソフトウェアの両面から、各企業様に最適なご提案をさせて頂いております。

弊社パッケージ製品「AICam Video」「AICam Image」では、機材レンタルを含めたお試し利用のご相談もお受けしております。
デモのご依頼、また「導入方法について聞きたい」「自社事業に利用できるか相談したい」など、どのようなことでもお気軽にお問い合わせください。

※弊社はドローンを活用した事業も展開しております。ドローンにセンサーを搭載させることで、地上からのセンシングだけでは課題解決が困難であるケースにも対応しております。ドローン活用に関する事例や情報等の詳細は、弊社WEBサイト「ドローンビズ」をご参照下さい。