L515を用いた物流倉庫棚の在庫管理への活用実験

概要

このプロジェクトでは屋内にてLight Detection and Ranging (LiDAR)のセンサーによる対象物の計測を行います。

計測に用いたセンサー（高精度デプスカメラ）：L515

RealSense L515 公式サイト

この実験は物流における効率化を目的にしており、今後需要が益々高まると予想されている高精度デプスカメラであるL515を利用し、計測アプリケーションを用いてどの程度正確に対象物を計測できるかを調査しました。

例えば、上記センサーを用いて、対象物（箱）を計測した場合、下記のような結果となります。

計測する対象物（箱) — 計測する対象物（箱）　※在庫管理として、物流倉庫の棚で管理されている箱を想定

Intel RealSense L515とは

Intel社から販売されているデプスカメラの一つです。

RealSense L515 公式サイト

デプスカメラとは、内蔵されている深度センサにより、カメラから対象物までの距離等の奥行き情報の取得が可能なカメラです。

通常のカメラと同様に、RGB情報から映像を出力することも可能です。

RealSense L515では、深度センサにLiDERを採用しています。

従来のLiDERセンサでは360°検出可能な回転方式が主流でしたが、照射範囲のみを検出するSolid State方式という回転機構をもたない手法により、小型化かつ軽量化を実現しています。

LiDARカメラにも種類や特徴があり、前述したL515は屋内に特化したカメラで物流現場において多大な性能を発揮します。

そのため、当センサー（L515）を販売しているIntel/Realsenseの公式WEBサイトでも、当センサー推奨用途の1つとして、物流倉庫での在庫管理のデモンストレーション映像が公開されております。

以下はIntel社が出しているL515のデモンストレーション動画と、その動画から一番ポイントとなる部分を抜粋したのキャプチャ画像です。

ここではデモンストレーションのイメージ

主な活用方法

衝突回避センサ
在庫管理
カウント
外観検査

使用したアプリケーションソフト

DIM Weight Software (以下DWSと略)

このアプリケーションはIntel社のデプスカメラであるRealsense L515上で動き、以下のような特徴を持ちます

長方形の物体を検知し、幅、奥行、高さを計測
対象とある一定距離にて高精度の検知計測可能
キャリブレーション（※）した定点からの観測で高精度の検知計測可能

動機

このアプリケーションの推奨はキャリブレーションの観点から物体に対して上方から撮影し計測するというものでした。

しかし物流の現場では、常に上から測定できるというものではなく、例えば棚の上にある物体に対して横方向からでも測定する機会が出てくると思われます。そこで今回、棚の上に置いてある箱に対して横方向から撮影し計測することでどのくらいの精度が出るのか検証してみました。さらに様々な状況を想定して、できることできないことの検証も行います。

検証方法

計測対象物

検証に用いた箱は以下の3種類で、小さい順に　小　中　大　とします

色見本の一部が隠れないように配置すること
色見本に影が映り込まないように撮影すること
色見本に照明などの強い光を当てないように撮影すること

計測環境・条件

上記の計測対象物を以下図・映像のように棚に配置して計測しました。

三種類の長方形の箱（対象物）を棚の上に用意し、以下の様な状況を想定し計測、検証しました。

1．距離：3段階（0.5m〜1m、1.5~2m、3〜4m）
2．角度：カメラが棚奥の壁に垂直
3．対象物のサイズ：3つ（小・中・大）

なお追加で、

対象物が2つ以上の時
対象物が移動しているとき
対象物がカメラの端の方に映っているとき
対象物が重なっているとき

も検証してみました。追加実験は物体は棚上ではなく床に置き、壁に接触させ横方から撮影計測しました。

実験環境

OS：　Microsoft Windows 10 Home
システムモデル：　dynabook RZ63/CS
プロセッサ：　Intel64 Family 6 Model 78 Stepping 3 GenuineIntel ~2600 Mhz
メモリ：　16GB

実験結果

今回の計測ではUI上の以下のように対応しています

Height：奥行 Width：幅 Length：高さ

これは本来DWSが物体上方から撮影、計測することを想定しているので、今回のように横方向から計測した場合、箱正面をDWSが箱上方面と認識しているからです。

短距離

検証の結果

短距離で計測した場合、サイズが小中の計測対象物は概ね計測ができましが、精度があまりよく出ていませんでした。

サイズが大の計測対象物に関しては近すぎてエラーになりました。これは元々の距離も近く計測対象物に奥行きがあったため、計測対象物正面とカメラの位置が近くなったためと思われます。

中距離

検証の結果

壁までの約２m弱の距離で計測を行いました。

サイズが小の計測対象物に関してはうまく検出できませんでした。

しかし今回はサイズが中大の計測対象物に関しては、概ね正確な計測ができました。

長距離

検証の結果

今回の計測では、サイズ小中の計測において、棚の横にある長方形物に対して誤検出があったと思われます。

またサイズ大の計測において計測対象物の位置はとらえているのですが、計測対象物の輪郭はとらえられていないです。棚（壁）までの距離が遠くなったことによって、他の物体も入ってきて平面をあまり正確に捉えていないためキャリブレーションの精度が落ちてしまったものと考えられます。

追加実験結果

計測対象物が2つ以上の時

検証の結果

上の画像では2つの計測対象物を1つの計測対象物と認識し、下の画像では２つある計測対象物に対して１つの計測対象物しか認識しませんでした。

やはり計測対象物は一つしか認識できないということがわかりました。

計測対象物が移動しているとき

検証の結果

計測対象物が移動しているとうまく検出計測できませんでした。

上の結果をから考察するに移動する前の場所からの輪郭が検出されているものと考えられます。

計測対象物がカメラの端の方に映っているとき

検証の結果

上記結果から計測対象物が端のほうにあるとうまく検出計測できないことが分かりました。

計測対象物が重なっているとき

検証の結果

計測対象物が重なっているときはうまく検出計測することができませんでした。

考察するに物体が重なると輪郭部分が背景の物体と手前の物体とが重なりうまく検出できないものと思われます。

結論

キャリブレーション時点で平面（平坦な壁や床）を撮影して、かつ計測対象物との距離が2m弱でカメラの中心に計測対象物を捉えている条件下であれば冒頭に記載の物流現場における箱の計測の自動化・効率化は可能と考えられます。

逆にキャリブレーション時点で平面（平坦な壁や床）を撮影しないとエラーが出てしまい、計測できませんでした。

今回の場合は棚上計測対象物に対して角度をつけない（キャリブレーション時点でカメラが壁に垂直、平面を撮影している）場合は物体計測することができました。

しかし角度をつけた（キャリブレーション時点でカメラが平面を撮影していない）場合はほとんどキャリブレーションに失敗し計測することができませんでした。

キャリブレーション後にカメラを移動させてさらに撮影した結果、定点からの測定でないとそもそもの精度の物体検出がうまくいかないことが検証できました。

やはりキャリブレーションした後はカメラ位置は固定し、もしその位置から移動したなら再キャリブレーションの必要があります。

また定点観測でも物体が移動しているところを計測すると検出はできるのですが、誤検出が多く、良い計測には至りませんでした。

また対象物が複数の場合もこのアプリケーションでは複数物体検出ができませんでした。

Operational mode: Moving/Mobile (coming soon)
Measurement objects: Irregular objects (coming soon)

公式ドキュメントに上のような記述があるので現段階では移動中の物体、カメラからの撮影および非直方体の物体に対してこのアプリケーションを用いては検出できないものと思われます。

ただ今後はこれらの機能も追加されるとの見込みなので、更なる用途も広がります。

備考

アプリケーション推奨環境

床やテーブルの上までの距離が0.8m以上であること
対象物の上面までの距離が0.7m以上であること
床やテーブルの上までの距離が4m以下であること
カメラからの視線と対象物上面の法線との間の角度は、0～45度であること
対象物全体がフレームの中央80%に収まっていること
対象物は平らな面に置く（傾けない）こと
日光があたる場所でないこと
対象物の下が表面の反射率が高く、鏡面性が非常に低い（マットで光沢のない）ものであること

※キャリブレーション

画像を補正することを目的に、前もってカメラのパラメータを調整すること

カメラキャリブレーション (Camera Calibration, Camera Resectioning) を行うと、レンズの歪みを表現するパラメータや、カメラのワールド座標系での位置姿勢を推定できます。

最後に

Intelが標準で出しているL515を扱うためのソフトウェア（DWS）では、できることが限られています。

静止した状態での計測（対象物・センサーともに）
センサーに写る範囲内に複数の対象物（箱）があった場合、１つのみしか計測できない。

これらに関しましては、デモンストレーション映像にあったように、実際の運用の用途では、センサーを移動させながら、棚に陳列された多数の在庫商品（センサーに写る範囲に複数個がある状態）を計測できる必要があると思いますが、そのためには、SDKを用いて、上記に対応したソフトウェアを開発する必要があります。

これらの開発に関しましては、弊社までご相談下さい。