AI・画像処理を用いた自動車のナンバープレートの検出・照合

カメラに写る「ナンバープレート領域の検出」及び「複数のナンバープレートの一致判定(別の場所で同じナンバープレートを見つけること)」を目的としたAI・画像処理の技術情報を紹介します。

はじめに

AIでナンバープレートの検出や比較が出来ることで、今までは人の目や手作業で行っていた「駐車場における車両の駐車時間の計測」や「特定の車両の管理(登録・追跡)」等の車両に関連する業務をコンピューター(システム)を用いて業務効率化・自動化することが可能になります。


当記事では、AIを用いたナンバープレートの検出及び比較(一致率)判定に関して、以下をご紹介します。

  1. AIによる車両管理技術の活用
  2. 既存のナンバープレート検出(認証)技術の活用事例と課題(問題点)
  3. AI・画像処理を用いたナンバープレートの検出・比較の解析処理手順(アルゴリズム)

1.AIによる車両管理技術の活用

車両の交通量調査

車道 交通量の調査をAIで自動化することにより、一定の精度で長期間のカウントが可能です。

現在の交通量調査では、人の目で見た車両を手作業でカウンティングしています。
手作業での交通量調査では、精度が不明確であるが故にカウントミスを防ぐことは困難です。
カウントミスの対策として休憩をこまめにとることや人員を増やす方法がありますが、それでも精度が改善されているかは確認することが出来ません。

また、複数車線の場合は車線の内側を走行している車両は死角となってしまい正しい交通量をカウント出来ない可能性があります。

交通量調査にナンバープレートの比較を組み合わせることにより、

「〇〇地点を通った車両のうち何台が△△地点を通過した。」といったような通過車両の台数からルートごとに別れた割合を算出することで交通ルートの分析が可能です。

他にも、イベント会場や新規店舗などで来場車両同士のナンバープレートを照合することで、

「一日目の来場車数のうち何台が二日目にも来場した。」というような割合を算出することも可能です。

駐車場の巡回業務の効率化

駐車場

スタッフ数の限られている店舗では十分な巡回が行えず別途駐車場巡回のためのスタッフを雇用するなど、コスト面でも大きな負担となっている現状があります。

不正駐車の検知

コンビニエンスストアやコインランドリー、スーパーなどの店舗に併設されている無料駐車場における不正駐車は発見がしにくいという現状があります。


駐車場に設置したカメラに写る車両の駐車時間の計測が出来ることで、一定時間以上の駐車をしている車両は「不正駐車の可能性が高い」とみなして店内にいる社員に知らせることが可能です。

車内人物検知

子どもやペットの車内放置確認のための駐車場への定期巡回は簡単なことではありません。
一車両ずつ車内を確認して巡回する必要があります。

広い駐車場だと一度確認した車を記憶しておくことが難しいため、どうしても非効率的な業務になってしまうという現状があります。


巡回の際にタブレット端末などの機器を用いて、そのカメラに写ったナンバープレートを記憶させておけば、再巡回した際に写ったナンバープレートと過去の巡回時に記録したナンバープレートを照合し、確認済みの車両かを判定することが可能です。

弊社では車内放置事故防止のための人物を検知するAIをご用意することも可能です。

車内人物検知について詳しくはこちら

駐車場の不正車両の管理

コインパーキング

コインパーキングでの無賃駐車は清算してからでないと判明しません。
せっかく監視カメラを設置していたとしても退場してから時間が経っていると、不正車両はいつ来るのかが分からないためあまり意味がありません。
これでは無賃駐車の常習犯がいたとしても通常の監視カメラでは車両の特定や通報が厄介です。


弊社の技術をご活用して頂くことで、不正車両が駐車場に来場した際に通知を送ることが可能です。


無賃駐車や不正駐車に困っている方に
弊社の技術を用いた不正車両を特定するシステムをご紹介します。


このシステムでは以下のような手順で不正車両の特定が可能です。

  • ①無賃駐車が発覚したらその車両を不正車両としてナンバープレートを登録します。
  • ②登録した不正車両が来場したときに駐車場管理会社に知らせます。

詳細及びお問い合わせは以下サイトからアクセスください。


ネット回線が無い場所も工事不要で監視できる、防犯カメラが月額980円~コンセントにつなぐだけ!ヒイヅル

特定車両の検知

上記に挙げた不正車両だけでない車両を登録することも可能です。
例えば、優良顧客の車両を登録しておいて来場したときに店内に知らせることによりお出迎えするなど、ワンランク上のおもてなしが実現可能です。

2.既存のナンバープレート検出(認証)技術の活用事例と課題(問題点)

AIでナンバープレートを比較するための手法の一つにOCR(Optical character recognition, 光学文字認識)というものがあります。

この手法はナンバープレートの画像から数字や文字の読み取りを行い、読み取り結果を照合します。


ショッピングモール等の駐車場において、事前清算済みの車両はゲート接近時に自動的にゲートが開閉するような、「車番認識システム」というのはこの手法が用いられています。


OCRの大まかな流れは以下です。

OCR

このOCRによる読み取り行うためには文字部分が明瞭に撮影されるように高解像度のカメラを正面に近い画角でナンバープレートを写す必要があるため、カメラを設置する場所が限られてしまいます。

3.AI・画像処理を用いたナンバープレートの検出

弊社ではこの課題を解決するため、別の手法を提供しています。
ナンバープレートが特徴を持つ領域をAIに学習させ、特徴量で比較するというものです。


弊社で行っているナンバープレート比較の大まかな流れは以下です。

深層距離学習

この手法を用いることにより、今まで出来なかった低解像度のカメラに写ったナンバープレートの照合や複数のナンバープレートが写るような広角画像からの解析、照合を実現することが可能です。
この手法であれば低解像度のカメラで撮影した映像や複数の車両が写った画像など、文字部分の読み取りが難しい映像から解析を行うことが可能です。

比較の解析処理手順(アルゴリズム)

開発言語はPython
画像処理にはOpenCVを用いました。
※記載している画像は情報保護の観点から、地域名と分類番号は黒塗りをしております。実際に処理にかけている画像はモザイク、黒塗りの加工を一切行っておりません。

元画像

上の画像を元に解説していきます。

A_ナンバープレートの検出

a1.画像を変換する。

画像処理

OpenCVの関数を用いて画像を変換します。
まずは画像をグレースケール化(左)し、二値化(右)します。
画像を変換するのは、ナンバープレートの文字や周囲の輪郭を強調することに意味があるためです。

この処理を入れることによりナンバープレートの検出率が向上します。


a2.輪郭を抽出する。

変換後の画像からcv2.findContours()を用いて輪郭を抽出します。輪郭の抽出には近似手法を用いています。
輪郭抽出した結果が以下です。
一枚の画像から1666枚の輪郭が抽出されました。赤線で囲われているのがナンバープレートの画像です。

抽出された輪郭

a3.AIを使ってナンバープレートを判定する。


先ほどの画像群からどれがナンバープレートかを検出するためにAIを使います。
今回使うAIは、画像を投げると「ナンバープレートかナンバープレートじゃないか」を教えてくれるAIです。以下のようなイメージです。

ナンバープレート判定AI

このAIはKerasを用いて作成しました。
ナンバープレートである予測値が0.8以上の数値が出た画像が以下の1枚です。

検出したナンバープレート

きちんとナンバープレートかどうかを判定出来ています。

B_ナンバープレート同士の比較

AIを使ってナンバープレート同士を比較します。
比較のために使うAIは、Metric Learningの手法の一つであるSiamese Networkを用いたものです。

Metric Learningというのは「距離学習」と言われる手法で、データ間の計量が学習できる手法です。データのペアを渡すことにより、そのデータ間の類似度を返します。
以下のようなイメージです。

マッチングAI

このAIもKeresを用いて作成しました。

ナンバープレートを比較するために同じ車両の画像を2枚用意しました。

比較する元画像と検出したナンバープレート

全体画像からナンバープレートの検出を行い、
AIを用いて切り出したナンバープレート(赤枠で囲った画像のペア)を比較させました。

こちらが判定結果です。

マッチングスコア

上記にも述べたように、このAIは0~1の数値で類似度を返します。
1に近ければ近いほど類似度が高いので、
「同じナンバープレートである可能性が高い」と判定出来ています。

このように異なる距離や角度から撮影したナンバープレートも
同一のナンバープレートとして判定することが可能です。

今回は弊社にて開発した事例のごく一部を紹介いたしました。弊社はシステム開発を会社として、パッケージソフトの販売ではなくお客様のニーズに合わせた”受託開発”を専門としています。本記事に記載された技術に関するご質問や、利活用のご相談などがございましたらお気軽にお問い合わせください。