画像のリサイズ

のちの色見本を判定する処理で閾値として面積を利用するため、補正対象の画像はアスペクト比を固定して任意の幅でリサイズします。

# 幅3000pxでリサイズ
scale = 3000 / img.shape[1]
img_src = cv2.resize(img, dsize=None, fx=scale, fy=scale)
					

二値化

色見本の白枠の色に近似した色を閾値として、検出対象を絞り込んだ二値画像を作ります。

hsvLower = np.array([0, 0, 180])       # 抽出する色の下限(HSV)
hsvUpper = np.array([180, 35, 255])    # 抽出する色の上限(HSV)

# HSV で二値化
img_hsv = cv2.cvtColor(img_src, cv2.COLOR_BGR2HSV)
thresh = cv2.inRange(img_hsv, hsvLower, hsvUpper)
					

輪郭検出

一番外側の輪郭を、点の数を極力減らして取得します。

cnts, _ = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
					

注：OpenCV のバージョンが 3.x の場合は返り値が３つになるので、次のように記載します。

_, cnts, _ = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
					

輪郭の絞り込み

すべての輪郭の面積を調べて、閾値より大きい輪郭のみを取得します。面積の取得方法は２通りあります。

cnt_list = []
for i in range(len(cnts)):
	M = cv2.moments(cnts[i])
	if M['m00'] > 5000.0:
		cnt_list.append(cnts[i])
		print(M['m00'])
					

もしくは

cnt_list = []
for i in range(len(cnts)):
	area = cv2.contourArea(cnts[i])
	if area > 5000.0:
		cnt_list.append(cnts[i])
		print(area)
					

コンソールには次のように出力され、閾値より大きい面積を持つ５つの輪郭に絞り込まれます。

14954.5
63986.5
11289.0
9120.0
9553.0
					

点の削減

のちに処理する射影変換のために、輪郭が持つ点情報の数を４つに絞る必要があります。ここでは検出したすべての輪郭から余分な点を減らします。

精度の高い近似と凸包の処理をしたあと、精度を下げてもう一度近似をおこなうことで、複雑な色や形状を含んだ画像から的確に輪郭の点情報を取得することができます。

# 近似
approx = cv2.approxPolyDP(cnt_list[i], 0.001 * cv2.arcLength(cnt_list[i], True), True)

# 凸包（与えられた点をすべて包含する最小の多角形）
approx = cv2.convexHull(approx)

# 近似（精度を下げて再度おこなう）
approx = cv2.approxPolyDP(approx, 0.08 * cv2.arcLength(approx, True), True)
					

最初の近似だけおこなった輪郭をマゼンタ色の線で描画すると下図のようになります。

次に、凸包をおこなうと下図のように点の数はかなり減りますが、これでもまだ多いので更に減らします。

最後に、精度を下げて再び近似をおこなうと、下図のように点の数をかなり減らすことができます。

ここまで検出した輪郭は、画像中央下段の色見本と右上の建物の一部です。建物の輪郭は誤検出ですが、のちの処理で取り除かれるので問題ありません。ここでは、色見本候補の輪郭をすべて検出することが目的です。

仮に、近似→凸法→近似の手順を踏まずに最後の近似だけをおこなった場合は、下図のように異なる結果になります。ここで右上の建物の一部の輪郭が４点で取得できなかったように、色見本候補の輪郭を取りこぼす可能性があります。

形状分類

射影変換をするためには、輪郭の点を４つにする必要があります。

まず10個以下の点を持つ輪郭に絞り込んでから、４つの点を持つ輪郭とそれ以外の点を持つ輪郭とで分類します。

approx_list =[]   # 座標
rect_list = []    # ４点の輪郭インデックス
other_list = []   # ４点以外の輪郭インデックス

if len(approx) <= 10:
	if len(approx) == 4:
		rect_list.append(i)
		approx_list.append(approx)
		print('4points')
	else:
		othrer_list.append(i)
		print('other')
				

コンソールには次のように出力され、４つの点を持つ輪郭が３つ、それ以外の点を持つ輪郭が２つ存在することが分かります。

4points
4points
4points
other
other
				

射影変換（４点の輪郭）

順番がバラバラになっている４点の座標を左下→左上→右下→右上の順に並べ替えて射影変換します。出力矩形サイズは任意で指定できますが、ここでは色見本の比率を保って縮小した 840x594px にしています。

img_list = []
width = 840
height = 594

# 射影変換(四角形)
for i in range(len(rect_list)):

	# numpy 配列を list に変換
	approx = approx_list[i].tolist()

	# x座標の小さい順に並べて４点を左右に分ける
	lef t = sorted(approx, key=lambda x:x[0]) [:2]
	right = sorted(approx, key=lambda x:x[0]) [2:]

	# y座標の小さい順に並べて上下に分ける
	left_down  = sorted(left, key=lambda x:x[0][1]) [0]
	left_up    = sorted(left, key=lambda x:x[0][1]) [1]
	right_down = sorted(right, key=lambda x:x[0][1]) [0]
	right_up   = sorted(right, key=lambda x:x[0][1]) [1]

	# 補正前の４点の座標
	perspective1 = np.float32([left_down, right_down, right_up, left_up])

	# 補正後の４点の座標（width, height は任意のサイズ）
	perspective2 = np.float32()

	# 射影変換行列を生成
	psp_matrix = cv2.getPerspectiveTransform(perspective1, perspective2)

	# 射影変換
	img_rect = cv2.warpPerspective(edit_img, psp_matrix,(width, height))

	img_list.append(img_rect)
					

３つの輪郭内の画素が、それぞれ下図のように射影変換されます。

射影変換（４点以外の輪郭）

４点座標に変換してから、順番がバラバラになっている４点の座標を左下→左上→右下→右上の順に並べ替えて射影変換します。

for i in range(len(other_list)):

	# 輪郭に外接する回転した長方形を取得
	rect = cv2.minAreaRect(cnt_list[other_list[i]])
	
	# ４点座標に修正
	box = cv2.boxPoints(rect)
	box = np.int0(box)
	
	# numpy 配列を list に変換
	box = box.tolist()

	# x座標の小さい順に並べて４点を左右に分ける
	left  = sorted(box, key=lambda x:x[0]) [:2]
	right = sorted(box, key=lambda x:x[0]) [2:]

	# y座標の小さい順に並べて上下に分ける
	left_down  = sorted(left, key=lambda x:x[0]) [0]
	left_up    = sorted(left, key=lambda x:x[0]) [1]
	right_down = sorted(right, key=lambda x:x[0]) [0]
	right_up   = sorted(right, key=lambda x:x[0]) [1]
	
	# 出力矩形サイズを取得（取得する矩形の傾きによって計算に用いる座標を変える）
	if right_up[0] - left_up[0] > 0:
		width = right_up[0] - left_up[0]
	else:
		width = left_up[0] - right_up[0]
	if left_down[1] - left_up[1] > 0:
		height = left_down[1] - left_up[1]
	else:
		height = left_up[1] - left_down[1]
	
	# 補正前の４点の座標
	perspective1 = np.float32([left_down, right_down, right_up, left_up])

	# 補正後の４点の座標
	perspective2 = np.float32()

	# 射影変換行列を生成
	psp_matrix = cv2.getPerspectiveTransform(perspective1, perspective2)

	# 射影変換
	img_rect = cv2.warpPerspective(edit_img, psp_matrix,(width, height))
	
	img_list.append(img_rect)
					

４点以外の輪郭を４点座標に変換した輪郭をシアン色の線で描画すると下図のようになります。

輪郭内の画素を射影変換すると下図のようになります。

判定１：縦横比率

色見本の縦横比率と異なる比率の場合は候補から除外します。

for i in range(len(img_list)):

	h, w = img_list[i].shape[:2]

	# 色見本の縦横比は 1.4 のため、ゆとりをもたせて判定する
	if 1.2 < (w / h) < 1.5:
		print('OK')
	else:
		print('NG')
		continue
					

判定２：白枠の有無

白枠の色に近い画素が色見本の幅ほど連続しているかで白枠と判定します。

# for i in range(len(img_list)):

	# 二値化
	img = cv2.cvtColor(img_list[i], cv2.COLOR_BGR2GRAY)
	ret, thresh = cv2.threshold(img, 100, 255, cv2.THRESH_BINARY)

	# 255 の連続最大数を求める
	max = 0
	for line in thresh:
		cnt = 0
		for i in line:
			if i > 0:
				cnt += 1
			if cnt > max:
				max = cnt

	# 連続最大数が色見本の幅に近ければ白枠とみなす
	if max > w * 0.95:
		print('OK')
	else:
		print('NG')
		continue
					

二値化や連続最大数の閾値の調整により、判定の厳密さを変えることができます。

色見本が極端に暗い場所や明るい場所に配置されていたり、一部が遮蔽物に隠れたり、斜めになるなど、実際には様々な影響によって下図のように明瞭に検出できない場合もあります。その場合は、環境に応じて閾値を調整していく必要があります。

判定３：色の構成

色見本の色が規格の構成かどうかを判定します。

まず、色見本画像に対する白枠の太さの比率を求めて、画像幅から白枠の幅を算出して白枠を消去します。

# for i in range(len(img_list)):

	ratio = 0.13
	h, w = img_list[i].shape[:2]
	frame = int(w * ratio)
	img_dst = img[frame: h - frame, frame: w - frame]
					

次に、各色の切り出す領域を求めて、切り出した画素の平均値を色情報として取得します。

# for i in range(len(img_list)):

	color = 3   # 色見本の色数（黒・白・黒）
	splitW = 8  # 切り出し領域の幅（１色の幅を何等分するか）
	splitH = 16 # 切り出し領域の高さ（１色の高さを何等分するか）
	margin = 20 # 境界は他の色の影響を受ける可能性があるためマージンをとる

	h, w = img_dst.shape[:2]
	cutoutW = int(w / (color * splitW)) + margin
	cutoutH = int(h / (splitH)) + margin
	stepX = int(w / color)

	# 切り出し開始位置設定
	cutoutStartX = cutoutW
	cutoutStartY = cutoutH

	# 色見本色情報の初期化
	color_sample_bgr = np.zeros((color, 3), dtype=np.uint8)
	color_sample_hsv = np.zeros((color, 3), dtype=np.uint8)

	# １色ずつ切り出して平均値を取得
	for i in range(color):

		# 切り出し
		img_bgr = img[cutoutStartY: cutoutStartY + cutoutH, cutoutStartX: cutoutStartX + cutoutW]

		# BGR平均値を取得
		# flattenで一次元化しmeanで平均を取得
		color_sample_bgr[i][0] = int(img_bgr.T[0].flatten().mean())
		color_sample_bgr[i][1] = int(img_bgr.T[1].flatten().mean())
		color_sample_bgr[i][2] = int(img_bgr.T[2].flatten().mean())

		# BGRからHSVに変換
		img_hsv = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2HSV)

		# HSV平均値を取得
		# flattenで一次元化しmeanで平均を取得
		color_sample_hsv[i][0] = img_hsv.T[0].flatten().mean()
		color_sample_hsv[i][1] = img_hsv.T[1].flatten().mean()
		color_sample_hsv[i][2] = img_hsv.T[2].flatten().mean()

		# 次の色の開始位置へ
		cutoutStartX += stepX
					

切り出し領域の指定座標で margin をとることで、近隣の色の影響を受けた画素を避けて取得しています。

そして、色見本の色が規格の構成（黒・白・黒）かどうかを判定します。閾値を調整することで厳密に判定することができます。

# for i in range(len(img_list)):

	# 左右の黒の色差
	diff = 0
	for i in range(3):
		diff += (abs(int(color_sample_bgr[0][i]) - int(color_sample_bgr[2][i])))

	# 色差（閾値は低いほど厳密）
	if diff > 18:
		print('NG')
		continue
	else:
		# 白と黒の色差
		diff = 0
		for i in range(3):
			diff += (abs(int(color_sample_bgr[0][i]) - int(color_sample_bgr[1][i])))
		# 色差（閾値は高いほど厳密）
		if diff < 250:
			print('NG')
			continue
		print('OK')
					

明るさの調整

色見本の白のRGB値の最大値と黒のRGB値の最小値の差分を補正値として、明るさの調整をします。ここではコントラストの調整はしていません。

# 補正値
bright_up = int(255 - w_max)
bright_down = b_min
bright = int(bright_up - bright_down)

# 明るさ：beta、コントラスト：alpha
img_dst = adjust(img_dst, alpha=1.0, beta=0.392 * bright)
					

色見本の画素値を比較すると若干の明るさの変化が分かります。この画像の場合は一見して違いが分かりにくいのですが、明るさ調整後の画像の方が若干明るく変化しています。色見本の画素値を比較すると、その変化が分かります。

ぼかし

明るい画素と暗い画素の合成によってできてしまう境界を目立たなくする目的で、軽めの「ぼかし」をかけます。

細かい調整は必要ないので、ここでは標準偏差に 0 を指定して、カーネルサイズから標準偏差が自動計算されるようにしています。

# カーネル：(15, 15)、標準偏差：0
img_dst = cv2.GaussianBlur(img_dst, (1, 1), 0)