jashliao 用 VC++ 實現 fanfuhan OpenCV 教學016 ~ opencv-016-圖像ROI與ROI操作 [ 簡單使用HSV產生ROI實作 提取 前景&後景 分離 去背/替換背景]

資料來源: https://fanfuhan.github.io/

https://fanfuhan.github.io/2019/03/28/opencv-016/

GITHUB:https://github.com/jash-git/fanfuhan_ML_OpenCV

https://github.com/jash-git/jashliao-implements-FANFUHAN-OPENCV-with-VC

★前言:

★主題:

    圖像的ROI(region of interest)是指圖像中感興趣區域、在OpenCV中圖像設置圖像ROI區域，實現只對ROI區域操作。

    01.矩形ROI區域提取
    02.矩形ROI區域copy ~ 拷貝(複製)原圖的部分內容成為一張新圖
    03.不規則ROI區域 ~使用BGR2HSV將綠色背景分離，並取前景，最後合成新圖
        – 用inRange()和not操作 生成對應 背景 & 前景(ROI區域) 的 mask
        – 用and操作從原圖抓取 前景(ROI區域)/背景
        – 用背景mask和or操作 產生新背景

        – 用add操作把新背景與ROI區域合成出新圖

★C++

// VC_FANFUHAN_OPENCV016.cpp : 定義主控台應用程式的進入點。
//
/*
// Debug | x32
通用屬性
| C/C++
|	| 一般
|		| 其他 Include 目錄 -> C:\opencv\build\include
|
| 連結器
| 	|一一般
|		|  其他程式庫目錄 -> C:\opencv\build\x64\vc15\lib
|
| 	|一輸入
|		| 其他相依性 -> opencv_world411d.lib;%(AdditionalDependencies)
// Releas | x64
組態屬性
| C/C++
|	| 一般
|		| 其他 Include 目錄 -> C:\opencv\build\include
|
| 連結器
| 	|一般
|		| 其他程式庫目錄 -> C:\opencv\build\x64\vc15\lib
|
| 	|一輸入
|		| 其他相依性 -> opencv_world411.lib;%(AdditionalDependencies)
*/
#include "stdafx.h"
#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>

using namespace std;
using namespace cv;

void pause()
{
	printf("Press Enter key to continue...");
	fgetc(stdin);
}
int main()
{
	Mat src = imread("../../images/test.png");
	/*
	* 提取图像前景和背景
	*/
	Mat src2 = imread("../../images/boy.jpg");
	if (src.empty() && src2.empty())
	{
		cout << "could not load image.." << endl;
		pause();
		return -1;
	}
	else
	{
		imshow("input", src);
		int h = src.rows;
		int w = src.cols;
		
		int cy = h / 2;
		int cx = w / 2;
		Rect rect(cx - 100, cy - 100, 200, 200);
		// 注意：roi 与 src指向同一块内存区域，改变roi,src也会改变
		Mat roi = src(rect);// 感興趣區域 (Region of Interest)
		imshow("roi", roi);

		//---------------------//
		/*
		//VC_FANFUHAN_OPENCV009內容
		Mat hsv;
		imshow("input boy", src2);
		cvtColor(src2, hsv, COLOR_BGR2HSV);
		Mat mask, mask_not;// 感興趣區域 (Region of Interest)
		// 从HSV表中查到绿色的最低值和最高值，建立掩模
		inRange(hsv, Scalar(35, 43, 46), Scalar(77, 255, 255), mask);//符合規定為白色(255)，不符合範圍為黑色(0)		
		bitwise_not(mask, mask_not);
		imshow("mask", mask);//背景遮罩
		imshow("mask_not", mask_not);//前景遮罩
		Mat fg, bg;
		bitwise_and(src2, src2, bg, mask);// 提取背景		
		bitwise_and(src2, src2, fg, mask_not);// 提取前景
		imshow("background", bg);
		imshow("foreground", fg);
		*/

		//*
		// 人物背景图，换背景

		// load image
		Mat image = imread("../../images/boy.jpg");
		imshow("input_image", image);

		// generate mask
		Mat hsv, mask, mask_not;
		cvtColor(image, hsv, COLOR_BGR2HSV);

		inRange(hsv, Scalar(35, 43, 46), Scalar(77, 255, 255), mask);//取出綠色背景
		imshow("mask", mask);

		bitwise_not(mask, mask_not);
		imshow("mask_not", mask_not);//取出非綠色前景

		// extract person
		Mat person;
		bitwise_and(image, image, person, mask_not);
		imshow("person", person);

		// gengerate background
		Mat background = Mat::zeros(image.size(), image.type());//建立黑色畫布
		background.setTo(Scalar(255, 0, 0));//把黑色改成紅色
		imshow("background", background);

		// combine background + person
		Mat dst;
		bitwise_or(background, background, dst, mask);//新背景
		imshow("dst", dst);

		add(dst, person, dst);
		imshow("ouput", dst);
		//*/

		waitKey(0);
	}

	return 0;
}

★Python

import cv2 as cv
import numpy as np

src = cv.imread("D:/javaopencv/dahlia_4.jpg")
cv.namedWindow("input", cv.WINDOW_AUTOSIZE)
cv.imshow("input", src)
h, w = src.shape[:2]

# 获取ROI
cy = h//2
cx = w//2
roi = src[cy-100:cy+100,cx-100:cx+100,:]
cv.imshow("roi", roi)

# copy ROI
image = np.copy(roi)

# modify ROI
roi[:, :, 0] = 0
cv.imshow("result", src)

# modify copy roi
image[:, :, 2] = 0
cv.imshow("result", src)
cv.imshow("copy roi", image)

# example with ROI - generate mask
src2 = cv.imread("D:/javaopencv/tinygreen.png");
cv.imshow("src2", src2)
hsv = cv.cvtColor(src2, cv.COLOR_BGR2HSV)
mask = cv.inRange(hsv, (35, 43, 46), (99, 255, 255))

# extract person ROI
mask = cv.bitwise_not(mask)
person = cv.bitwise_and(src2, src2, mask=mask);

# generate background
result = np.zeros(src2.shape, src2.dtype)
result[:,:,0] = 255

# combine background + person
mask = cv.bitwise_not(mask)
dst = cv.bitwise_or(person, result, mask=mask)
dst = cv.add(dst, person)

cv.imshow("dst", dst)

cv.waitKey(0)
cv.destroyAllWindows()

★結果圖:

★延伸說明/重點回顧:

    使用HSV顏色分割前景/後景(背景)一定會用到『HSV的lower、upper值與RGB對應表』，所以現在一定要再貼一次方便查詢