为了关注得到的feature map中是否在ROI有比较大的值&＃xff0c;常需要将attention map可视化&＃xff0c;将其与输入图片叠加&＃xff0c;可以非常直观的看到空间中的权重分布。为达到题图效果&＃xff0c;可以使用opencv实现。
代码如下
import matplotlib as mpl
# we cannot use remote server&＃39;s GUI, so set this
mpl.use(&＃39;Agg&＃39;)
import matplotlib.pyplot as plt
from matplotlib import cm as CM
from PIL import Image
import h5py
import numpy as np
import cv2img_path &＃61; "/home/datamining/Datasets/CrowdCounting/shanghai/part_A_final/test_data/images/IMG_54.jpg"
img &＃61; cv2.imread(img_path)
# adaptive gaussian filter
adaptive &＃61; h5py.File(img_path.replace(&＃39;.jpg&＃39;,&＃39;.h5&＃39;).replace(&＃39;images&＃39;,&＃39;ground_truth&＃39;),&＃39;r&＃39;)
adaptive &＃61; np.asarray(adaptive[&＃39;density&＃39;])
heatmap &＃61; adaptive/np.max(adaptive)
# must convert to type unit8
heatmap &＃61; np.uint8(255 * heatmap)
heatmap &＃61; cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)
superimposed_img1 &＃61; heatmap*0.9&＃43;img
# fixed gaussian filter
fixed &＃61; h5py.File(img_path.replace(&＃39;shanghai&＃39;,&＃39;shanghaitech_fixed&＃39;).replace(&＃39;.jpg&＃39;,&＃39;.h5&＃39;).replace(&＃39;images&＃39;,&＃39;ground_truth&＃39;),&＃39;r&＃39;)
fixed &＃61; np.asarray(fixed[&＃39;density&＃39;])
heatmap &＃61; fixed/np.max(fixed)
heatmap &＃61; np.uint8(255 * heatmap)
heatmap &＃61; cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)
superimposed_img2 &＃61; heatmap*0.9&＃43;img
imgs &＃61; np.hstack([img, superimposed_img1,superimposed_img2])cv2.imwrite(&＃39;figs/superimposed_img.jpg&＃39;, imgs)
使用opencv得到图片img&＃xff0c;从h5文件中得到对该图中人头的标注热力图&＃xff0c;此处可将其视为attention map&＃xff0c;距离人头中心越近&＃xff0c;值越大。
使用np.asarray将其转换为ndarray&＃xff0c;除以最大值将其归一化&＃xff0c;归一化不可缺少&＃xff0c;否则可能图片中像素值过小&＃xff0c;几乎全是蓝色的区域。再将归一化之后取值为[0,1]的ndarray乘255转化为np.unit8格式&＃xff0c;因为下一步的输入必须是这个格式。
最重要的是cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)&＃xff0c;将np.unit8格式的矩阵转化为colormap&＃xff0c;第二个参数有很多种配色方案&＃xff0c;上面这个是最常用的蓝红配色&＃xff0c;值越小越接近蓝色&＃xff0c;越大越接近红色。
此处也可以直接将读取的图片转为colormap&＃xff0c;例如
img &＃61; cv2.imread(img_path)
heatmap &＃61; cv2.applyColorMap(img, cv2.COLORMAP_JET)
cv2.imwrite(&＃39;figs/heatmap.jpg&＃39;, heatmap)
将img和heatmap加权&＃xff0c;权重取0.9感觉比较合适&＃xff08;如果取1会变成奇怪的黄色&＃xff09;。
将原图和叠加了attention map的图像使用np.hstack()并列显示&＃xff0c;此处由于我有两个不同的attention map所以共有3张图片。吐槽一下cv2同时显示多张图片不如plt方便。
最后得到的并列图像如下图
如果只显示最右侧的那一张就是题图&＃xff1a;
京公网安备 11010802041100号