树莓派python_Python+树莓派+YOLO打造一款人工智能照相机

亚马逊刚刚推出了DeepLens 。这是一款专门面向开发人员的全球首个支持深度学习的摄像机&＃xff0c;它所使用的机器学习算法不仅可以检测物体活动和面部表情&＃xff0c;而且还可以检测类似弹吉他等复杂的活动。虽然DeepLens还未正式上市&＃xff0c;但智能摄像机的概念已经诞生了。

今天&＃xff0c;我们将自己动手打造出一款基于深度学习的照相机&＃xff0c;当小鸟出现在摄像头画面中时&＃xff0c;它将能检测到小鸟并自动进行拍照。最终成品所拍摄的画面如下所示&＃xff1a;

相机不傻&＃xff0c;它可以很机智

我们不打算将一个深度学习模块整合到相机中&＃xff0c;相反&＃xff0c;我们准备将树莓派“挂钩”到摄像头上&＃xff0c;然后通过WiFi来发送照片。本着“一切从简”(穷)为核心出发&＃xff0c;我们今天只打算搞一个跟DeepLens类似的概念原型&＃xff0c;感兴趣的同学可以自己动手尝试一下。

接下来&＃xff0c;我们将使用Python编写一个Web服务器&＃xff0c;树莓派将使用这个Web服务器来向计算机发送照片&＃xff0c;或进行行为推断和图像检测。

我们这里所使用的计算机其处理能力会更强&＃xff0c;它会使用一种名叫 YOLO 的神经网络架构来检测输入的图像画面&＃xff0c;并判断小鸟是否出现在了摄像头画面内。

我们得先从YOLO架构开始&＃xff0c;因为它是目前速度最快的检测模型之一。该模型专门给Tensorflow(谷歌基于DistBelief进行研发的第二代人工智能学习系统)留了一个接口&＃xff0c;所以我们可以轻松地在不同的平台上安装和运行这个模型。友情提示&＃xff0c;如果你使用的是我们本文所使用的迷你模型&＃xff0c;你还可以用CPU来进行检测&＃xff0c;而不只是依赖于价格昂贵的GPU。

接下来回到我们的概念原型上… 如果像框内检测到了小鸟&＃xff0c;那我们就保存图片并进行下一步分析。

检测与拍照

正如我们所说的&＃xff0c;DeepLens的拍照功能是整合在计算机里的&＃xff0c;所以它可以直接使用板载计算能力来进行基准检测&＃xff0c;并确定图像是否符合我们的标准。

但是像树莓派这样的东西&＃xff0c;我们其实并不需要使用它的计算能力来进行实时计算。因此&＃xff0c;我们准备使用另一台计算机来推断出现在图像中的内容。

我使用的是一台简单的Linux计算机&＃xff0c;它带有一个摄像头以及WiFi无线网卡( 树莓派3 &＃43; 摄像头 )&＃xff0c;而这个简单的设备将作为我的深度学习机器并进行图像推断。对我来说&＃xff0c;这是目前最理想的解决方案了&＃xff0c;这不仅大大缩减了我的成本&＃xff0c;而且还可以让我在台式机上完成所有的计算。

我们需要使用Flask来搭建Web服务器&＃xff0c;这样我们就可以从摄像头那里获取图像了。

from import lib import import_moduleimport osfrom flask import Flask, render_template, Response#uncomment below to use Raspberry Pi camera instead#from camera_pi import Camera#comment this out if you&＃39;re not using USB webcamfrom camera_opencv import Cameraapp &＃61;Flask(__name__)&＃64;app.route(&＃39;/&＃39;)def index(): return "hello world!"def gen2(camera): """Returns a single imageframe""" frame &＃61; camera.get_frame() yield frame&＃64;app.route(&＃39;/image.jpg&＃39;)def image(): """Returns a single currentimage for the webcam""" return Response(gen2(Camera()),mimetype&＃61;&＃39;image/jpeg&＃39;)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:app.run(host&＃61;&＃39;0.0.0.0&＃39;, threaded&＃61;True)

如果你使用的是树莓派视频照相机&＃xff0c;请确保没有注释掉上述代码中from camera_pi那一行&＃xff0c;然后注释掉from camera_opencv那一行。

你可以直接使用命令python3 app.py或gunicorn来运行服务器&＃xff0c;这跟Miguel在文档中写的方法是一样的。如果我们使用了多台计算机来进行图像推断的话&＃xff0c;我们还可以利用Miguel所开发的摄像头管理方案来管理摄像头以及计算线程。

当我们启动了树莓派之后&＃xff0c;首先需要根据IP地址来判断服务器是否正常工作&＃xff0c;然后尝试通过Web浏览器来访问服务器。

在树莓派中加载Web页面及图像来确定服务器是否正常工作&＃xff1a;

图像导入及推断

既然我们已经设置好了终端来加载摄像头当前的图像内容&＃xff0c;我们就可以构建一个脚本来捕捉图像并推断图像中的内容了。

这里我们需要用到request库(一个优秀的Python库&＃xff0c;用于从URL地址获取文件资源)以及 Darkflow (YOLO模型基于Tensorflow的实现)。

不幸的是&＃xff0c;我们没办法使用pip之类的方法来安装 Darkflow &＃xff0c;所以我们需要克隆整个代码库&＃xff0c;然后自己动手完成项目的构建和安装。安装好Darkflow项目之后&＃xff0c;我们还需要下载一个YOLO模型。

因为我使用的是速度比较慢的计算机和板载CPU(而不是速度较快的GPU)&＃xff0c;所以我选择使用YOLO v2迷你网络。当然了&＃xff0c;它的功能肯定没有完整的YOLO v2模型的推断准确性高啦&＃xff01;

配置完成之后&＃xff0c;我们还需要在计算机中安装Pillow、numpy和OpenCV。最后&＃xff0c;我们就可以彻底完成我们的代码&＃xff0c;并进行图像检测了。

最终的代码如下所示&＃xff1a;

from darkflow.net.build import TFNetimport cv2from io import BytesIOimport timeimport requestsfrom PIL import Imageimport numpy as npoptions&＃61; {"model": "cfg/tiny-yolo-voc.cfg