折腾了两天才算是有点成果了。整理一下吧。
用C# WinForm开发,使用AForge调用摄像头,加上Dlib(DotNet)实现一下人脸识别
目录
操作摄像头需要用到【AForge.Video.DirectShow】。
从NuGet里查找进行安装,安装时会同时安装它的依赖项:【AForge.Video】和【AForge】
界面如下:
图中蓝色字体标注了我对每个控件的定义的ID,方便对应下文的代码
左边的【VideoSourcePlayer】控件(AForge中的控件)是摄像头的画面显示,右边的【PictureBox】是后面做人脸识别的显示框。
下方的【PictureBox】是拍照预览框。
期望是程序运行时,检测摄像头设备,添加到【coBox_camList】中,用户选择要用的相机设备,该设备所支持的分辨率自动添加到【coBox_Reslution】列表中,并自动选中默认分辨率,点击【打开】按钮即可显示摄像头画面并实时进行人脸检测。
上面界面对应的代码(Form1.cs)如下:
- //-----------form1.cs
- using System;
- using System.Drawing;
- using System.Windows.Forms;
- using AForge.Video; //引用命名空间
- using AForge.Video.DirectShow; //引用命名空间
- namespace AForgeCamera
- {
- public partial class AForgeCamera : Form
- {
- private FilterInfoCollection CaptureDevices; //设备列表
- private VideoCaptureDevice captureDevice; //摄像头设备
- private VideoCapabilities[] videoCapabilities; //摄像头能力列表
- private VideoCapabilities videoCapabilitie; //单一摄像头能力(分辨率等)
- public AForgeCamera()
- {
- InitializeComponent();
- //控件状态等初始化
- btn_cam.Enabled = false;
- btn_cam.Text = "打开";
- btn_takePic.Enabled = false;
- pBox_view.SizeMode = PictureBoxSizeMode.StretchImage;
- pBox_faceDst.SizeMode = PictureBoxSizeMode.StretchImage;
- //获取摄像头并添加到coBox_CamList
- CaptureDevices = new FilterInfoCollection(FilterCategory.VideoInputDevice);
- foreach (FilterInfo filterInfo in CaptureDevices)
- {
- coBox_CamList.Items.Add(filterInfo.Name);
- }
- faceDetection = new FaceDetection();
- }
- private void AForgeCamera_FormClosing(object sender, FormClosingEventArgs e)
- {
- //主窗口关闭,必要的清理
- captureDevice.Stop();
- CaptureDevices.Clear();
- AVPlayer_Cam1.VideoSource = null;
- AVPlayer_Cam1.Stop();
- }
- private void coBox_CamList_SelectedIndexChanged(object sender, EventArgs e)
- {
- //选择摄像头后
- coBox_Resolution.Items.Clear(); //先清理上次选择的摄像头支持的分辨率
- //获取摄像头设备
- FilterInfo filterInfo = CaptureDevices[coBox_CamList.SelectedIndex];
- captureDevice = new VideoCaptureDevice(filterInfo.MonikerString);
- //获取所选择的摄像头分辨率列表并添加
- videoCapabilities = captureDevice.VideoCapabilities;
- foreach (VideoCapabilities capabilitie in videoCapabilities)
- {
- coBox_Resolution.Items.Add(capabilitie.FrameSize.Width.ToString() +
- "×" + capabilitie.FrameSize.Height.ToString());
- }
- //选中默认分辨率 触发coBox_Resolution_SelectedIndexChanged()
- if (coBox_Resolution.Items.Count > 0)
- {
- coBox_Resolution.SelectedIndex = 0;
- }
- }
- private void coBox_Resolution_SelectedIndexChanged(object sender, EventArgs e)
- {
- //获取选择的分辨率,选择时没有关闭摄像头时进行关闭
- videoCapabilitie = videoCapabilities[coBox_Resolution.SelectedIndex];
- btn_cam.Enabled = true;
- btn_takePic.Enabled = true;
- if (AVPlayer_Cam1.IsRunning)
- {
- captureDevice.Stop();
- AVPlayer_Cam1.VideoSource = null;
- AVPlayer_Cam1.VideoSource = null;
- btn_cam.Text = "打开";
- }
- }
- //打开和关闭摄像头
- private void btn_cam_Click(object sender, EventArgs e)
- {
- if (btn_cam.Text == "打开")
- {
- captureDevice.VideoResolution = videoCapabilitie;
- AVPlayer_Cam1.VideoSource = captureDevice;
- captureDevice.SimulateTrigger();
- AVPlayer_Cam1.Start();
- btn_cam.Text = "停止";
- btn_takePic.Enabled = true;
- }
- else
- {
- AVPlayer_Cam1.Stop();
- AVPlayer_Cam1.VideoSource = null;
- btn_cam.Text = "打开";
- btn_takePic.Enabled = false;
- }
- }
- //拍照并预览
- private void btn_takePic_Click(object sender, EventArgs e)
- {
- pBox_view.Image = AVPlayer_Cam1.GetCurrentVideoFrame();
- }
- }
- }
运行效果如下:
(啊。。。。。保存gif好费劲,感谢ScreenToGif,是个好软件)
它的实例化对象就是界面上的图像预览框,在使用时,把摄像头设备赋值给它的【videoSource】属性。可以理解为该控件其实是【VideoCaptureDevice】的一个复制品,或者说是一个客户端。我们在打开摄像头和关闭摄像头时,使用了如下方式:
- //指定视频来源
- AVPlayer_Cam1.VideoSource = captureDevice;
- //打开
- AVPlayer_Cam1.Start();
- //关闭
- AVPlayer_Cam1.Stop();
实际上,在指定了视频源后,可以直接操作视频源也是可以的,如下代码也是能实现打开和关闭摄像头。
- //指定视频来源
- AVPlayer_Cam1.VideoSource = captureDevice;
- //打开
- captureDevice.Start();
- //关闭
- captureDevice.Stop();
本文拍照这里采用的是:
pBox_view.Image = AVPlayer_Cam1.GetCurrentVideoFrame();
即使用【VideoSourcePlayer】控件来实现,但是我一直想直接通过【VideoCaptureDevice】对象直接拍照,发现实现不了。
【VideoCaptureDevice】类下面有几个关于拍照和视频帧的东西:
- ------AForge.Video.DirectShow源码-----
- //获取和设置 触发拍照功能
- public bool ProvideSnapshots { get; set; }
- //拍照触发的事件
- public event NewFrameEventHandler SnapshotFrame;
- //新帧产生的事件
- public event NewFrameEventHandler NewFrame;
- //模拟外触发
- public void SimulateTrigger();
从文档来看,先设置【ProvideSnapshots 】为“true”,接着把【SnapshotFrame】绑定到对图片处理方法(例如预览、保存),接着调用【SimulateTrigger()】来模拟外触发拍照,这样的拍照方法实现应该是最理想的,but我试了不成功,搜索发现好像是硬件不支持。要不然就是我的操作不对,如果有谁测试成功了,还请分享一下。
另一个是 NewFrame 事件,即摄像头获取到新的帧后触发的事件,也就是说可以不用【VideoSourcePlayer】来显示画面,可以用下面的方式通过【PictureBox】来实现。
- //给事件绑定方法
- captureDevice.NewFrame += new NewFrameEventHandler(NewFrameEvent);
- //事件具体方法
- private void NewFrameEvent(object sender, NewFrameEventArgs eventArgs)
- {
- if (InvokeRequired)
- {
- this.Invoke(new NewFrameEventHandler(FaceDetection), new object[] { sender, eventArgs });
- }
- else
- {
- //获取到图像(BitMap)
- //pBox_video是用于代替上文AVPlayer_Cam1的PictureBox控件
- pBox_video.Image= (Bitmap)eventArgs.Frame.Clone();
- }
- }
看到这个,应该都能猜到了,我们可以利用这个方法获取所拍摄的图像进行人脸识别、视频录制、图像处理等操作。
人脸识别使用了Dlib库,这是一个C++开发的目标检测的库,大多是都是用Python进行调用开发,但是这里要在.Net平台第哦啊用,找了一下,发现是.Net平台对应的库:DlibDotNet。
一样,NuGet上查找进行安装,搜索安装【DlibDotNet】就好。
接着就是去官网下载人脸数据,即匹配人脸所需要的一个 “.dat”文件。
下载地址:http://www.dlib.net/files/
要下载的文件是:【shape_predictor_5_face_landmarks.dat】或【shape_predictor_68_face_landmarks.dat】
分别是识别出人脸中的5个特征点和68个特征点,当然识别的越多越难也就越慢。
按需要下载后,放到合适的目录下,比如我放在项目exe目录下的“face_data”文件夹下。
添加一个【FaceDetection.cs】文件,添加代码如下:
- using System.Drawing;
- using DlibDotNet;
- using DlibDotNet.Extensions;
- namespace AForgeCamera
- {
- public class FaceDetection
- {
- private string faceDataPath;
- // 人脸数据文件路径名称属性
- public string FaceDataPath { get => faceDataPath; set => faceDataPath = value; }
- public FaceDetection()
- {
- //默认文件路径
- faceDataPath = @"face_data\shape_predictor_68_face_landmarks.dat";
- }
- /// <summary>
- /// 进行人脸识别
- /// </summary>
- /// <param name="image">图像</param>
- /// <param name="numOfFaceDetected"> 识别到的人脸数目</param>
- /// <returns></returns>
- public Bitmap FaceDetectionFromImage(Bitmap image, out int numOfFaceDetected)
- {
- numOfFaceDetected = 0;
- if (image != null)
- {
- // 图像转换到Dlib的图像类中
- Array2D<RgbPixel> img = BitmapExtensions.ToArray2D<RgbPixel>(image);
- using (var faceDetector = Dlib.GetFrontalFaceDetector())
- using (var shapePredictor = ShapePredictor.Deserialize(faceDataPath))
- {
- // 检测人脸
- var faces = faceDetector.Operator(img);
- // 遍历检测到的人脸区域
- foreach (var rect in faces)
- {
- //绘制脸部区域
- Dlib.DrawRectangle(img, rect, new RgbPixel { Blue = 255 }, 3);
- // 人脸区域中识别脸部特征
- var shape = shapePredictor.Detect(img, rect);
- // 简单绘制识别到的特征(用线连起来)
- for (uint i = 1;i < shape.Parts; i++)
- {
- Dlib.DrawLine(img, shape.GetPart(i), shape.GetPart(i - 1), new RgbPixel { Red = 255 });
- }
- }
- numOfFaceDetected = faces.Length;
- }
- return BitmapExtensions.ToBitmap<RgbPixel>(img);
- }
- return image;
- }
- }
- }
上面的代码中【FaceDetectionFromImage】就是从 Bitmap图像中识别人脸的并将区域于特征绘制到图像上并返回图像的函数。
结合1.4.2中说明的【event NewFrame】,就可以实现了。
在调用摄像头的代码中,添加调用人脸识别的方法。
首先,在其中(调用摄像头的界面源码 Form1.cs)中,新增人脸识别的调用方法,该方法就是AForge摄像头设备【captureDevice.NewFrame】事件要绑定的方法。
- private void FaceDetection(object sender, NewFrameEventArgs eventArgs)
- {
- if (InvokeRequired)
- {
- this.Invoke(new NewFrameEventHandler(FaceDetection), new object[] { sender, eventArgs });
- }
- else
- {
- //获取拍摄的图像
- Bitmap img = (Bitmap)eventArgs.Frame.Clone();
- int numFaces = 0;
- //进行人脸识别以及图像显示,更新界面的人脸识别数目
- pBox_faceDst.Image = faceDetection.FaceDetectionFromImage(img, out numFaces);
- lb_FaceNum.Text = numFaces.ToString();
- }
- }
接着,在打开摄像头的地方,添加事件绑定的代码(既然有绑定,就有解绑):
- private void btn_cam_Click(object sender, EventArgs e)
- {
- if (btn_cam.Text == "打开")
- {
- captureDevice.VideoResolution = videoCapabilitie;
- AVPlayer_Cam1.VideoSource = captureDevice;
- //重点是这一句代码!!-------------------------↓
- captureDevice.NewFrame += new NewFrameEventHandler(FaceDetection);
- captureDevice.SimulateTrigger();
- AVPlayer_Cam1.Start();
- btn_cam.Text = "停止";
- btn_takePic.Enabled = true; }
- else
- {
- //还有这一句代码!!-------------------------↓
- captureDevice.NewFrame -= new NewFrameEventHandler(FaceDetection);
- AVPlayer_Cam1.Stop();
- AVPlayer_Cam1.VideoSource = null;
- btn_cam.Text = "打开";
- btn_takePic.Enabled = false;
- }
- }
其次还有就是在切换分辨率时,会关闭摄像头数据,也得解绑事件,还有就是程序关闭的时候要解绑!这些就不贴代码了。
最终效果如下:
从NuGet中安装了DlibDotNet,写完代码编译时,可能会在VS的错误列表中看到 “无法复制xxxx\DlibDotNetNative.dll,找不到该文件”等错误,因为现在新版VS新建的C#项目都是对应“AnyCPU”的,而下载的包中,这两个dll在“x64/x86”目录下,所以找不到,一种方法:在错误信息说明的路径下,新建“AnyCPU”等路径,然后从x86目录下找到这两个dll,复制进去;要不然就是把项目的【解决方案平台】切换成x64。
编译通过后运行可能还会报错,把这两个dll复制到编译成成的exe目录下就好。
Array2D<RgbPixel> img = BitmapExtensions.ToArray2D<RgbPixel>(image);
开始的时候这个没法用,看了DlibDotNet源码发现,这个转换的功能在【DlibDotNet.Extensions】里面,但是找不到【DlibDotNet.Extensions.dll】这个库,NuGet里面也没有,于是,,,gitHub下载源码(https://github.com/takuya-takeuchi/DlibDotNet),手动编译项目中的【DlibDotNet.Extensions】,得到这个dll,然后复制到项目进行添加引用就解决了。
解决了上面的问题,又特喵有新的问题了,图像转换抛异常,显示不支持这个格式(C# Bitmap的图像格式:PixelFormat.Format24bppRgb)的转换,还是这一句对应的内部代码问题。
Array2D<RgbPixel> img = BitmapExtensions.ToArray2D<RgbPixel>(image);
但是看官方的示例源码,也是随便打开一个Bitmap然后这么操作的啊,折腾了好久,发现他们这个版本新的更新中新增了<BgrPixel>图像类型,然后再格式转换的映射字典中,给C# 中的Format24bppRgb对应了两个Dlib内部的格式RgbPixel和BgrPixel,但是又暂时不支持BgrPixel的图像的转换,后续的BgrPixel类型图像的绘图等也还都没有添加。
图像在转换时要先查询格式映射表,但是映射字典中 第二次的BgrPixel覆盖了第一次的RgbPixel ,所以就会抛异常。
怎么搞:修改源码重新编译!
在源码的【DlibDotNet-master\src\DlibDotNet.Extensions\Extensions\BitmapExtensions.cs】文件中,把BgrPixel相关的字典映射删掉,如下方代码中注释掉的部分
- OptimumConvertImageInfos[PixelFormat.Format8bppIndexed] = new[]
- {
- new ConvertInfo<ImageTypes> { Type = ImageTypes.UInt8 }
- };
- OptimumConvertImageInfos[PixelFormat.Format24bppRgb] = new[]
- {
- //这里把Format24bppRgb 和 RgbPixel 对应了起来
- new ConvertInfo<ImageTypes>{ Type = ImageTypes.RgbPixel, RgbReverse = true }
- };
- //OptimumConvertImageInfos[PixelFormat.Format24bppRgb] = new[]
- //{
- // //这里又把Format24bppRgb 和 BgrPixel对应了起来
- // new ConvertInfo<ImageTypes>{ Type = ImageTypes.BgrPixel, RgbReverse = false }
- //};
- OptimumConvertImageInfos[PixelFormat.Format32bppArgb] = new[]
- {
- new ConvertInfo<ImageTypes> { Type = ImageTypes.RgbAlphaPixel, RgbReverse = true }
- };
删掉之后,重新编译,编译生成的DlibDotNet.dll替换掉NuGet中下载的,就解决了。
当然,如果这确实是个bug,后面的版本应该会修改掉,我下载时 是 19.18.0.20190928版本,其他人用的时候如果没碰到这些错误就不用这么折腾了。
联系客服