iOS 人脸识别(一)-人脸框检测(基于iOS原生)

作者 : 开心源码 本文共6895个字,预计阅读时间需要18分钟 发布时间: 2022-05-12 共108人阅读
  • 近几年随着移动设施硬件设施越来越优各种美颜相机App应运而生,美颜、瘦脸、增加挂件等等一系列的功能,这其中的原理肯定离不开一个关键的技术,那就是人脸识别

一般的检测流程

(1) 人脸检测
检测图片中能否有人脸,或者者有多少个人脸,同时会给出人脸的位置信息
(2) 人脸关键点检测
第一步我们找出来图中能否有人脸的信息,而后通过人脸的位置,与图片信息,获取人脸的关键点
(3) 解决信息
通过关键点,来做少量你需要的东西

扫盲:什么是关键点

我们来看一张图

image.png

这张图通过 68 个点形容了人脸的轮廓,这 68 个点 就是关键点,也有 5 个点的关键点和其余的规格;

人脸检测

今天我们来通过iOS系统本身的AVFoundation 框架 来检测视频流中出现的人脸,并把检测出来的框绘制到视频流中,我们先看一下效果是什么样子的

IMB_hHOF7t.GIF

Mars 可能太酷 都检测不到!

  • 原料

  • AVFoundation
  • opencv2.framework 下载opencv2
    ps:opencv 有的库带有iOS 使用的少量方法 有的版本不带,我不记得了 大家自行下载查阅,没有的话也可以自己写方法,主要是做转换使用的,你的controller的.m文件要换成.mm
#import "ViewController.h"#import <AVFoundation/AVFoundation.h>#import <opencv2/imgproc/types_c.h>#import <opencv2/imgproc/imgproc_c.h>#import <opencv2/imgcodecs/ios.h>#import <opencv2/opencv.hpp>@interface ViewController ()<AVCaptureVideoDataOutputSampleBufferDelegate, AVCaptureMetadataOutputObjectsDelegate>@property (nonatomic,strong) AVCaptureSession *session;@property (nonatomic,strong) UIImageView *cameraView;@property (nonatomic,strong) dispatch_queue_t sample;@property (nonatomic,strong) dispatch_queue_t faceQueue;@property (nonatomic,copy) NSArray *currentMetadata; //?< 假如检测到了人脸系统会返回一个数组 我们将这个数组存起来@end@implementation ViewController- (void)viewDidLoad {    [super viewDidLoad];    _currentMetadata = [NSMutableArray arrayWithCapacity:0];       [self.view addSubview: self.cameraView];        _sample = dispatch_queue_create("sample", NULL);    _faceQueue = dispatch_queue_create("face", NULL);        NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];    AVCaptureDevice *deviceF;    for (AVCaptureDevice *device in devices )    {        if ( device.position == AVCaptureDevicePositionFront )        {            deviceF = device;            break;        }    }        AVCaptureDeviceInput*input = [[AVCaptureDeviceInput alloc] initWithDevice:deviceF error:nil];    AVCaptureVideoDataOutput *output = [[AVCaptureVideoDataOutput alloc] init];        [output setSampleBufferDelegate:self queue:_sample];        AVCaptureMetadataOutput *metaout = [[AVCaptureMetadataOutput alloc] init];    [metaout setMetadataObjectsDelegate:self queue:_faceQueue];    self.session = [[AVCaptureSession alloc] init];            [self.session beginConfiguration];    if ([self.session canAddInput:input]) {        [self.session addInput:input];    }        if ([self.session canSetSessionPreset:AVCaptureSessionPreset640x480]) {        [self.session setSessionPreset:AVCaptureSessionPreset640x480];    }    if ([self.session canAddOutput:output]) {        [self.session addOutput:output];    }        if ([self.session canAddOutput:metaout]) {        [self.session addOutput:metaout];    }    [self.session commitConfiguration];            NSString     *key           = (NSString *)kCVPixelBufferPixelFormatTypeKey;    NSNumber     *value         = [NSNumber numberWithUnsignedInt:kCVPixelFormatType_32BGRA];    NSDictionary *videoSettings = [NSDictionary dictionaryWithObject:value forKey:key];        [output setVideoSettings:videoSettings];        //这里 我们告诉要检测到人脸 就给我少量反应,里面还有QRCode 等 都可以放进去,就是 假如视频流检测到了你要的 就会出发下面第二个代理商方法    [metaout setMetadataObjectTypes:@[AVMetadataObjectTypeFace]];        AVCaptureSession* session = (AVCaptureSession *)self.session;    //前置摄像头肯定要设置一下 要不然画面是镜像    for (AVCaptureVideoDataOutput* output in session.outputs) {        for (AVCaptureConnection * av in output.connections) {            //判断能否是前置摄像头状态            if (av.supportsVideoMirroring) {                //镜像设置                av.videoOrientation = AVCaptureVideoOrientationPortrait;                av.videoMirrored = YES;            }        }    }    [self.session startRunning];}#pragma mark - AVCaptureSession Delegate -- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection{        NSMutableArray *bounds = [NSMutableArray arrayWithCapacity:0];    //每一帧,我们都看一下  self.currentMetadata 里面有没有东西,而后将里面的    //AVMetadataFaceObject 转换成  AVMetadataObject,其中AVMetadataObject 的bouns 就是人脸的位置 ,我们将bouns 存到数组中    for (AVMetadataFaceObject *faceobject in self.currentMetadata) {        AVMetadataObject *face = [output transformedMetadataObjectForMetadataObject:faceobject connection:connection];        [bounds addObject:[NSValue valueWithCGRect:face.bounds]];    }}- (void)captureOutput:(AVCaptureOutput *)output didOutputMetadataObjects:(NSArray<__kindof AVMetadataObject *> *)metadataObjects fromConnection:(AVCaptureConnection *)connection{    //当检测到了人脸会走这个回调    _currentMetadata = metadataObjects;}- (UIImage*)imageFromPixelBuffer:(CMSampleBufferRef)p {    CVImageBufferRef buffer;    buffer = CMSampleBufferGetImageBuffer(p);        CVPixelBufferLockBaseAddress(buffer, 0);    uint8_t *base;    size_t width, height, bytesPerRow;    base = (uint8_t *)CVPixelBufferGetBaseAddress(buffer);    width = CVPixelBufferGetWidth(buffer);    height = CVPixelBufferGetHeight(buffer);    bytesPerRow = CVPixelBufferGetBytesPerRow(buffer);        CGColorSpaceRef colorSpace;    CGContextRef cgContext;    colorSpace = CGColorSpaceCreateDeviceRGB();    cgContext = CGBitmapContextCreate(base, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);    CGColorSpaceRelease(colorSpace);        CGImageRef cgImage;    UIImage *image;    cgImage = CGBitmapContextCreateImage(cgContext);    image = [UIImage imageWithCGImage:cgImage];    CGImageRelease(cgImage);    CGContextRelease(cgContext);        CVPixelBufferUnlockBaseAddress(buffer, 0);            return image;}- (UIImageView *)cameraView{    if (!_cameraView) {        _cameraView = [[UIImageView alloc] initWithFrame:self.view.bounds];        //不拉伸        _cameraView.contentMode = UIViewContentModeScaleAspectFill;    }    return _cameraView;}

注意的地方

  • 1.output的设置肯定在增加之后
  • 2.info.plist 要设置相机权限 Privacy – Camera Usage Description

现在我们视频流拿到了 但是还没有显示出来,下面我们会通过opencv 将人脸框绘制在视频流上,并通过UIImageView 将 解决后的图像显示出来

将人脸框绘制到显示的视频流上

(1). 转换

我们先写一个方法 将CMSampleBufferRef 转换成 UIImage(其实也可以直接CMSampleBufferRef 转换成cv::Mat)

- (UIImage*)imageFromPixelBuffer:(CMSampleBufferRef)p {    CVImageBufferRef buffer;    buffer = CMSampleBufferGetImageBuffer(p);        CVPixelBufferLockBaseAddress(buffer, 0);    uint8_t *base;    size_t width, height, bytesPerRow;    base = (uint8_t *)CVPixelBufferGetBaseAddress(buffer);    width = CVPixelBufferGetWidth(buffer);    height = CVPixelBufferGetHeight(buffer);    bytesPerRow = CVPixelBufferGetBytesPerRow(buffer);        CGColorSpaceRef colorSpace;    CGContextRef cgContext;    colorSpace = CGColorSpaceCreateDeviceRGB();    cgContext = CGBitmapContextCreate(base, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);    CGColorSpaceRelease(colorSpace);        CGImageRef cgImage;    UIImage *image;    cgImage = CGBitmapContextCreateImage(cgContext);    image = [UIImage imageWithCGImage:cgImage];    CGImageRelease(cgImage);    CGContextRelease(cgContext);        CVPixelBufferUnlockBaseAddress(buffer, 0);            return image;}

(2).绘制

我们在继续在 AVCaptureVideoDataOutputSampleBufferDelegate 去解决视频流,已经可以拿到 有关人脸的信息了 我们直接绘制上去即可以了

- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection{        NSMutableArray *bounds = [NSMutableArray arrayWithCapacity:0];    for (AVMetadataFaceObject *faceobject in self.currentMetadata) {        AVMetadataObject *face = [output transformedMetadataObjectForMetadataObject:faceobject connection:connection];        [bounds addObject:[NSValue valueWithCGRect:face.bounds]];    }      //转换成UIImage    UIImage *image = [self imageFromPixelBuffer:sampleBuffer];    cv::Mat mat;    //转换成cv::Mat    UIImageToMat(image, mat);        for (NSValue *rect in bounds) {        CGRect r = [rect CGRectValue];        //画框        cv::rectangle(mat, cv::Rect(r.origin.x,r.origin.y,r.size.width,r.size.height), cv::Scalar(255,0,0,1));    }        //这里不考虑性能 直接怼Image    dispatch_async(dispatch_get_main_queue(), ^{       self.cameraView.image = MatToUIImage(mat);    });}

不记得一个东西 依赖库 大家别不记得 点一波

image.png

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » iOS 人脸识别(一)-人脸框检测(基于iOS原生)

发表回复