Home

Awesome

中文版|English Version
静默活体检测

静默活体检测 (Silent-Face-Anti-Spoofing)

该项目为小视科技的静默活体检测项目,您可以扫描下方的二维码获取安卓端APK,体验静默活体的检测效果.
<img src="https://github.com/minivision-ai/Silent-Face-Anti-Spoofing/blob/master/images/静默活体APK.jpeg" width="200" height="200" align=center />

更新

2020-07-30: 开源caffe模型,分享工业级静默活体检测算法技术解析直播视频以及相关文件。

简介

在本工程中我们开源了活体模型训练架构,数据预处理方法,模型训练和测试脚本以及开源的APK供大家测试使用。

活体检测技术主要是判别机器前出现的人脸是真实还是伪造的,其中借助其他媒介呈现的人脸都可以定义为虚假的人脸,包括打印的纸质照片、电子产品的显示屏幕、硅胶面具、立体的3D人像等。目前主流的活体解决方案分为配合式活体检测和非配合式活体检测(静默活体检测)。配合式活体检测需要用户根据提示完成指定的动作,然后再进行活体校验,静默活体则在用户无感的情况下直接进行活体校验。

因傅里叶频谱图一定程度上能够反应真假脸在频域的差异,因此我们采用了一种基于傅里叶频谱图辅助监督的静默活体检测方法, 模型架构由分类主分支和傅里叶频谱图辅助监督分支构成,整体架构如下图所示:
整体架构图

使用自研的模型剪枝方法,将MobileFaceNet的Flops从0.224G降低待了0.081G,在精度损失不大的情况下,明显提升模型的性能(降低计算量与参数量).

ModelFLOPsParams
MobileFaceNet0.224G0.991M
MiniFASNetV10.081G0.414M
MiniFASNetV20.081G0.435M

APK

APK源码

开源了适用于安卓平台的部署代码:https://github.com/minivision-ai/Silent-Face-Anti-Spoofing-APK

Demo

<img src="https://github.com/minivision-ai/Silent-Face-Anti-Spoofing/blob/master/images/demo.gif" width="300" height="400"/>

关键指标

Model(input 80x80)FLOPsSpeedFPRTPR备注
APK模型84M20ms1e-597.8%开源
高精度模型162M40ms1e-599.7%未开源

测试方法

测试须知

已测试型号

型号麒麟990 5G麒麟990骁龙845麒麟810RK3288
速度/ms1923242590

工程

安装依赖库

pip install -r requirements.txt

Clone

git clone https://github.com/minivision-ai/Silent-Face-Anti-Spoofing  
cd Silent-Face-Anti-Spoofing

数据预处理

1.将训练集分为3类,将相同类别的图片放入一个文件夹;
2.因采用多尺度模型融合的方法,分别用原图和不同的patch训练模型,所以将数据分为原图和基于原图的patch;

3.采用傅里叶频谱图作为辅助监督,训练集图片在线生成对应的傅里叶频谱图.
数据集的目录结构如下所示

├── datasets
    └── RGB_Images
        ├── org_1_80x60
            ├── 0
		├── aaa.png
		├── bbb.png
		└── ...
            ├── 1
		├── ddd.png
		├── eee.png
		└── ...
            └── 2
		├── ggg.png
		├── hhh.png
		└── ...
        ├── 1_80x80
        └── ...

训练

python train.py --device_ids 0  --patch_info your_patch

测试

./resources/anti_spoof_models 活体检测的融合模型
./resources/detection_model 检测器模型
./images/sample 测试图片

python test.py --image_name your_image_name

相关资源

百度网盘提取码:6d8q
(1)工业级静默活体检测开源算法技术解析直播回放视频;
(2)直播视频中的思维导图文件,存放在files目录下;
(3)开源模型的caffemodel,存放在models目录下;

参考

针对此项目,为了方便开发者们的技术交流,创建了QQ群:1121178835,欢迎加入。

除了本次开源的静默活体检测算法外,小视科技还拥有多项人脸识别、人体识别相关的自研算法及商用SDK。有兴趣的个人开发者或企业开发者可登录小视科技Mini-AI开放平台了解和联系我们。