大家好,很高兴又见面了,我是"高级前端?进阶?",由我带着大家一起关注前端前沿、深入前端底层技术,大家一起进步,也欢迎大家关注、点赞、收藏、转发,您的支持是我不断创作的动力。
1.什么是 face-api.js
JavaScript API for face detection and face recognition in the browser and nodejs with tensorflow.js
face-api.js 是在 tensorflow.js 核心(tensorflow/tfjs-core)之上实现的浏览器和 nodejs 的 JavaScript 人脸识别 API。
目前 face-api.js 在 Github 通过 MIT 协议开源,有超过 16.1k 的 star、3.6k 的 fork、8.7k 的项目依赖量、是一个妥妥的前端优质开源项目。
2.如何使用 face-api.js
开发者可以通过 Polyfill 一些浏览器细节,例如: HTMLImageElement、HTMLCanvasElement 和 ImageData 等在 Nodejs 环境中使用等效的 API,最简单的方法是安装 node-canvas 包。
或者,可以简单地从图像数据构造自己的张量,并将张量作为输入传递给 API。此外,强烈推荐安装 @tensorflow/tfjs-node(不是必需的,但强烈推荐),其通过编译和绑定到本机 Tensorflow C++ 库来大大加快速度:
// 将 NodeJS 绑定导入到本机 Tensorflow,// 不是必需的,但会大大加快速度(需要 python)import '@tensorflow/tfjs-node';// 实现 HTMLCanvasElement、HTMLImageElement、ImageData 的 Nodejs 包装器import * as canvas from 'canvas';import * as faceapi from 'face-api.js';// patch nodejs 环境, 提供 HTMLCanvasElement and HTMLImageElement 实现const {Canvas, Image, ImageData} = canvasfaceapi.env.monkeyPatch({Canvas, Image, ImageData})
如果要加载模型可以通过下面的方法:
await faceapi.nets.ssdMobilenetv1.loadFromDisk('./models')// 从磁盘加载await faceapi.nets.ssdMobilenetv1.loadFromWeightMap(weightMap)// 从 tf.NamedTensorMap 加载模型const net = new faceapi.SsdMobilenetv1await net.loadFromUri('/models')// 创建自己的神经网络实例net.load(await faceapi.fetchNetWeights('/models/face_detection_model.weights'))// 将权重作为 Float32Array 加载(如果想使用未压缩的模型)
加载模型后,可以通过下面的方法来识别人脸:
const detections = await faceapi.detectAllFaces(input)// 检测图像中的所有面部const detection = await faceapi.detectSingleFace(input)// 检测图像中置信度得分最高的人脸const detections1 = await faceapi.detectAllFaces(input, new faceapi.SsdMobilenetv1Options)const detections2 = await faceapi.detectAllFaces(input, new faceapi.TinyFaceDetectorOptions)// DetectAllFaces 和 detectorSingleFace 使用 SSD Mobilenet V1 人脸检测器// 开发者还可以通过传递相应的选项对象来指定面部检测器
人脸检测后还可以进一步预测每个检测到的人脸的面部标志,如下所示:
const detectionsWithLandmarks = await faceapi.detectAllFaces(input).withFaceLandmarks
以上代码检测图像中的所有面部 + 为每个检测到的面部计算 68 点面部标志。如果只需要监测单张脸,可以通过下面的代码完成:
const detectionWithLandmarks = await faceapi.detectSingleFace(input).withFaceLandmarks
开发者还可以调整模型,比如:使用微型模型而不是默认模型:
const useTinyModel = trueconst detectionsWithLandmarks = await faceapi.detectAllFaces(input).withFaceLandmarks(useTinyModel)
更多关于 face-api.js 的高级用法和示例可以参考文末资料,本文不再过多展开。
参考资料
转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/414912.html