人脸 Landmark 识别框架选型，纠结中，求指点

[devzhaoyou]

最近的项目需要用到人脸识别 Landmark 和 face mesh ，调研了市面上主流的 NN 框架：MNN, NCNN, TNN, MediaPipe;

MNN 阿里的，速度快，有个 MNNKit demo ，人脸关键点 106 个，单帧处理耗时在 3-5ms ； TNN 腾讯基于 NCNN 做的速度优化版本，有个 demo ，270+关键点，识别速度，单帧 3-5ms ，缺点关键点有点抖动； MediaPipe：谷歌开源的，有 473 点 face landmark ，在 iOS 平台识别速度 10-15ms 单帧；但安卓平台同配置手机 30-50ms ，CPU 占用也比 MNN 高 2-3 倍；

除了人脸识别，MediaPipe 还带了背景分割，头发分割等，缺点就是刚才说的性能可能有问题。MNN 的化只有一个人脸 106 点识别，没有其他官方 demo 。TNN 有快一年没更新了，所以不准备考虑。

本人刚接触深度学习，还不清楚如何训练模型和框架基础原理。MNN 和 MediaPipe 算是两个资料比较多的框架，准备从这个两个入手, 个人倾向 MediaPipe ，现成的 demo 功能比较多。

OK ，问题：

1. MediaPipe 的性能问题存在在哪里，是模型的问题还是框架的问题？
2. MNN 和 MediaPipe 推荐哪个，如果 MNN 做 face mesh ，有哪些快速可用的模型或代码？

[gavin6liu]

首先来个暴论，AI 领域 Google 的东西最好别碰，所以 MediaPipe 排除。

其次这些都是推理引擎而已，MNN ，NCNN 属于同一类型，TNN 属于基于 NCNN 的二次封装。

另外由于你刚接触这个，只有用一些预训练好的模型和代码，策略就是哪个框架有现有的 Demo 就用哪个。

和 TNN 类似的还有，YY 开源的 VNN ，可以选择。

[devzhaoyou]

@gavin6liu 感谢回复，深度学习不是起源与 Google ，为啥 Google 的最好不碰，网上资料好像还挺多

[gavin6liu]

@devzhaoyou

Google 经常弃坑，经常搞不兼容升级

[psklf]

Try this:
https://github.com/andresprados/spiga?tab=readme-ov-file

[Cyrix686]

既然是初学阶段，都可以上手玩玩啊，看看哪个顺手就用哪个

非要选一个，选 MNN 吧

[devzhaoyou]

@Cyrix686 好的 感谢，mnn 个人调研就是性能非常优秀，而且一直在更新，其他能说说推荐原因吗

[keepwalk2020]

MediaPipe 对硬件要求高，但是效果是相对较好的，高精度模型 google 没有放出来
Yolo 对硬件要求低，甚至可以抛在树莓派上，效果中上吧
dlib 貌似也不错
SPIGA 正在试，对比后才知道效果
油管上有一个视频，对比各种人类识别框架的效果，自己搜了一看便知，楼主有方便发个 QQ 吗，一起讨论，最近也在做这方面的东西

[Avafly]

MNN 和 ncnn 都有试过部署自己训练的模型. 个人感觉这俩速度都挺快的, ncnn 的好处是有 QQ 群里面可以直接问开发者, MNN 也不错但是用 valgrind 测了一下有内存泄漏.

[devzhaoyou]

@Avafly 好的 感谢，深度学习有什么好的入门资料推荐吗，最好能快速上手动手实践的

[devzhaoyou]

@keepwalk2020 希望交流 206899376