神经网络模型怎么设计
深度学习的预测模型有哪些？
深度学习的预测模型有哪些？
移动端推理框架的话首推ncnn：
Tencent/ncnn
有第三方工具
支持pytorch的模型转换，或者Pytorch转onnx，ncnn也支持onnx模型转换。
然后阿里新开源的mnn也可以试试：
alibaba/MNN
不过目前只支持tensorflow，caffe和onnx的转换，不过可以pytorch转onnx，mnn目前onnx支持的版本是3有点旧。
我只用玩过上面两个，其他的框架你可以在下面这个链接，找到Inference Framework这一项，里面列出了许多移动端推理框架：
EMDL/awesome-emdl
在caffe框架下，训练好模型后，如何预测上万张图片？
快速的预测
有2种方法：
1、单张图片，加载完model prototxt和weights .caffemodel后，对写个循环，循环上万次，每次得到1张图片的预测结果
2、批量处理，类似caffe训练模型时使用batch即可。caffe中深度学习网络数据都是4维的，n*c*h*w，n代表batch数目，比如你有10000张图片，但是如果考虑到你的显卡显存大小只能支撑500张图片，所以设置batch为500，这样的话就只需要循环200次最终的结果也是n（你刚才设置的500）*c*h*w，其实就是n个元素的数组，每个元素c*h*w代表每张图片的结果。
明显第2种方法的效率更高。
深度学习中，有哪些常见的目标检测模型？
深度学习时代，目标检测领域涌现了大量的算法，发展历程如下：
RCNN Family：RCNN是目标检测领域的一项杰出成果，它证明了使用深度神经网络的有效性，现在发展了一个庞大Family。例如：Faster RCNN、Mask RCNN等SSD YOLO Family：与两阶段方法（如RCNN Family）相比，这些模型跳过了region proposal（区域建议）阶段，直接从特征映射中提取检测结果。因此，单级模型速度更快，适合算力有限的device。Anchor Free：2019年，Anchor Free的方法大爆发，并且取得了不错的成果。Anchor Free，其实可以看做是Single Anchor，每个object只有一个 anchor，对这个anchor进行类别分类、box和offset回归。不过有些anchor free的方法没有做offset，从这点来看，这些算法关注的是本身，而不是single anchor。Anyway，AnchorFree还是避免了anchor method中繁琐的anchor decoded操作。DeTr：NLP领域工作者都知道，2018年transformer带来了多大的影响。transformer取得了不错的效果，基本上取代之前的model。CV看起来不像是transformer的领域，但仍然取得了不错的成绩，并解决了目前目标检测无法解决的问题。所以，重要性不言而喻。用一个词来形容DeTr：Elegant。因为再也无需设计anchor，添加NMS后处理等等。