自制的一款推理框架，项目整体风格和结构借鉴了Caffe，仅用作学习参考。
我在b站上开了一门教学课程，目前是课程的第一季，课程大纲如下，主页是: https://space.bilibili.com/1822828582 , 欢迎大家关注。
| 课程节数 | 主要内容 | 进度 | 课程链接 |
|---|---|---|---|
| 第一次课 | 整体框架解读和开发环境配置 | 完成 | https://www.bilibili.com/video/BV1HV4y1A7H8/ |
| 第二次课 | 张量Tensor类的解析和输入数据的内存排布 | 完成 | https://www.bilibili.com/video/BV1Ed4y1v7Gb/ |
| 第三次课 | 从CSV文件中初始化张量Tensor一个实例 | 完成 | https://www.bilibili.com/video/BV1Pg411J7V5/ |
| 第四次课 | 手写第一个算子Relu并完成算子注册工厂类 | 完成 | https://www.bilibili.com/video/BV1bG4y1J7sQ/ |
| 第五次课 | Im2col的原理和卷积算子的实现 | 未完成 | |
| 第六次课 | 照猫画虎，完成MaxPooling算子 | 完成 | https://www.bilibili.com/video/BV1m3411S7yy |
| 第七次课 | 图结构(PNNX)讲解和计算图初步 | 未完成 | |
| 第八次课 | 读取PNNX并构建自己的计算图 | 未完成 | |
| 第二季课程待叙 | ... | ... |
先列前八次(第一季)的课程，课程目录可能会发生变化。 后续课程会在第八次课程讲完后发布。
- 开发语言：C++ 17
- 数学库：Armadillo+OpenBlas
- 加速库：OpenMP
- 单元测试：GTest
- 性能测试：Google Benchmark
- docker pull registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest
- sudo docker run -t -i registry.cn-hangzhou.aliyuncs.com/hellofss/kuiperinfer:latest /bin/bash
- cd code
- cd KuiperInfer
- git pull (可选的命令)
- mkdir build
- cd build
- cmake ..
- make -j16
总体秉承算子用到再开发的理念； 对已经实现的算子不做过度设计，用到再进行匹配
- Convolution
- AdaptivePooling
- MaxPooling
- Expression(抽象语法树)
- Flatten, View(只支持HW维度展平和变形,其他维度用到再开发)
- Sigmoid
- HardSigmoid
- HardSwish
- ReLU
- Linear(矩阵相乘，只支持二维Tensor相乘，其他维度用到再开发)
- Softmax
- BatchNorm
- Upsample
- SiLU
- Concat
- source是源码目录
- data/ 是张量类Tensor的实现和Tensor初始化方法
- layer/ 是算子的实现
- parser/ 是Pnnx表达式的解析类
- runtime/ 是计算图结构，解析和运行时相关
- test是单元测试目录，由于是个人项目，不能做到单元测试全覆盖。
- bench是google benchmark, 包含对MobilenetV3和Resnet18的性能测试。
Ubuntu 22.04, Intel(R) Core(TM) i7-11800H @ 2.30GHz, 32G Memory
8x3x224x224, NCHW格式
| Benchmark | Batch Size | Time | CPU | Iterations |
|---|---|---|---|---|
| BM_Resnet18 | 8 | 1.4107 s ± 0.15s | 0.7390 s ± 0.15s | 5 |
| BM_MobilenetV3 | 8 | 1.1920 s ± 0.15s | 0.7269 s ± 0.15s | 5 |
优秀的数学库Openblas: https://github.com/xianyi/OpenBLAS
优秀的数学库Armadillo: https://arma.sourceforge.net/docs.html
给予我灵感的Caffe框架: https://github.com/BVLC/caffe