jspinputformat日期及时单人姿势估量在本身手机上就能实现安卓iOS都可以哦～

该 repo 利用 TensorFlow 实现 CPM 和 Hourglass 模型。
这里未利用常规的卷积，而是在模型内部利用了反向卷积（又叫 Mobilenet V2），以便实行实时推断。

注：你可以修正网络架构，来演习更高 PCKh 的模型。
架构地址：https://github.com/edvardHua/PoseEstimationForMobile/tree/master/training/src

该库包含：

jspinputformat日期及时单人姿势估量在本身手机上就能实现安卓iOS都可以哦～ RESTful API

演习 CPM 和 Hourglass 模型的代码；安卓 demo 的源代码；IOS demo 的源代码。

下面的 gif 是在 Mi Mix2s 上截取的（~60 FPS）

你可以下载以下 apk，在自己的设备上进行测试。

PoseEstimation-Mace.apk：https://raw.githubusercontent.com/edvardHua/PoseEstimationForMobile/master/release/PoseEstimation-Mace.apkPoseEstimation-TFlite.apk：https://raw.githubusercontent.com/edvardHua/PoseEstimationForMobile/master/release/PoseEstimation-TFlite.apk

演习

依赖项

Python3TensorFlow >= 1.4Mace

数据集

演习数据集：https://drive.google.com/open?id=1zahjQWhuKIYWRRI2ZlHzn65Ug_jIiC4l

将其解压缩，获取以下文件构造：

# root @ ubuntu in ~/hdd/ai_challenger$ tree -L 1 ..├── ai_challenger_train.json├── ai_challenger_valid.json├── train└── valid

该演习数据集仅包含单人图像，数据来源是 AI Challenger 竞赛。
共包含 22446 个演习样本和 1500 个测试样本。

该 repo 作者利用 tf-pose-estimation 库中的数据增强代码将标注迁移为 COCO 格式。
tf-pose-estimation 库：https://github.com/ildoonet/tf-pose-estimation

超参数

演习步骤中，利用 experiments 文件夹中的 cfg 文件传输超参数。

以下是 mv2_cpm.cfg 文件的内容：

[Train]model: 'mv2_cpm'checkpoint: Falsedatapath: '/root/hdd/ai_challenger'imgpath: '/root/hdd/'visible_devices: '0, 1, 2'multiprocessing_num: 8max_epoch: 1000lr: '0.001'batchsize: 5decay_rate: 0.95input_width: 192input_height: 192n_kpoints: 14scale: 2modelpath: '/root/hdd/trained/mv2_cpm/models'logpath: '/root/hdd/trained/mv2_cpm/log'num_train_samples: 20000per_update_tensorboard_step: 500per_saved_model_step: 2000pred_image_on_tensorboard: True

该 cfg 文件覆盖模型的所有参数，在 network_mv2_cpm.py 中仍有一些参数。

利用 nvidia-docker 演习

通过以下命令构建 docker：

cd training/dockerdocker build -t single-pose .

或者

docker pull edvardhua/single-pose

然后运行以下命令，演习模型：

nvidia-docker run -it -d \-v <dataset_path>:/data5 -v <training_code_path>/training:/workspace \-p 6006:6006 -e LOG_PATH=/root/hdd/trained/mv2_cpm/log \-e PARAMETERS_FILE=experiments/mv2_cpm.cfg edvardhua/single-pose

此外，它还在 port 6006 上创建了 tensorboard。
确保安装了 nvidia-docker。

按一样平常方法演习

1. 安装依赖项：

cd trainingpip3 install -r requirements.txt

还须要安装 cocoapi (https://github.com/cocodataset/cocoapi)。

2. 编辑 experiments 文件夹中的参数文件，它包含险些所有超参数和演习中须要定义的其他配置。
之后，传输参数文件，开始演习：

cd trainingpython3 src/train.py experiments/mv2_cpm.cfg

在 3 张英伟达 1080Ti 显卡上经由 12 个小时的演习后，该模型险些收敛。
以下是对应的 tensorboard 图。

基准（PCKh）

运行以下命令，评估 PCKh 值。

python3 src/benchmark.py --frozen_pb_path=hourglass/model-360000.pb \--anno_json_path=/root/hdd/ai_challenger/ai_challenger_valid.json \--img_path=/root/hdd \--output_node_name=hourglass_out_3

预演习模型

CPM：https://github.com/edvardHua/PoseEstimationForMobile/tree/master/release/cpm_model Hourglass：https://github.com/edvardHua/PoseEstimationForMobile/tree/master/release/hourglass_model

安卓 demo

由于 mace 框架，你可以利用 GPU 在安卓智能机上运行该模型。

按照以下命令将模型转换为 mace 格式：

cd <your-mace-path># You transer hourglass or cpm model by changing `yml` file.python tools/converter.py convert --config=<PoseEstimationForMobilePath>/release/mace_ymls/cpm.yml

然后根据 mace 文档的解释，将模型集成到安卓设备中。

至于如何调用模型、解析输出，可以拜会安卓源代码：https://github.com/edvardHua/PoseEstimationForMobile/tree/master/android_demo。

一些芯片的均匀推断韶光基准如下所示：

以下是该 repo 作者构建该 demo 的环境：

操作系统：macOS 10.13.6（mace 目前不支持 windows）Android Studio：3.0.1NDK 版本：r16

在构建 mace-demo 时，不同环境可能会碰着不同的缺点。
为避免这种情形，作者建议利用 docker。

docker pull registry.cn-hangzhou.aliyuncs.com/xiaomimace/mace-dev-litedocker run -it --privileged -d --name mace-dev --net=host -v to/you/path/PoseEstimationForMobile/android_demo/demo_mace:/demo_mace registry.cn-hangzhou.aliyuncs.com/xiaomimace/mace-dev-litedocker run -it --privileged -d --name mace-dev --net=host \ -v to/you/path/PoseEstimationForMobile/android_demo/demo_mace:/demo_mace \ registry.cn-hangzhou.aliyuncs.com/xiaomimace/mace-dev-lite# Enter to dockerdocker exec -it mace-dev bash# Exec command inside the dockercd /demo_mace && ./gradlew build

或者将模型转换为 tflite：

# Convert to frozen pb.cd trainingpython3 src/gen_frozen_pb.py \--checkpoint=<you_training_model_path>/model-xxx --output_graph=<you_output_model_path>/model-xxx.pb \--size=192 --model=mv2_cpm_2# If you update tensorflow to 1.9, run following command.python3 src/gen_tflite_coreml.py \--frozen_pb=forzen_graph.pb \--input_node_name='image' \--output_node_name='Convolutional_Pose_Machine/stage_5_out' \--output_path='./' \--type=tflite # Convert to tflite.# See https://github.com/tensorflow/tensorflow/blob/master/tensorflow/docs_src/mobile/tflite/devguide.md for more information.bazel-bin/tensorflow/contrib/lite/toco/toco \--input_file=<you_output_model_path>/model-xxx.pb \--output_file=<you_output_tflite_model_path>/mv2-cpm.tflite \--input_format=TENSORFLOW_GRAPHDEF --output_format=TFLITE \--inference_type=FLOAT \--input_shape=\"大众1,192,192,3\"大众 \--input_array='image' \--output_array='Convolutional_Pose_Machine/stage_5_out'

然后，将 tflite 文件放在 android_demo/app/src/main/assets 中，修正 ImageClassifierFloatInception.kt 中的参数。

............// parameters need to modify in ImageClassifierFloatInception.kt/ Create ImageClassifierFloatInception instance @param imageSizeX Get the image size along the x axis. @param imageSizeY Get the image size along the y axis. @param outputW The output width of model @param outputH The output height of model @param modelPath Get the name of the model file stored in Assets. @param numBytesPerChannel Get the number of bytes that is used to store a single color channel value. / fun create( activity: Activity, imageSizeX: Int = 192, imageSizeY: Int = 192, outputW: Int = 96, outputH: Int = 96, modelPath: String = \"大众mv2-cpm.tflite\"大众, numBytesPerChannel: Int = 4 ): ImageClassifierFloatInception = ImageClassifierFloatInception( activity, imageSizeX, imageSizeY, outputW, outputH, modelPath, numBytesPerChannel)............

末了，将该项目导入 Android Studio，在智能机设备上运行。

iOS Demo

首先，将模型转换为 CoreML 模型：

然后，按照 PoseEstimation-CoreML 中的解释来操作（https://github.com/tucan9389/PoseEstimation-CoreML）。