人脑中统共有 860 亿个神经元，个中大脑皮层有 160 亿个神经元。大脑皮层的神经元数量决定了动物的智力水平，人的大脑皮层中神经元数量远高于其他物种，以是人类比其他物种更聪明。大象的脑筋统共有 2570 亿个神经元，但是个中 98% 的神经元都存在于大象的小脑中，而大象的大脑皮层只有 56 亿个神经元，无法与人类比较。大脑皮层中的神经元数量越大，能耗也越大。人脑每天花费的能量占人体全部耗能的 25%，这也便是为什么我们每天都要吃多餐，很随意马虎饿的缘故原由。人之以是能够很快超越其他物种，紧张是由于人类节制了烹饪技能，能够在短韶光内摄入大量卡路里以支持大脑运转，其他物种则将摄入的卡路里用于掩护身体运转，不得不捐躯大脑皮层的神经元数量。
之以是先谈大脑神经元事理，也是为了引出本文的重点–当代 AI 技能。在正式进入 AI 技能前，我先讲讲软件工程师这份事情，由于现在有很多软件工程师准备转入 AI 行业。
软件工程师我是软件工程师出身，2004 年刚毕业时我写的是 JSP 代码（一种将 Java 措辞嵌入在 HTML 代码中的编写办法），事情几年后转入分布式软件技能，再后来进入大数据技能领域，最近的 4 年韶光我一贯在从事 AI 平台研发事情。
软件工程师的哀求，我总体分为根本编码和系统架构两方面，因此我对付软件工程师的稽核，特殊是校招学生时，为了进一步稽核他们的综合能力，我每次都会自己准备口试题，这些题目包括了编程基本观点、算法编程题、操作系统、数据库编程、开源代码阅读、垃圾回收机制、系统架构描述等。
编码的话题展开来可以讲良久，发展历史很悠久，我 15 岁学编程时用的是 Basic 措辞，读大学时学的是 C 措辞，大学毕业参加事情后第一门用的措辞是 Java，个中的各种故事和理解可以写几篇文章，这里不展开谈。
我以为谈到软件工程师事情，避不开软件架构设计。大众谈软件架构，很多人会认为软件架构便是一堆框架的组合，实在不对，软件架构本身是对付软件实体的组织形式的阐述，利用框架的意义是快速完成软件架构设计，而不是取代软件架构设计，两者实质上不是一类事物，更像是设计图纸和所利用的原材料。软件架构便是通过对软件生命周期的拆分，在符合业务架构的条件下，以达到软件本身访问增长目的的办法。这个增长须要软件开拓的增长，也须要软件运行的增长，由此达到所支撑业务的增长。
市情上也确实有很多例如“分布式系统架构”、“微做事架构”等等跟随着潮流的书本，但是看完后只勾留在会采取一些开源框架进行整体框架搭建，我说的是搭建，而不是设计。确实是搭建，你所拥有的能力就彷佛小孩子搭积木，只会采取固定谈论，或者学得差点，连固定套路都没学会，这样对你的个人能力发展实在没有多大好处，这也是为什么很多程序员在完成了程序员 - 架构师的转型后，没过多久就转为纯管理，或者彻底离开了技能界，由于从来没有大彻大悟理解系统架构。
之以是谈了这么多系统架构干系的事情理解，是由于我认为系统架构师系统化的思维，我们搞 AI 系统也是系统化的思维，从有较强编程能力的系统架构师转 AI 技能，相对随意马虎一些。
AI 工程师为什么要从软件工程师转行到 AI 产品研发？由于 AI 产品研发有更大的吸引力，由于它更难，难到我们并不愿定什么时候才能真正做出来，做出来真正能够可复制的 AI 产品。表面上看它也是一个门槛—一个“可用”且“可复制”的 AI 技能，但因难堪度足够大，以是有寻衅性，必须不断地改进技能，做环球范围内还没有做出来的技能。搞软件开拓时处理的一些问题可能是其他公司已经办理的，并非“人类”都还没有办理的问题。
AI 的研究最早可以被追溯到亚里士多德的三段论，然后莱布尼茨创立了处理逻辑，布尔在布尔代数上的贡献，弗雷德在近代逻辑上的贡献，罗素在逻辑主义方面的贡献，这些事情都是在数据逻辑上的。一样平常认为，当代 AI 技能谈论，起源于 1956 年在达特茅斯学院召开的夏季研讨会，而这门学科的源头可能是 Alan Turing（阿兰. 图灵） 1948 年在英国国家物理实验室（NPL）写过的一份内部报告，这份报告中提到了肉体智能和无肉体智能，从某种意义上预示了后来符号派和统计派之争，或是 Turing 在 1950 年在哲学杂志《心》（Mind）上揭橥的文章“打算机与智能”，反正都是 Turing。
可以这么认为，当代 AI 是一系列通用目的技能的总称。当代 AI 技能，紧张指基于机器学习（Machine Learning，简称 ML）/ 深度学习（Deep Learning，简称 DL）的一系列方法和运用，这只是 AI 领域的一个分支，也是目前发展最快、运用最广的分支。
机器学习 / 深度学习的事理可以这样理解：建立一个模型，给一个输入，通过模型的运算，得到一个输出。可以用于办理一个大略问题，例如识别图片是不是狗，也可以用来办理繁芜问题，例如下棋、开车、医疗诊断、交通管理等等，也可以理解为，模型便是一个函数 f(x)，上述过程，可以表达为：f(一张图片)= 狗 / 不是狗。
一个 AI 运用开拓，大概分为三个阶段：
第一阶段，识别问题、构建模型、选择模型。AI 的开拓和培养一个小孩子类似，不同的孩子有不同的爱好和特长，同样地，AI 也有很多模型 / 算法，不同的模型 / 算法适宜办理不同的问题。以是，首先要识别你要办理的是个什么问题，然后选择一个得当的模型 / 算法；第二阶段，演习模型。和培养小孩子一样，纵然你创造小孩子有音乐天分，他也不可能天生便是钢琴家，他须要专业的演习。AI 开拓也一样，选定模型 / 算法后，纵然算法再好，也不能立时有效事情，你须要用大量的数据演习这个模型，演习过程中不断优化参数，让模型能够更为有效地事情。这个阶段 AI 模型的事情状态，叫做“演习”；第三阶段，模型支配。模型演习结束后就可以支配了。比如一个人脸识别的模型，你可以把它支配在手机上，用于开机鉴权，也可以把它支配在园区闸机上，用于出入管理，还可以把它支配在银行的客户端上，用于业务鉴权，等等。如同一个孩子发展为钢琴家后，既可以在音乐会上演奏，也可以在家庭聚会上演出。AI 模型支配之后的事情状态，专业的说法，叫做“推理”。通过上述 AI 开拓过程的简述，可以创造，算法、数据和算力，是驱动 AI 发展的三大动力，三者缺一不可。
算法相称于是基因。基因不好，再努力也白搭。如何识别问题，并根据问题选择算法，乃至开拓新的算法，是高端 AI 专家的核心竞争力；数据相称于是学习材料。光基因好，没有好的教材，也教不出大师。AI 的演习，须要海量的、高质量的数据作为输入。AlhpaGo 通过自己和自己下棋，下了几千万盘，人类一辈子最多也就下几千盘。没有这样的演习量，AlhpaGo 根本不可降服人类。自动驾驶，Google 已经搞了 10 年，演习了几十万小时，远远超过一个专业赛车手的演习量，但离真正的无人驾驶还差很远。其余，数据的质量也很主要，如果你给 AI 输入的数据是错的，那么演习出来的 AI，也会做出错误的结果。大略的说，如果你把猫的图片当做狗的图片去演习 AI，那么演习出来的 AI，就一定会把猫当做狗。数据的主要性直接导致了中国呈现了大批以数据标注为生存手段的公司和个人；一个小孩，光有天分和好的学习材料，自己如果不努力，不投入韶光和精力好好学习，绝对不可能成为大师。同样的道理，一个 AI 模型，算法再好、数据再多，如果没有足够的算力，支撑它持续不断的演习，这个模型永久也不能成为一个真恰好用的模型。这便是为什么英伟达崛起的缘故原由，这家公司的 GPU 芯片供应了最为适配于人脑神经网络的打算算力，现在海内工业界也有了类似的公司产品 - 华为的达芬奇芯片。演习 AI 运用模型动手实践前
接下来，我们通过对一个 AI 运用模型的演习和推理过程先容，开始动手实践。演习模型须要算力，对付算力的获取，演习和推理可以根据自己的业务需求，选择利用公有云或自己购买带算力芯片的做事器，本文案我选择的是某花厂的 AI 开拓平台，由于近期他们刚推出一个免费算力的推广活动，可以省下一笔演习用度。为了便于调试，我首先在自己的 CPU 个人电脑上编写代码、演习模型，这样做的缺陷是模型收敛的韶光长了一些。
疫情期间，对付民众来说，佩戴口罩是最有效防止被传染新冠病毒的办法，保护自己的同时也保护他人。以是本文的案例是佩戴口罩的识别模型演习。识别算法离不开目标检测。目标检测（Object Detection）的任务是找出图像中所有感兴趣的目标（物体），确定它们的位置和大小。由于各种物体有不同的形状、大小和数量，加上物体间还会相互遮挡， 因此目标检测一贯都是机器视觉领域中最具寻衅性的难题之一。
基于深度学习的人脸检测算法，多数都是基于深度学习目标检测算法进行的改进，或者说是把通用的目标检测模型，为适应人脸检测任务而进行的特定配置。而浩瀚的目标检测模型（Faster RCNN、SSD、YOLO）中，人脸检测算法最常用的是 SSD 算法（Single Shot MultiBox Detector，“Single Shot”指的是单目标检测，“MultiBox”中的“Box”就像是我们平时拍摄时用到的取景框，只关注框内的画面，屏蔽框外的内容。创建“Multi”个 "Box"，将每个 "Box" 的单目标检测结果汇总起来便是多目标检测。
换句话说，SSD 将图像切分为 N 片，并对每片进行独立的单目标检测，末了汇总每片的检测结果。），其他如 SSH 模型、S3FD 模型、RetinaFace 算法，都是受 SSD 算法的启示，或者基于 SSD 进行的任务定制化改进， 例如将定位层提到更靠前的位置，Anchor 大小调度、Anchor 标签分配规则的调度，在 SSD 根本上加入 FPN 等。本文演习口罩识别模型采取了 YOLO。
目标检测过程都可以分解为两个独立的操作：
定位（location）： 用一个矩形（bounding box）来框定物体，bounding box 一样平常由 4 个整数组成，分别表示矩形左上角和右下角的 x 和 y 坐标，或矩形的左上角坐标以及矩形的长和高。分类（classification）： 识别 bounding box 中的（最大的）物体。我选择采取 keras-yolo3-Mobilenet 方案，开源项目地址：https://github.com/Adamdad/keras-YOLOv3-mobilenet。MobileNet 的创新亮点是 Depthwise Separable Convolution（深度可分离卷积），与 VGG16 比较，在很小的精度丢失情形下，将运算量减小了 30 倍。YOLOv3 的创新亮点是 DarkNet-53、Prediction Across Scales、多标签多分类的逻辑回归层。
基于开源数据集的实验结果：
动手演习模型
演习模型自然须要演习数据集和测试数据集，大家可以在这里下载：
https://modelarts-labs-bj4.obs.cn-north-4.myhuaweicloud.com/casezoo/maskdetect/datasets/maskdetectdatasets.zip
Yolo v3-MobileNet 目标检测工程的目录构造如下：
|--model_data |--voc_classes.txt |--yolo_anchors.txt|--yolo3 |--model.py |--model_Mobilenet.py |--utiles.py|--convert.py|--kmeans.py|--train.py|--train_Mobilenet.py|--train_bottleneck.py|--voc_annotation.py|--yolo.py|--yolo_Mobilenet.py|--yolo_video.py
开源项目的好处是已经帮你封装了流程，例如涉及的 Yolo 代码不用修正，本次演习过程须要修正的代码紧张因此下三个：
1.train_Mobilenet.py：模型演习代码；2.yolo/model_Mobilenet.py：基于 mobilenet 的 yolo 的模型代码，如果相对模型代码仔细研究的人，可以研究这个代码；3.yolo_Mobilenet.py：模型推理代码。接下来详细先容我们须要修正的代码，按照功能分为数据类、模型类、可视化类、迁移上云准备类。
•数据类：
仿照 modeldata/vocclasses.txt 写一个是否有戴口罩的类别的 txt，内容只有 yes_mask、no_mask 两个字符。
如果你下载我给出的数据集，你会创造，口罩数据集中给出的 xml 标注格式是 VOC 的标准的，仿照 convert.py 和 voc_annotation.py 写一个数据转换文件，代码如下所示：
import xml.etree.ElementTree as ET import os def convert_annotation(classes, label_path): in_file = open(label_path) tree=ET.parse(in_file) root = tree.getroot() output_list = [] for obj in root.iter('object'): difficult = obj.find('difficult').text cls = obj.find('name').text if cls not in classes or int(difficult)==1: continue cls_id = classes.index(cls) xmlbox = obj.find('bndbox') b = (int(xmlbox.find('xmin').text), int(xmlbox.find('ymin').text), int(xmlbox.find('xmax').text), int(xmlbox.find('ymax').text)) output_list.append(" " + ",".join([str(a) for a in b]) + ',' + str(cls_id)) return (' '.join(output_list))def mask_convert(data_path, classes): img_list = [] for i in list(os.listdir(data_path)): if i.split('.')[1] == 'jpg': img_list.append(i.split('.')[0]) output_list = [] for image_id in img_list: img_path = (data_path + '/%s.jpg' % (image_id)) label_path = (data_path + '/%s.xml' % (image_id)) annotation = convert_annotation(classes, label_path) output_list.append(img_path + annotation) return output_list
•模型类：
演习过程中会有一个 tensor 对不上的缺点，须要修正 model_data/model.py 这个代码中的 140-141 行，如下所示：
box_xy = (K.sigmoid(feats[..., :2]) + grid) / K.cast(grid_shape[..., ::-1], K.dtype(feats)) box_wh = K.exp(feats[..., 2:4]) anchors_tensor / K.cast(input_shape[..., ::-1], K.dtype(feats))
•可视化类：
为了直不雅观判断模型效果，增加了一个在图片上直接标注的可视化代码，也便是在图片上打印输出结果（yes_mask 或 no_mask），代码如下所示：
#!/usr/bin/env python # coding: utf- img_path = "D:/Code/mask_detection/data/test" save_path = "D:/Code/mask_detection/data/test_result/"import matplotlib matplotlib.use('Agg') import matplotlib.pyplot as plt import matplotlib.patches as patches import matplotlib.image as mpimg import random import json # 推理输出路径 with open('D:/Code/mask_detection/keras-YOLOv3-mobilenet-master/annotation_YOLOv3.json') as json_file: data = json.load(json_file) imgs = list(data.keys()) def parse_json(json): bbox = [] for item in json['annotations']: name = item['label'] xmin = item['x'] ymin = item['y'] xmax = item['x']+item['width'] ymax = item['y']+item['height'] bbox_i = [name, xmin, ymin, xmax, ymax] bbox.append(bbox_i) return bboxdef visualize_bbox(image, bbox, name): fig, ax = plt.subplots() plt.imshow(image) colors = dict()#指定标注某个工具的边框的颜色 for bbox_i in bbox: cls_name = bbox_i[0] #得到 object 的 name if cls_name not in colors: colors[cls_name] = (random.random(), random.random(), random.random()) #随机天生标注 name 为 cls_name 的 object 的边框颜色 xmin = bbox_i[1] ymin = bbox_i[2] xmax = bbox_i[3] ymax = bbox_i[4] #指明对应位置和大小的边框 rect = patches.Rectangle(xy=(xmin, ymin), width=xmax-xmin, height=ymax-ymin, edgecolor=colors[cls_name],facecolor='None',linewidth=3.5) plt.text(xmin, ymin-2, '{:s}'.format(cls_name), bbox=dict(facecolor=colors[cls_name], alpha=0.5)) ax.add_patch(rect) plt.axis('off') plt.savefig(save_path+'{}_gt.png'.format(name)) #将该图片保存下来 plt.close()for item in imgs: img = mpimg.imread(img_path+item) bbox = parse_json(data[item]) visualize_bbox(img, bbox, item.split('.')[0])
•上云准备类：
开源代码写的比较随意，直接便是在演习代码 trian_Mobilenet.py 代码中一开头指定所有的参数。华为云中演习作业是须要指定 OBS 的输入路径和输出路径的，最好利用 argparse 的形式将路径参数传进去。其他参数可以按照自己需求做增加，修正样例如下：
import argparse parser = argparse.ArgumentParser(description="training a maskmodel in modelarts") # 演习输出路径 parser.add_argument("--train_url", default='logs/maskMobilenet/003_Mobilenet_finetune/', type=str) # 数据输入路径 parser.add_argument("--data_url", default="D:/code/mask_detection/data/MASK_MERGE/", type=str) # GPU 数量 parser.add_argument("--num_gpus", default=0, type=int) args = parser.parse_args()
开源代码中，数据处理的部分是将 xml 转换成 yolo 读的 txt 文档，这样导致数据输入须要有一个写入到 txt 文件，然后演习工程读取这个 txt 文件和图片的过程。上云后，这种流程不太方便，须要将数据处理，数据转换和演习代码打通。这里我利用缓存将数据直接传到演习代码中，这样改起来比较方便，但是当数据量较大的时候并不科学，有兴趣的人可以自己修正。
迁移公有云
我利用某厂商公有云的 AI 演习平台，用的是 OBS 桶上传已经调试好的代码（建议大家体验 Notebook 办法，在线编程、编译），如下图所示：
接着启动 Notebook，不过我没有用 jupyter 办法写代码，而是采取同步 OBS 桶的资源，通过 Notebook 启动一个 GPU 镜像：
创建一个 Notebook 环境：
确认打算资源规格：
创建 Notebook 环境成功：
从 OBS 桶同步干系文件：
接下来进入该 Notebook 的终端环境，运行以下代码，启动演习任务：
演习过程输出片段如下所示：
2020-04-07 18:58:14.497319: I tensorflow/stream_executor/dso_loader.cc:152] successfully opened CUDA library libcublas.so.10.0 locally7/7 [==============================] - 17s 2s/step - loss: 4226.4421 - val_loss: 22123.3750Epoch 2/507/7 [==============================] - 6s 855ms/step - loss: 1083.1558 - val_loss: 1734.1427Epoch 3/507/7 [==============================] - 6s 864ms/step - loss: 521.8567 - val_loss: 455.0971Epoch 4/507/7 [==============================] - 6s 851ms/step - loss: 322.8907 - val_loss: 193.3107Epoch 5/507/7 [==============================] - 6s 841ms/step - loss: 227.7257 - val_loss: 150.8902Epoch 6/507/7 [==============================] - 6s 851ms/step - loss: 179.0605 - val_loss: 154.9351Epoch 7/507/7 [==============================] - 6s 868ms/step - loss: 150.4297 - val_loss: 147.3101Epoch 8/507/7 [==============================] - 8s 1s/step - loss: 129.5681 - val_loss: 144.8283
模型天生后，创建一个 python 脚本，代码如下，实现了模型文件拷贝到 OBS 桶：
from modelarts.session import Sessionsession = Session()session.upload_data(bucket_path="/mask-detection-modelarts-test/run/log/", path="/home/ma-user/work/log/trained_weights_final.h5")
运行推理脚本，我把推测结果打印在了测试图片上，如下图所示，识别出了口罩：
后记
AI 技能的兴起，已经带动了科技行业的革命，而每一次业界的革命，都会让一些公司落寞而让另一些公司崛起，程序员也一样，每一次技能换代也都会让一些程序员没落而让另一些程序员崛起。捉住目前正在盛行的 AI 技能趋势，利用云真个免费打算资源，上手学习并实践 AI 技能，会是相称一部分软件工程师、数据科学家的选择。此外，由于在图像识别、文本识别、语音识别等技能领域，算法的精度已经给有大幅度的提升，在很多场景下已经达到可商用级别，也进一步让自动机器学习技能（模型的自动设计和演习）的发展成为可能。因此，在上述几个技能领域的很多运用处景下，公有云已经可以做到根据用户自定义数据进行 AI 模型的自动演习。
