卷积神经网络的前世今生

深度学习在技术与应用上的突破引发了第三次人工智能浪潮，获得了空前成功。在前述章节的基础上，本章将主要介绍训练卷积神经网络和深度神经网络的重要方法与技巧，深度神经网络的迁移学习策略，以及如何训练深度神经网络以解决实际问题等内容。作为人工智能的核心研究内容，以卷积神经网络（ConvolutionalNeural Networks, CNNs）为代表的深度学习技术已在计算机视觉应用，如智能监控、智慧医疗及机器人自动驾驶等领域取得突破性进展，而这些应用的成功落地很大程度上依赖于视觉识别模块。

结合前文内容，本章将详细介绍如何构建并利用CNNs 这一功能强大的深度学习模型解决实际的图像识别问题。

1.?"""
2.?设置模型的超参数
3.
4.
5.?KEEP_PROB:?网络随机失活的概率
6.?LEARNING_RATE:?学习的速率，即梯度下降的速率
7.?BATCH_SIZE:?一次训练所选取的样本数
8.?PARAMETER_FILE:?模型参数保存的路径
9.?MAX_ITER:?最大迭代次数
10.?"""
11.
12.?KEEP_PROB?=?0.5
13.?LEARNING_RATE?=?1e-5
14.?BATCH_SIZE?=50
15.?PARAMETER_FILE?=?"checkpoint/variable.ckpt"
16.?MAX_ITER?=?50000

1.?import?tensorflow?as?tf
2.?import?tensorflow.contrib.slim?as?slim
3.?import?config?as?cfg
4.
5.?class?Lenet:
6.?def?__init__(self):
7.?"""
8.?初始化LeNet?网络
9.?"""
10.?#?设置网络输入的图片为二维张量，数据的类型为float32，行数不固定，列固定为784
11.?self.raw_input_image?=?tf.placeholder(tf.float32,?[None,?784])
12.
13.?#?改变网络输入张量的形状为四维，-1?表示数值不固定
14.?self.input_images?=?tf.reshape(self.raw_input_image,?[-1,?28,?28,?1])
15.
16.?#?设置网络输入标签为二维张量，数据类型为float，行数不固定，列固定为10
17.?self.raw_input_label?=?tf.placeholder("float",?[None,?10])
18.
19.?#?改变标签的数据类型为int32
20.?self.input_labels?=?tf.cast(self.raw_input_label,tf.int32)
21.
22.?#?设置网络的随机失活概率
23.?self.dropout?=?cfg.KEEP_PROB
24.
25.?#?构建两个网络
26.?#?train_digits?为训练网络，开启dropout
27.?#?pred_digits?为预测网络，关闭dropout
28.?with?tf.variable_scope("Lenet")?as?scope:
29.?self.train_digits?=?self.construct_net(True)
30.?scope.reuse_variables()
31.?self.pred_digits?=?self.construct_net(False)

32.
33.?#?获取网络的预测数值
34.?self.prediction?=?tf.argmax(self.pred_digits,?1)
35.
36.?#?获取网络的预测数值与标签的匹配程度
37.?self.correct_prediction?=?tf.equal(tf.argmax(self.pred_digits,?1),?tf.argmax
(self.input_labels,?1))
38.
39.?#?将匹配程度转换为float?类型，表示为精度
40.?self.train_accuracy?=?tf.reduce_mean(tf.cast(self.correct_prediction,?"float"))
41.
42.?#?计算train_digits?与labels?之间的系数softmax?交叉熵，定义为loss
43.?self.loss?=?slim.losses.softmax_cross_entropy(self.train_digits,?self.
input_labels)
44.
45.?#?设置学习速率
46.?self.lr?=?cfg.LEARNING_RATE
47.?self.train_op?=?tf.train.AdamOptimizer(self.lr).minimize(self.loss)
48.
49.
50.?def?construct_net(self,is_trained?=?True):
51.?"""
52.?接收is_trained?参数判断是否开启dropout
53.?用slim?构建LeNet?模型
54.?第一、三、五层为卷积层、第二、四层为池化层
55.?接下来对第五层扁平化，再接入全连接
56.?接着进行随机失活防止过拟合，再次接入全连接层
57.?最后返回构建的网络
58.?"""
59.?with?slim.arg_scope([slim.conv2d],?padding='VALID',
60.?weights_initializer=tf.truncated_normal_initializer(stddev=0.01),
61.?weights_regularizer=slim.l2_regularizer(0.0005)):
62.?net?=?slim.conv2d(self.input_images,6,[5,5],1,padding='SAME',scope='conv1')
63.?net?=?slim.max_pool2d(net,?[2,?2],?scope='pool2')
64.?net?=?slim.conv2d(net,16,[5,5],1,scope='conv3')
65.?net?=?slim.max_pool2d(net,?[2,?2],?scope='pool4')
66.?net?=?slim.conv2d(net,120,[5,5],1,scope='conv5')
67.?net?=?slim.flatten(net,?scope='flat6')
68.?net?=?slim.fully_connected(net,?84,?scope='fc7')
69.?net?=?slim.dropout(net,?self.dropout,is_training=is_trained,?scope=
'dropout8')
70.?digits?=?slim.fully_connected(net,?10,?scope='fc9')
71.?return?digits

1.?import?tensorflow.examples.tutorials.mnist.input_data?as?input_data
2.?import?tensorflow?as?tf
3.?import?config?as?cfg
4.?import?os
5.?import?lenet
6.?from?lenet?import?Lenet
7.
8.
9.?def?main():
10.?#?从指定路径加载训练数据
11.?mnist?=?input_data.read_data_sets("MNIST_data/",?one_hot=True)
12.
13.?#?开启TensorFlow?会话
14.?sess?=?tf.Session()
15.
16.?#?设置超参数
17.?batch_size?=?cfg.BATCH_SIZE
18.?parameter_path?=?cfg.PARAMETER_FILE
19.?lenet?=?Lenet()
20.?max_iter?=?cfg.MAX_ITER
21.
22.?#?加载已保存的模型参数文件，如果不存在则调用初始化函数生成初始网络
23.?saver?=?tf.train.Saver()
24.?if?os.path.exists(parameter_path):
25.?saver.restore(parameter_path)
26.?else:
27.?sess.run(tf.initialize_all_variables())
28.
29.?#?迭代训练max_iter?次，每次抽取50?个样本进行训练
30.?#?每100?次打印出当前数据的精度
31.?#?训练完成后保存模型参数
32.?for?i?in?range(max_iter):
33.?batch?=?mnist.train.next_batch(50)
34.?if?i?%?100?==?0:
35.?train_accuracy?=?sess.run(lenet.train_accuracy,feed_dict={
36.?lenet.raw_input_image:?batch[0],lenet.raw_input_label:?batch[1]
37.?})
38.?print("step?%d,?training?accuracy?%g"?%?(i,?train_accuracy))
39.?sess.run(lenet.train_op,feed_dict={lenet.raw_input_image:?batch[0],lenet.
raw_input_label:?batch[1]})
40.?save_path?=?saver.save(sess,?parameter_path)
41.
42.?if?__name__?==?'__main__':
43.?main(

1.?import?tensorflow?as?tf
2.?from?PIL?import?Image,ImageOps
3.?import?numpy?as?np
4.?from?lenet?import?Lenet
5.?import?config?as?cfg
6.
7.?class?inference:
8.?def?__init__(self):
9.?"""
10.?构建Lenet?网络，设置模型参数文件路径，开启TensorFlow?会话
11.?"""
12.?self.lenet?=?Lenet()
13.?self.sess?=?tf.Session()
14.?self.parameter_path?=?cfg.PARAMETER_FILE
15.?self.saver?=?tf.train.Saver()
16.
17.?def?predict(self,image):
18.?"""
19.?接收要测试的图片作为参数，返回预测值
20.?"""
21.?#?将图片转换为合适的大小进行输入
22.?img?=?image.convert('L')
23.?img?=?img.resize([28,?28],?Image.ANTIALIAS)
24.?image_input?=?np.array(img,?dtype="float32")?/?255
25.?image_input?=?np.reshape(image_input,?[-1,?784])
26.
27.?#?读取模型参数并对图片进行预测，返回预测值
28.?self.saver.restore(self.sess,self.parameter_path)
29.?predition?=?self.sess.run(self.lenet.prediction,?feed_dict={self.lenet.raw_
input_image:?image_input})
30.?return?predition

1.?import?tkinter
2.?from?PIL?import?Image,ImageDraw
3.?from?Inference?import?inference
4.
5.?class?MyCanvas:
6.?"""
7.?设置一个256*256?大小的容器进行手写界面的绘制
8.?背景色设置为黑色，绘制轨迹设置为白色
9.?"""
10.?def?__init__(self,root):
11.?self.root=root
12.?self.canvas=tkinter.Canvas(root,width=256,height=256,bg='black')
13.?self.canvas.pack()
14.?self.image1?=?Image.new("RGB",?(256,?256),?"black")
15.?self.draw?=?ImageDraw.Draw(self.image1)
16.?self.canvas.bind('<B1-Motion>',self.Draw)
17.
18.?#?绘制轨迹
19.?def?Draw(self,event):
20.?self.canvas.create_oval(event.x,event.y,event.x,event.y,outline="white",
width?=?20)
21.?self.draw.ellipse((event.x-10,event.y-10,event.x+10,event.y+10),fill=(255,
255,255))
22.
23.
24.?def?main():
25.?#?建立一个tkinter?对象,?设置大小为380*300
26.?root?=?tkinter.Tk()

27.?root.geometry('380x300')
28.?#?创建一个256*256?的框架容纳手写的容器，位于tkinter?对象的左边，填充y?方向
29.?frame?=?tkinter.Frame(root,?width=256,?height=256)
30.?frame.pack_propagate(0)
31.?frame.pack(side="left",?fill='y')
32.?#?将frame?导入canvas?容器
33.?canvas1?=?MyCanvas(frame)
34.?#?创建一个图像识别的实例
35.?infer?=?inference()
36.
37.?#?定义识别按钮触发函数
38.?#?按下的时候将cavas?导出为图片，放入infer?中进行图像识别，并将结果显示在label2?中
39.?def?inference_click():
40.?img?=?canvas1.image1
41.?result?=?infer.predict(img)
42.?result?=?int(result)
43.?label2["text"]?=?str(result)
44.
45.?#?定义清除按钮的触发函数
46.?#?按下的时候将canvas?情况并重新绘制背景，并将label?设置为空
47.?def?clear_click():
48.?canvas1.canvas.delete("all")
49.?canvas1.image1?=?Image.new("RGB",?(256,?256),?"black")
50.?canvas1.draw?=?ImageDraw.Draw(canvas1.image1)
51.?label2["text"]?=?""
52.
53.?#?定义识别按钮的样式
54.?botton_Inference?=?tkinter.Button(root,
55.?text="?检测",
56.?width=14,
57.?height=2,
58.?command=inference_click
59.?)
60.?#?定义清除按钮的样式
61.?botton_Clear?=?tkinter.Button(root,
62.?text="?清屏",
63.?width=14,
64.?height=2,
65.?command=clear_click
66.?)
67.?#?绑定识别按钮到tkinter?中，设置位置为顶层
68.?botton_Inference.pack(side="top")
69.
70.?#?绑定清除按钮到tkinter?中
71.?botton_Clear.pack(side="top")
72.
73.?#?定义label1
74.?label1?=?tkinter.Label(root,?justify="center",?text="?检测结果为:")
75.?label1.pack(side="top")
76.
77.?#?定义label2
78.?label2?=?tkinter.Label(root,?justify="center")
79.
80.?#?设置字体样式与大小
81.?label2["font"]?=?("Arial,?48")
82.?label2.pack(side="top")
83.?root.mainloop()
84.
85.?if?__name__?==?'__main__':
86.?main()