《TensorFlow深度学习算法原理与编程实战》

矩阵各个对应元素相乘, 这个时候要求两个矩阵必须同样大小。
代码：

import tensorflow as tf
a = tf.constant([[1, 3, 5],
[7, 9, 11]])
b = tf.constant([[2, 4, 6],
[8, 10, 12]])
c = tf.constant([[2, 4],
[6, 8],
[10, 12]])
# 矩阵乘法
e = tf.matmul(a, c)
# 矩阵点乘
f = tf.multiply(a, b)
g = a * b
with tf.Session() as sess:
e_val, f_val, g_val = sess.run(fetches=[e, f, g])
print("e=", e_val)
print("f=", f_val)
print("g=", g_val)
结果：

e= [[ 70 88]
[178 232]]
f= [[ 2 12 30]
[ 56 90 132]]
g= [[ 2 12 30]
[ 56 90 132]]
 

对于某个事件，有n种可能性，每一种可能性都有一个概率p(xi)
这样就可以计算出某一种可能性的信息量。举一个例子，假设你拿出了你的电脑，按下开关，会有三种可能性，下表列出了每一种可能的概率及其对应的信息量



序号
事件
概率p
信息量I




A
电脑正常开机
0.7
-log(p(A))=0.36


B
电脑无法开机
0.2
-log(p(B))=1.61


C
电脑爆炸了
0.1
-log(p(C))=2.30



注：文中的对数均为自然对数
 
我们现在有了信息量的定义，而熵用来表示所有信息量的期望，即：
H(X)=−∑i=1np(xi)log(p(xi))
 
其中n代表所有的n种可能性，所以上面的问题结果就是
H(X)===−[p(A)log(p(A))+p(B)log(p(B))+p(C))log(p(C))]0.7×0.36+0.2×1.61+0.1×2.300.804
 
然而有一类比较特殊的问题，比如投掷硬币只有两种可能，字朝上或花朝上。买彩票只有两种可能，中奖或不中奖。我们称之为0-1分布问题（二项分布的特例），对于这类问题，熵的计算方法可以简化为如下算式：
H(X)==−∑i=1np(xi)log(p(xi))−p(x)log(p(x))−(1−p(x))log(1−p(x))
 

假设我们听到了两件事，分别如下：

事件A：巴西队进入了2018世界杯决赛圈。

事件B：中国队进入了2018世界杯决赛圈。

仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关。
假设X
是一个离散型随机变量，其取值集合为χ,概率分布函数p(x)=Pr(X=x),x∈χ,则定义事件X=x0
的信息量为：
I(x0)=−log(p(x0))
由于是概率所以p(x0)的取值范围是[0,1],绘制为图形如下：




可见该函数符合我们对信息量的直觉

Xt：n维向量，t时刻的输入

Ht：时刻t隐神经元对于线性转换值

St：时刻t的隐藏状态

Ot：时刻t的输出

U：输入层到隐藏层之间的权重

W：隐藏层之间的权重，是网络的记忆控制者，负责调度记忆。（当前样本与上一个样本隐藏层之间的权重）

V：隐藏层到输出层之间的权重

卷积层特征图矩阵尺寸 = （[前层矩阵尺寸] + 2 × [填充像素] - [窗口尺寸] + [步长]）/ [步长]
 

学习率（Learning Rate）就相当与对输入所做的一个微小变化，定义每次参数更新的幅度。

法国数学家，阿德里安-馬里·勒讓德（1752－1833，这个头像有点抽象）提出让总的误差的平方最小的y 就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动。

伯努利分布（英语：Bernoulli distribution，又名两点分布或者0-1分布，是一个离散型概率分布，为纪念瑞士科学家雅各布·伯努利而命名。)若伯努利试验成功，则伯努利随机变量取值为1。若伯努利试验失败，则伯努利随机变量取值为0。

将每个神经元的输出通过一个非线性函数，那么整个神经网络的模型也就不再是线性的了。这个非线性的函数我们通常会称为“激活函数 Activation Functiion”。

损失函数或成本函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数，借此直观表示的一些"成本"与事件的关联。

特征向量（Feature Vector）是用于描述实体的所有数字的组合。

深度前馈网络（deep feedforward network），也叫作前馈神经网络（feedforward neural network）或者多层感知机（multilayer perceptron，MLP）。对深度前馈网络的理解，从感知机的角度可能更易。感知机又被成为最简单的神经网络，顾名思义，多层感知机就是在感知机的基础上设计添加了更多层。

TensorFlow 支持广播（一种借鉴自 NumPy 的概念）。利用广播，元素级运算中的较小数组会增大到与较大数组具有相同的形状。

TensorFlow 图（也称为计算图或数据流图）是一种图数据结构。很多 TensorFlow 程序由单个图构成，但是 TensorFlow 程序可以选择创建多个图。图的节点是指令；图的边是张量。张量流经图，在每个节点由一个指令操控。一个指令的输出张量通常会变成后续指令的输入张量。TensorFlow 会实现延迟执行模型，意味着系统仅会根据相关节点的需求在需要时计算节点。

TensorFlow 指令会创建、销毁和操控张量。典型 TensorFlow 程序中的大多数代码行都是指令。

矩阵是二维数组（二阶张量）。例如，[[3.1, 8.2, 5.9][4.3, -2.7, 6.5]]

矢量是一维数组（一阶张量）。例如，[2, 3, 5, 7, 11] 或 [5]

标量是零维数组（零阶张量）。例如，'Howdy' 或 5

TensorFlow 的名称源自张量，张量是任意维度的数组。借助 TensorFlow，您可以操控具有大量维度的张量。

人工神经网络（英语：Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗的讲就是具备学习功能。现代神经网络是一种非线性统计性数据建模工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method）得以优化，所以也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题（也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力），这种方法比起正式的逻辑学推理演算更具有优势。

深度学习（英语：deep learning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。
深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

无监督学习（英语：Unsupervised learning）是机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的数据进行分类或分群。无监督学习的主要运用包含：分群(Cluster Analysis)、关系规则(Association Rule)、维度缩减(Dimensionality Reduce)。它是监督式学习和强化学习等策略之外的一种选择。
一个常见的无监督学习是数据聚类。在人工神经网络中，生成对抗网络（GAN）、自组织映射（SOM）和适应性共振理论（ART）则是最常用的非监督式学习。

监督式学习（英语：Supervised learning），是机器学习的一种方法，可以由训练资料中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练资料是由输入物件（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。机器学习在近30多年已发展为一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。