1.1 数学和Python的复习

我们先来复习一下数学。具体来说，就是以神经网络的计算所需的向量、矩阵等为主题展开讨论。为了顺利地切入神经网络的实现，这里将一并展示相应的Python代码，特别是基于NumPy的代码。

1.1.1 向量和矩阵

在神经网络中，向量和矩阵（或者张量）随处可见。本节将对这些术语进行简单的整理，为读者阅读本书做准备。

我们从向量开始。向量是同时拥有大小和方向的量。向量可以表示为排成一排的数字集合，在Python实现中可以处理为一维数组。与此相对，矩阵是排成二维形状（长方阵）的数字集合。向量和矩阵的例子如图1-1所示。

如图1-1所示，向量和矩阵可以分别用一维数组和二维数组表示。另外，在矩阵中，将水平方向上的排列称为行（row），将垂直方向上的排列称为列（column）。因此，图1-1中的矩阵可以称为“3行2列的矩阵”，记为“3×2的矩阵”。

将向量和矩阵扩展到N维的数据集合，就是张量。

向量是一个简单的概念，请注意有两种方式表示向量。如图1-2所示，一种是在垂直方向上排列（列向量）的方法，另一种是在水平方向上排列（行向量）的方法。

在数学和深度学习等许多领域，向量一般作为列向量处理。不过，考虑到实现层面的一致性，本书将向量作为行向量处理（每次都会注明是行向量）。此外，在数学式中写向量或矩阵时，会用x或W等粗体表示，以将它们与单个元素（标量）区分开。在源代码中，会用x或W这样的字体表示。

在Python的实现中，在将向量作为行向量处理的情况下，会将向量明确变形为水平方向上的矩阵。比如，当向量的元素个数是N时，将其处理为形状为1×N的矩阵。我们后面会看一个具体的例子。

下面，我们使用Python的对话模式来生成向量和矩阵。当然，这里将使用处理矩阵的标准库NumPy。

        >>> import numpy as np
        >>> x = np.array([1 , 2 , 3])
        >>> x.  class  # 输出类名
        <class 'numpy.ndarray'>
        >>> x.shape
        （3,）
        >>> x.ndim
        1
        >>> W = np.array([[1 , 2 , 3] , [4 , 5 , 6]])
        >>> W.shape
        （2, 3）
        >>> W.ndim
        2

如上所示，可以使用np.array（）方法生成向量或矩阵。该方法会生成NumPy的多维数组类np.ndarray。np.ndarray类有许多便捷的方法和实例变量。上面的例子中使用了实例变量shape和ndim。shape表示多维数组的形状，ndim表示维数。从上面的结果可知，x是一维数组，是一个元素个数为3的向量；而W是一个二维数组，是一个2×3（2行3列）的矩阵。

1.1.2 矩阵的对应元素的运算

前面我们把数字的集合组织为了向量或矩阵，现在利用它们进行一些简单的运算。首先，我们看一下“对应元素的运算”。顺便说一下，“对应元素的”的英文是“element-wise”。

        >>> W = np.array([[1 , 2 , 3] , [4 , 5 , 6]])
        >>> X = np.array([[0 , 1 , 2] , [3 , 4 , 5]])
        >>> W + X
        array（[[ 1,  3,  5],
              [ 7,  9,  11]]）
        >>> W * X
        array（[[ 0,  2,  6],
              [12,  20, 30]]）

这里对NumPy多维数组执行了+、*等运算。此时，运算是对应多维数组中的元素（独立）进行的，这就是NumPy数组中的对应元素的运算。

1.1.3 广播

在NumPy多维数组中，形状不同的数组之间也可以进行运算，比如下面这个计算。

        >>> A = np.array([[1 , 2] , [3 , 4]])
        >>> A * 10
        array（[[10, 20],
              [30, 40]]）

这个计算是一个2×2的矩阵A乘以标量10。此时，如图1-3所示，标量10先被扩展为2×2的矩阵，之后进行对应元素的运算。这个灵巧的功能称为广播（broadcast）。

下面再看另一个广播的例子。

        >>> A = np.array([[1 , 2] , [3 , 4]])
        >>> b = np.array([10 , 20])
        >>> A * b
        array（[[10, 40],
              [30, 80]]）

在这个计算中，如图1-4所示，一维数组b被“灵巧地”扩展成了与二维数组A相同的形状。

像这样，因为NumPy有广播功能，所以可以智能地执行不同形状的数组之间的运算。

为了使NumPy的广播功能生效，多维数组的形状需要满足几个规则。关于广播的详细规则，请参考文献[1]。

1.1.4 向量内积和矩阵乘积

接着，我们来看一下向量内积和矩阵乘积的相关内容。首先，向量内积可以表示为

这里假设有x=（x1,···, xn）和y=（y1,···, yn）两个向量。此时，如式（1.1）所示，向量内积是两个向量对应元素的乘积之和。

向量内积直观地表示了“两个向量在多大程度上指向同一方向”。如果限定向量的大小为1，当两个向量完全指向同一方向时，它们的向量内积是1。反之，如果两个向量方向相反，则内积为-1。

下面再来看一下矩阵乘积。矩阵乘积可以按照图1-5所示的步骤计算。

如图1-5所示，矩阵乘积通过“左侧矩阵的行向量（水平方向）”和“右侧矩阵的列向量（垂直方向）”的内积（对应元素的乘积之和）计算得出。此时，计算结果保存在新矩阵的对应元素中。比如，A的第1行和B的第1列的结果保存在第1行第1列的元素中，A的第2行和B的第1列的结果保存在第2行第1列的元素中。

现在，我们用Python实现一下向量内积和矩阵乘积。为此，可以利用np.dot（）。

        # 向量内积
        >>> a = np.array([1 , 2 , 3])
        >>> b = np.array([4 , 5 , 6])
        >>> np.dot(a , b)
        32
        # 矩阵乘积
        >>> A = np.array([[1 , 2] , [3 , 4]])
        >>> B = np.array([[5 , 6] , [7 , 8]])
        >>> np.dot(A , B)
        array（[[19, 22],
              [43, 50]]）

如上所示，向量内积和矩阵乘积中都使用了np.dot（）。当np.dot（x, y）的参数都是一维数组时，计算向量内积。当参数都是二维数组时，计算矩阵乘积。

除了这里看到的np.dot（）方法外，NumPy还有很多其他的进行矩阵计算的便捷方法。如果能熟练掌握这些方法，神经网络的实现就会更顺利。

熟能生巧

要掌握NumPy，实际动手练习是最有效的。比如，“100 numpy exercises”[2]中准备了100道NumPy的练习题。如果你想积累NumPy经验，请挑战一下。

1.1.5 矩阵的形状检查

在使用矩阵和向量的计算中，很重要的一点就是要注意它们的形状。这里，我们留意着矩阵的形状，再来看一下矩阵乘积。前面已经介绍过了矩阵乘积的计算步骤，所以这里我们将重点放在图1-6所示的“形状检查”上。

图1-6展示了基于3×2的矩阵A和2×4的矩阵B生成3×4的矩阵C的示例。此时，如该图所示，需要对齐矩阵A和矩阵B的对应维度的元素个数。作为计算结果的矩阵C的形状由A的行数和B的列数组成。这就是矩阵的形状检查。

在矩阵乘积等计算中，注意矩阵的形状并观察其变化的形状检查非常重要。据此，神经网络的实现可以更顺利地进行。