2.1 矩阵代数的相关知识

2.1.1 特征值与特征向量

,若标量λ和非零向量e满足方程

则称λ是矩阵A的特征值,e是与λ对应的特征向量。特征值与特征向量总是成对出现,称(λ,e)为矩阵A的特征对,特征值可能为零,但是特征向量一定非零。

2.1.2 广义特征值与广义特征向量

,若标量λ和非零向量e满足方程

则称λ是矩阵A相对于矩阵B的广义特征值,e是与λ对应的广义特征向量。如果矩阵B非满秩,那么λ可以是任意值(包括零)。当矩阵B为单位阵时,式(2-2)就称为普通的特征值问题,因此式(2-2)可以看成对普通特征值问题的推广。

2.1.3 矩阵的奇异值分解

对于复矩阵,称n个特征根的算术根i=1,2,…,n)为A的奇异值。若记,其中A的全部非零奇异值,则称m×n矩阵为A的奇异值矩阵。

奇异值分解定理:对于m×m维矩阵A,则分别存在一个m×n维酉矩阵U和一个n×n维酉矩阵V,使得

其中,上标H表示矩阵的共轭转置。

2.1.4 Toeplitz矩阵

定义:具有2n-1个元素的n阶矩阵

称为Toeplitz矩阵,简称T矩阵。

T矩阵也可简记为

式中,记号中的“1”和“n”表示矩阵A元素的下标,i,j=1,2,…,nT矩阵完全由第1行和第1列的2n-1个元素确定。可见,Toeplitz矩阵中位于任意一条平行于主对角线的元素全都是相等的,且关于副对角线对称。

2.1.5 Hankel矩阵

定义:具有以下形式的n+1阶矩阵

称为Hankel矩阵或正交对称矩阵(Orthosymmetric Matrix)。

可见,Hankel矩阵完全由其第1行和第n列的2n+1个元素确定。其中,所有垂直于主对角线的直线上有相同的元素。

2.1.6 Vandermonde矩阵

定义:具有以下形式的m×n阶矩阵

称为Vandermonde矩阵。如果aiaj,那么V(a1,a2,…,an)是非奇异的。

2.1.7 Hermitian矩阵

如果矩阵An×n满足

A称为Hermitian矩阵。Hermitian矩阵有以下主要性质:

(1)所有特征值都是实数。

(2)对应于不同特征值的特征向量相互正交。

(3)Hermitian矩阵可分解为的形式,这一分解称为谱定理,也就是矩阵A的特征值分解定理,其中是由特征向量构成的酉矩阵[1]

2.1.8 Kronecker乘积

定义:p×q矩阵Am×n矩阵B的Kronecker乘积记作AB,它是一个pm×qn矩阵,定义为

Kronecker乘积有一个重要的性质,即:,以下等式成立:

其中,vec(·)为向量化算子,,且vec(A)具有如下形式:

Kronecker乘积具有如下性质:

2.1.9 Khatri-Rao乘积

考虑两个矩阵AI×F)和BJ×F),它们的Khatri-Rao乘积AB为一个IJ×F维矩阵,其定义为

其中,aFA的第f列,bFB的第f列,即Khatri-Rao乘积是列向量的Kronecker乘积。

Khatri-Rao乘积具有如下性质:

,Khatri-Rao乘积具有如下性质:

其中,unvec(·)是矩阵化算子,它是vec(·)的逆运算,具有以下形式:

而diag(x)表示一个对角矩阵,其元素为向量x中的元素。

2.1.10 Hadamard乘积

矩阵的Hadamard乘积定义为

2.1.11 向量化

通常,张量和矩阵用向量来表示比较方便,定义矩阵的向量化为[1,2]

式中,vec算子用于将矩阵Y的所有列堆积成一个向量;重塑(reshape)是向量化的逆函数,它将一个向量转化成一个矩阵。例如,可定义为(使用MATLAB表示法并类似于MATLAB中的reshape函数):

类似地,定义张量的向量化为相应的模展开矩阵。例如,三阶张量的向量化可写成如下形式:

vec算子的基本性质包括: