1、 矩阵与向量相乘
由向量内积（两个向量相乘）出发，考虑矩阵与向量相乘的情况。以二维平面空间为例，设X=(x1, x2, …, xn), xi=(xi1,xi2)T, i=1, 2, …,n为样本矩阵，w=(w1,w2)T为向量（二维平面中的一个有向线段）。矩阵与向量相乘可表示为：
（1）
2、矩阵与矩阵相乘
令
为两个向量组成的矩阵，将上述XS与W相乘，可表示为：
（2）
如果将w1、w2看成二维空间中的有向线段，z1、z2则是X向w1、w2表示的有向线段投影的结果。W可看作旋转矩阵。图1、 2、3分别表示数据点集Xs经旋转矩阵W旋转后得到的点集Z。这里的旋转矩阵是正交矩阵，其两个列向量是正交的（内积为0）。这样的旋转称为正交旋转（orthogonal rotation, rigid rotation），正交旋转将数据点集旋转到新的坐标系，且并不改变数据点集的形状和大小（rotate the configuration to a new orientation while preserving its essential size and shape）。
图1数据XS 图2旋转矩阵W 图3旋转后的数据Z
图2中的旋转矩阵将坐标系逆时针（counterclockwise）旋转了45度。通常，我们可以通过如公式（3）的旋转矩阵完成角度为θ的顺时针（clockwise）正交旋转。
（3）
当然，也不一定所有的旋转都要是正交的。
二、 伸缩（Stretching and Shrinking）
第一部分介绍的数据矩阵与旋转矩阵相乘得到矩阵保持了原有数据点集的形状和大小分布，由图3可知，旋转后的数据z1和z2分量的方差相差很大。令矩阵D为对角线元素Si=Var(zi)的对角矩阵。如公式（4）所示，将Z与D-1相乘，Z的两个分量z1和z2分别被伸缩至方差为1的分量，结果如图4所示。
（4）
图4 标准化后的数据点集
三、 实验
对《Analyzing Multivariate Data》第二章中的WOMEN数据X（如图1所示）进行若干向量运算，结果如图5所示。
图5.1为原始数据X；图5.2为将数据X的中心移至0的零均值数据Xd；图5.3为将Xd每一维的数据伸缩为1的方差标准化数据Xs；图5.4为将Xs向向量w=(0.707; 0.707)投影后的一维向量z；图5.5为将Xs与旋转矩阵
相乘后得到的旋转后的数据Zs；图5.6为将Zs方差标准化后的数据Zss。
Xs的协方差矩阵
，可见方差标准化只是使数据每一维的方差为1并没有消除数据各维之间的相关性（如图5.3所示，数据呈现椭圆形分布）。将Xs经过适当的正交旋转得到Zs，计算Zs的协方差矩阵
，我们可以发现数据各为之间的相关性消失了。而将Zs方差标准化的结果Zss，其协方差矩阵为理想的单位矩阵（如图5.6所示，数据呈现圆形分布）。
图5 WOMEN数据矩阵操作实验
四、 总结
The Geometric interpretation of Vector and Matrix Operations:
(1) Scalar multiplication has the effect of uniformly stretching or shrinking the data configuration.
(2) Vector multiplication has the effect of projecting the data point onto a single line defined by the vector.
(3) Matrix multiplication has the effect of rotating the configuration onto a new set of axes. In some special cases (where the columns of the matrix are orthogonal), the rotation preserves the overall shape of the configuration.