入学快3年了，上半个学期快结束的时候才意识到到底该系统的学习哪些课程，这个学起来就根据去年的认识在做一个完整系统的课程复习+学习，复习的是之前学过的课程比如高数、线性代数和概率这些，学习的是之前从没学过的课程比如信号系统、最优化理论。由于我的学习方向是机器学习，所以我觉得这些课程对于我来说意义很大，尽管之前学过，其实都在看paper的时候根本联系不起来或者不会灵活运用，根本想不到当时学过的这些知识。
对于高数，我这次复习主要看了极限、导数、微分、一元函数极值、不定积分、定积分、隐函数求导法则、二元函数偏微分和全微分、方向导数、梯度、二元函数极值、以及在之前的基础上延伸出来的最小二乘法和拉格朗日乘数法（这两个延伸才是我本次觉得最大收获的地方，详见下文描述）
复习的过程中主要是对概念做了一个相对深入的把握，发现这次复习所感悟到的比本科学习以及考研的复习的时候的感悟还要深刻，这次觉得最重要的地方就是求极值，隐函数求导以及二元函数的极值的求法。尤其是函数极值的必要条件也就是导数为0的点，多元函数是偏导数为0的点，接下来的拉格朗日乘数法的推导等等都是从这里开始的，而最小二乘法倒是利用了拉格朗日乘数法来做的。在这里我想说明一下拉格朗日乘数法，因为这个是对之前学过的一个综合的运用：
在我最早接触机器学习中的一些线性拟合问题的时候早都看到过这个东西了，但是就是不知道其理论原理，比如很有名的网易公开课上的斯坦福的NG Andrew的机器学习的第二课关于房价的一个线性拟合问题。拉格朗日法是在给了目标函数以及一个等式约束条件后来求自变量的值的，根据求极值的必要条件，如果对一个方程来说求极值，可以同时对自变量求偏导，让偏导为0.联立方程就可以求得了。但是在这个地方咋办？因为多了一个约束等式，很自然想到，约束等式代换到目标函数中，有时候很容易做到，但是有时候不容易分离出来，也就无法带入了。这个时候另外一个理论起作用了：当一个隐函数在点(x0,y0)处为0，对x的偏导不为0，那么此时就可以决定一个函数了y=f(x)，根据这个关系，那么就可以代入目标函数，进而分别求偏导来解了，这是这个隐函数所决定的这个函数的存在，这个一切的形式就是拉格朗日的展开形式。自然也就ok了。。
最小二乘法：比如给定了很多样本点，想找到一条拟合这个样本点的线，那么我先假设这个线的方程，然后根据样本点的自变量代入得到的值减去观测值，然后让全部的样本点计算的值域观测值差的平方和最小，来求解线的方程的参数，这个也就是求解最小值的问题了，只需要对每个变量求偏导，联立即可求得了。
目前线性代数和最优化的课程还在复习和学习中，搞完了再来说吧，觉得这次花费的时间真是值得！