keyword：Optimization algorithm
目录
一.最优问题的求解算法
二.最优问题求解算法的比较
三.利用Matlab求解最优问题
一.最优问题的求解的算法
Gradient descentConjugate gradientBFGSL-BFGS二.最优问题求解算法的比较
其他最优问题求解算法与梯度下降算法的比较如下图：
三.利用Matlab求解最优问题
可以利用Matlab自带的fminunc函数可以计算最优解。
使用Matlab求解最优问题的过程如下：
1.先定义一个计算J(θ)的值和J(θ)梯度的函数；
2.设置好求解最优过程的参数；
3.要求的参数初始化；
4.调用fminunc函数。
下面举个例子：
在使用Matlab自带的fminunc函数可以计算最优解的过程中，最重要的是编写计算J(θ)的值和J(θ)梯度的函数。在这个函数中，必须包含有计算J(θ)的值的部分，以及计算J(θ)梯度的部分，函数的定义可以如下：
