关键字：数值优化算法 方法论 搜索效率
最近跟一位同事聊数值优化算法，关于一维优化为，F(x)在[-1,1]上取什么值其函数值最小，他的一个观点：现在计算机速度让它搜索不就行了。 说的有道理，但是感觉对效率问题没有细致考虑。
搜索在日常生活中都经常遇到的问题，如寻路、检索、baidu等，都需要在大量的信息中找出最适合自己的信息。在数学上，或者更细些就是数值最优化问题。
例如：f(x)=x^2；在[-1,1]上取什么值，函数值最小？
如果在[-1,1]上遍历搜索，但我们必须明白在[-1,1]存在的数是不可数的无穷多，如果按0.1经典搜索，计算机很快能找到合适的解; 如果按0.01, 就要多花些时间了；0.001 ……0.000001?
上面的例子是单变量问题，即变量只有一个；现在很多问题，设计的变量很多，如金融模型上的变量可以有时间、价格、波动率、利息等等。如果有四个变量的优化问题，按遍历搜索的方法，假设每个变量有10个可行解，这个问题就会有10^4个可行解。目前，计算机的发展根据摩根定律速度，若实际问题变量多出一个会需要几个摩根周期呢？
对于越来越复杂的问题，计算机对我们的帮助功不可没，但是如果想比别人（竞争者）在相同的硬件条件下，使得自己的计算速度更快，解的质量更高，需要的就是提供数值搜索的效率，从牛顿法、最速下降法、共轭梯度法、拟牛顿法……， ＧＡ，BP……在做到无不是追求更快递搜索效率与解的质量。