菜单 - 使用优化算法搜索正确的决策
菜单（即优化算法）是另一种方法，可以通过搜索用于评估决策的选项来做出自动决策。
优化算法搜索选项列表，并使用目标标准选择控制动作。 在本单元中，我们将探讨多种优化方法。
暴力搜索优化
优化算法就像探险者一样，寻找地球表面上的最高山峰。 确保找到最高峰的一种方法是踏上地球的每一平方米，在每个点进行测量，完成后按高度对测量结果进行排序。 地球上的最高点现在将位于你的列表顶部。
由于地球上有5.1亿平方公里的陆地面积，要得到答案需要许多代人。 该方法称为暴力搜索，仅在地理区域小的潜在决策情况下才可行。 对于更复杂的地理区域或状态空间，我们需要其他方法，如以下部分所述。
基于梯度的优化
寻找地球最高峰的更有效方法是在陆地上行走，只沿向上倾斜最多的方向行走。 通过这种方法，您可以通过只走上坡路线来避免探索大部分地形。 在优化中，此类方法称为 基于渐变的方法 ，因为山的斜率称为等级或渐变。
此方法有两个挑战。 第一个是，根据你开始探寻的位置，你可能最终会到达一座不是地球上最高点的高山（也称为局部最大值）。
此方法的第二个限制是，它只能在计算正在行走的地面的斜率的情况下使用。 如果地形中存在间隙（认为垂直下降或无底坑），则无法在垂直下降处计算斜率（从技术上而言是无限的），因此不能使用基于渐变的优化方法在该空间中搜索解决方案。
上图显示了基于梯度的方法陷入局部最大值的挑战。
多方面优化
现在，假设你要雇用多个探险者，从风景中的不同位置出发，以寻找最高点。 每完成一步，探险家都会比较他们当前的高度和地势，并利用他们的综合知识更好地绘制地球地图。 这可能会导致搜索速度更快，并避免所有探险家被困在一个不是山峰的高处。 珠穆朗玛峰。 然而，仍然无法保证向全球最高值的趋同。
上图是多方面优化的示例。
其他优化方法
其中许多算法受本质上的进程启发。 大自然有许多有效的方法可以彻底探索，就像水流过一片土地。 以下是一些示例：
- 进化算法 受到达尔文自然选择理论的启发。 进化算法产生潜在的解决方案决策群体，测试总体中每个解决方案实现过程目标有多好，扼杀无效的解决方案，然后改变总体继续探索。
- 群方法 的灵感来自蚂蚁、蜜蜂和粒子群、移动和交互的方式。 这些优化方法通过许多探索者探索解决方案空间，这些探索者沿着景观移动，并相互通信，分享他们发现的结果。
- 树方法将 潜在的解决方案视为树上的树枝。 想象一下一部选择自己的冒险小说（和其他互动小说），要求你决定在故事的某个时刻采取哪个方向。 随着每个决策点的选项数量增加，决策本身也在不断扩散。 基于树的方法使用各种技术高效搜索树（无需访问每个分支）来查找解决方案。 一些更著名的树方法是分支定界和 Monte Carlo 树搜索 (MCTS)。
- 模拟退火 的灵感来自金属在加热后冷却的方式。 所有金属都有一种以共同方式冷却的晶体结构。 金属较热时，结构变化较多；较冷时，变化较少。 退火是一种工艺，将金属等材料加热到其再结晶温度以上，然后缓慢冷却以使其在各种工业过程的下一步中更具延展性。 此算法模拟该过程。 模拟退火在一段时间内使用不同的搜索行为来搜索空间。 模拟退火算法最初会进行广泛的搜索（探索更多），然后在了解到更多信息后，逐渐集中于发现的最有前途的区域，随着时间的推移，减少探索量。
优化算法的优势和弱点
优化算法不假设对问题有任何了解，因此，当我们不知道状态空间的情况并且我们想要进行探索时，使用优化算法更为合适。
他们的主要弱点是，它们是耗时的，除非状态空间很小，否则我们可能没有足够的时间来找到最佳决策。