理查德·贝尔曼 · aiwiki.page

理查德·欧内斯特·贝尔曼（1920年8月26日—1984年3月19日）是美国应用数学家，以创立动态规划而闻名。动态规划是一种求解多阶段决策问题的框架。他的研究将数学优化、控制理论与运筹学联系起来，为选择影响延续至未来的行动提供了方法。以他名字命名的方程，以及他对计算局限性的分析，成为后来工程与决策研究的重要基础。(nasonline.org)

教育与研究生涯

贝尔曼出生于纽约布鲁克林。他最初就读于纽约市立学院，随后转入布鲁克林学院，于1941年获得数学学士学位。他在约翰斯·霍普金斯大学开始研究生学习，之后在第二次世界大战期间转赴威斯康星大学，一边教授军事电子技术，一边继续数学学业。他于1943年获得硕士学位，后来在洛斯阿拉莫斯的一个理论物理研究小组任职。(informs.org)

在普林斯顿大学，贝尔曼师从所罗门·莱夫谢茨。数学谱系计划记载，他于1947年获得博士学位，博士论文题为《非线性微分方程与差分方程解的有界性》。他的早期研究涉及微分方程解的稳定性和长期行为，这些主题也一直是他更广泛的数学研究的一部分。(mathgenealogy.org)

在斯坦福大学任教后，贝尔曼进入兰德公司工作，并于20世纪50年代初在那里创立了动态规划。兰德公司的国防相关研究，使数学模型、数值计算与实际资源配置问题紧密结合。1965年，他加入南加利福尼亚大学，担任数学、电气工程与医学教授。(mathshistory.st-andrews.ac.uk)

动态规划与最优性原理

贝尔曼的核心贡献在于系统地处理分阶段进行的决策。动态规划并不一次性优化整个行动序列，而是通过相互关联的子问题来表述原问题。他于1953年发表的兰德公司报告《动态规划理论导论》介绍了这一初步形成的框架；他的著作《动态规划》于1957年出版。1954年的一篇综述展示了该方法在确定性和随机性问题中的应用。(books.google.co.uk)

其核心思想是最优性原理：在采取初始行动之后，最优方案中余下的决策，对于由此产生的情形而言，也必须是最优的。这是一种最优子结构，但能否应用这一原理，取决于所定义的状态是否包含未来决策所需的信息。如果历史信息会影响未来的成本或可行选择，就不能将其直接舍弃。(cermics.enpc.fr)

对于确定性有限时域成本最小化问题，贝尔曼方程可写为

V_t(x)=\min_{u\in U_t(x)} \left\{c_t(x,u)+V_{t+1}\bigl(f_t(x,u)\bigr)\right\}.

这里，价值函数 $V_t(x)$ 表示在时刻 $t$ 从状态 $x$ 出发的最小剩余成本； $u$ 是可采取的行动， $c_t$ 是该行动的即时成本， $f_t$ 则是决定下一状态的规则。从终端成本出发，这一递归关系可向后逐步计算各状态的价值。最优策略随后规定在每个状态下应采取何种行动。在存在不确定性的情况下，相应的方程会纳入对各种可能结果求得的期望值。(cermics.enpc.fr)

计算与维数

贝尔曼强调，优美的数学表述并不意味着计算成本必然低廉。他创造了维数灾难一词，用以描述变量数量增加所带来的困难。在基于网格的动态规划中，若用 $m$ 个点表示 $d$ 个状态坐标中的每一个，就会产生 $m^d$ 个网格状态。因此，内存需求和计算量可能随状态维数呈指数增长。(mathinstitutes.org)

这一局限表明，通用的求解框架并不等同于在所有情况下都高效的算法。动态规划虽然可以避免枚举完整的决策序列，但仍可能需要规模大到无法实际处理的状态表示。特定的数学结构可以减轻这一负担；高维控制研究也针对某些类型的问题，发展出了无需使用完整网格的方法。然而，这些方法并不能消除所有优化问题中的计算困难。(cermics.enpc.fr)

贝尔曼还将其方法应用于最短路径问题。他在1958年的论文《关于一个路径选择问题》中，利用函数方程和逐次逼近来确定网络中耗时最短的路径，展示了同一种方法如何既适用于手工计算，也适用于机器计算。(scispace.com)

其他数学研究与后续影响

贝尔曼的研究并不限于优化。他的著作包括《微分方程的稳定性理论》（1953年）、《矩阵分析导论》（1960年）和《自适应控制过程：导览》（1961年）。他与合作者共同发展了不变嵌入法，这种方法将某个特定问题置于一个参数化的问题族中，以获得有用的数学关系。他与G. M. 温于1975年出版了《不变嵌入法导论》。(mathshistory.st-andrews.ac.uk)

在南加利福尼亚大学任职期间，他的研究日益关注数学在生物学和医学研究中的应用。他围绕动态规划、控制、不变嵌入法和数学生物科学组织应用数学教学，同时继续研究计算与仿真。(informs.org)

强化学习是后来应用其框架的一个领域。在马尔可夫决策过程中，价值方程将当前奖励与未来价值的期望联系起来。这种数学上的联系并不意味着贝尔曼是后来学习算法的发明者：应当区分他对序贯优化的贡献，与后来发展出的通过经验学习价值或策略的方法。(d2l.smola.org)

荣誉

贝尔曼于1970年获得首届诺伯特·维纳应用数学奖，1976年获得约翰·冯·诺伊曼理论奖，1979年获得IEEE荣誉奖章。他于1977年当选美国国家工程院院士，1983年当选美国国家科学院院士。冯·诺伊曼理论奖的授奖词特别表彰了他在发展动态规划和多阶段决策过程方面的引领作用。(informs.org)