强化学习

强化学习让智能体通过与环境交互，根据长期奖励学习行动策略。它与监督学习的区别是没有直接给出每一步正确答案，行动还会改变后续状态和可见数据。

基本对象

对象	含义	示例
状态 State	当前环境信息	车辆位置、速度、道路情况
动作 Action	可执行选择	加速、刹车、转向
奖励 Reward	环境对动作的即时反馈	前进奖励、碰撞惩罚
策略 Policy	从状态选择动作的方法	当前情况下各动作概率
回报 Return	一段时间内累计奖励	完成任务的长期收益

马尔可夫决策过程

经典强化学习通常用 MDP 表示环境：当前状态和动作决定下一个状态及奖励。折扣因子控制系统更重视即时奖励还是长期奖励。

探索与利用

• 利用：选择当前认为最好的动作。
• 探索：尝试不确定动作，获得新信息。

探索是学习所必需的，但在真实医疗、金融和物理控制中可能代价很高。因此通常先在仿真环境或历史数据中训练，再受控上线。

价值方法与策略方法

• 价值方法估计某状态或动作未来能获得多少回报，例如 Q-Learning。
• 策略方法直接优化行动概率。
• Actor-Critic 同时学习策略和价值估计。

深度强化学习使用神经网络表示价值或策略，能处理高维状态，但训练稳定性和样本效率仍是主要难点。

奖励设计

系统会优化被定义的奖励，而不是设计者心中没有写出的目标。奖励不完整可能导致“钻空子”：为了提高停留时长推荐低质量内容，或为了快速完成任务采取高风险动作。

奖励应结合约束、长期目标和人工审查，并测试极端策略。

与大模型对齐的关系

RLHF 使用人类偏好训练奖励模型或提供反馈，再优化语言模型行为。DPO 等方法可以更直接地从偏好对优化。它们仍然依赖偏好数据质量，不能保证事实正确。

适用边界

强化学习适合连续决策、行动影响未来、奖励可定义且存在可训练环境的任务。如果问题只是对独立样本分类，监督学习通常更直接可靠。

生产使用还要评估最坏情况、安全约束、策略回滚和环境变化，而不只是平均累计奖励。