1. 理解
不理解环境（Model-Free RL）
1.机器人不懂得环境是什么样子，它会通过自己在环境中不断试错，以获得行为上的改变。
算法：Q Learning、Sarsa、Policy Gradients
理解环境（Model-Based RL）
1.机器人会通过先验的只是来先理解这个真实世界是怎么样子的，然后用一个模型来模拟现实世界的反馈，这样它就可以在它自己虚拟的世界中玩耍了。
2.与modle-free中的玩耍方式一样，但model-base有两个世界，不仅能在现实世界中玩耍，也能在自己虚拟的世界中玩耍。
算法：Q Learning、Sarsa、Policy Gradients
2. 基于
基于概率（Policy-Based RL）
基于价值的决策部分为铁定，毫不留情, 就选价值最高的。
算法：Policy Gradients、Actor-Critice
基于价值（Value-Based RL）
基于概率的，即使某个动作的概率最高，但是还是不一定会选到他。
算法：Q Learning、Sarsa、Actor-Critice
3. 更新
回合更新（Monte-Carlo update）
每个回合结束后更新
算法：基础版Policy Gradients、Monte-Carlo Learning
单步更新（Temporal-Difference update）
每步进行更新
算法：Q Learning、Sarsa、升级版Policy Gradients
4. 在线
在线学习
指我必须本人在场, 并且一定是本人边玩边学习。
算法：Sarsa、Sarsa lambda
离线学习
是你可以选择自己玩,也可以选择看着别人玩,通过看别人玩来学习别人的行为准则。
算法：Q learning、Deep Q Network
