请教问题

[Scorpio-y]

作者您好，我有个问题想请教一下。强化学习中，下一时刻的state一般都是由当前时刻的state和action决定的，如果对于下一时刻状态与当前时刻的state和action无关时，强化学习方法还适用吗？比如在无线通信中，信道的变化只与时间有关，即每个时刻的信道状态都不相同，也与当前的信道状态和action（比如分配的功率）无关，请问这种情况下，强化学习方法还适用吗？

[le-liang]

What you described is technically contextual bandit, or one-step MDP, which can be treated as a special case of the general RL. If you look at the transition probability P(r,s'|s,a), it simply means s' is independent of (s,a), but it it still fits into the form, not to mention that r can still be designed to be dependent on (s,a) as usual. Hope the answer helps.

[Scorpio-y]

感谢您的回复！我怕我的英语表达不准确，就用中文回复您了。

我查了一下您说的contextual bandit和one-step MDP，对于one-step MDP我的理解是一个episode只包含{S0，A0，R1}，然后这个episode就结束了，再开始一个新的episode？那是否可以理解为只考虑最大化当前时刻的reward，而不是最大化长期累计的reward？

还有一种情况，就是有一部分状态可以由前一时刻的state和action推出，而另一部分状态不可以。假设电量有限的节点A向B发送信息，信道状态时变（服从0均值和单位方差的瑞利分布）。对于A来说，state={当前电量，信道状态}，action={发送功率}，reward={吞吐量}，目标是最大化长期吞吐量。在这种情况下，当前电量是可以通过前一时刻的state（电量）和action（发送功率）得到的，而信道状态却又是随机的，这种情况下该怎么处理？

我之前看过一篇文章采用了SARSA算法解决上面的问题，但我总觉得有些问题，在SARSA算法中，在一个episode内需要采取action后观察reward和下一时刻的state，但在上面的题目中，即使在相同的state下采用了相同的action，下一时刻的state也只能保证电量状态相同，而信道状态肯定不同，也就是在相同的state下采用了相同的action，会到达不同的state。我的问题是这样的情况SARSA算法还适用吗？有没有其他适用的model-free的方法，还是只能把当成one-step MDP来处理？当成one-step MDP处理后是不是就只能最大化每个时刻的吞吐量而不是长期吞吐量了？

我是前段时间刚接触的RL，上面的那个例子一直困扰着我，不知是不是我的理解有问题。最近在看常规的优化算法（拉格朗日对偶法等等），觉得这些优化算法都是针对每一个时刻进行最优化（我觉得就是在时间维度上贪婪算法），那上面的那个例子能否采用某种RL的方法进行时间维度上长期的优化呢？

问的问题比较多，希望能再次得到作者的回复！万分感谢！

[le-liang]

Short answer to your questions:

1. One-step MDP is optimizing EXPECTED reward of one step, i.e., in some sense it's averaging the environment dynamics, not just the immediate reward itself.
2. Please be advised the state is generally a tuple of multiple elements, i.e., the transition probability P(s',r|s,a) is a multi-variable probability expression. In this case, you don't want to treat part of "s" differently from the remaining. Together, all elements of "s" constitute a multi-variable proability density function. Either of SARSA, Q-Learning, or policy gradient methods is worth trying.

I would recommend you read R. Sutton's text "Reinforcement Learning: An Introduction" (freely available on his website) for further understanding about RL.

[Scorpio-y]

谢谢您的回复！我会再认真看看《Reinforcement Learning: An Introduction》这本书的！