Stochastic Open Loop Case

当状态和动作确定时，下一状态无法确定，但有一定的分布概率。 在已知状态转移方程的条件下，Agent 依据模型生成一系列的动作。

\begin{array}{c} p_θ≤ft(\mathbf{s}₁, \ldots, \mathbf{s}_T \mid \mathbf{a}₁, \ldots, \mathbf{a}_T\right)=p≤ft(\mathbf{s}₁\right) ∏_t=1^T p≤ft(\mathbf{s}_t+1 \mid \mathbf{s}_t, \mathbf{a}_t\right)
\mathbf{a}₁, \ldots, \mathbf{a}_T=arg max _{\mathbf{a}₁, \ldots, \mathbf{a}_T} E≤ft[∑_t r≤ft(\mathbf{s}_t, \mathbf{a}_t\right) \mid \mathbf{a}₁, \ldots, \mathbf{a}_T\right]

\end{array}

但其实这种设定是不合理的。即使你知道状态转移方程，由于环境自身的随机性你还是无法判断下个状态。