简介
强化学习对应一个四元组$<X,A,P,R>$,
其中，
- X是环境状态集
- A是机器的动作集
- $P:X\times A\times X \to R$指定了状态转移概率
- $R:X\times A\times X \to R$指定了奖赏
K-摇臂赌博机问题
探索与利用是矛盾的，有些算法来折中这个矛盾
epsilon-贪心法
每次以$\epsilon$概率去探索其他摇臂，以$1-\epsilon$概率去摇当前最好的摇臂。
$\epsilon$可以随着次数而减少。
softmax法
选择概率这样计算： $P(k)=\dfrac{\exp(Q_k)}{\sum\limits_k \exp(Q_k)}$
参考资料
周志华《机器学习》
