報酬の大きさが強化学習の効率を左右する

ハワード・ヒューズ医学研究所に所属する研究者らは、報酬の大きさが、学習速度の効率を高めることを明らかにした。

マウスを用いた実験において、従来の研究で使われていた標準的な量よりも大きな報酬を与えたところ、ナビゲーションや運動スキル、意思決定といった複雑な課題において、学習スピードが向上することが確認された。

通常であれば何百回、何千回という報酬経験が必要なタスクであっても、特大の報酬を与えられたマウスは、わずか数回の経験で学習を完了させることすらあった。しかも、最終的に到達する上手さは変わらなかった。速く上手くなるだけで、雑になったわけではなかった。

この学習効率の向上には、脳内の線条体におけるドーパミンの働きが深く関わっていた。大きな報酬を得ると、マウスの脳内ではドーパミンがより多く、そして長く持続して放出される。

報酬が大きいほどドーパミンは長く放出され、複数の学習課題で学習が加速する。事実、人工的にドーパミンの反応を持続させたところ、通常の小さな報酬しか与えていない場合でも、特大の報酬による学習促進効果の多くが再現された。

研究チームは、大きな報酬がもたらす学習の効率化は、単に理解するスピードが上がるからだけではないと分析している。大きな報酬は、前回のセッションからの学習内容をしっかりと引き継ぐ力や、タスクに途中で飽きずに取り組み続ける意欲を強く引き出していた。

元論文のタイトルは、”Reward magnitude determines reinforcement learning efficiency（報酬の大きさが強化学習の効率を左右する）”です（論文をみる）。

マウスにとっての大きな報酬というのは何かと思って調べたら、水でした。喉を渇かせた状態のマウスに与えられます。従来はごく少量（1日の必要量の1%未満）の水でした。今回は数口分に相当する特大の水の量を与えているとのことでした。、、、なるほど。