Visual Reinforcement Learning with Imagined Goals

[TMats]

https://arxiv.org/abs/1807.04742

• Ashvin Nair, Vitchyr Pong, Murtaza Dalal, Shikhar Bahl, Steven Lin, Sergey Levine
• NIPS2018 spotlight
  • NIPS ver. Visual Goal-Conditioned Reinforcement Learning by Representation Learning
  • https://nips.cc/Conferences/2018/Schedule?showEvent=11876

blog

• https://bair.berkeley.edu/blog/2018/09/06/rig/

website

• https://sites.google.com/site/visualrlwithimaginedgoals/

[TMats]

1. どんなもの？

• goal-conditionalなRLは，goalとの距離(マハラノビス距離)を報酬として利用することで，タスクごとにわざわざ報酬を設定しなくてもいいメリットがある
  • 例えば，目標状態の画像を与える
  • この論文では学習した(beta)VAEのzの距離を用いる
• 遡ってゴールをリラベリングする手法も提案
  • 半分のゴールはpriorから生成，もう半分はtrajectoryから持って来る

2. 先行研究と比べてどこがすごい？

• 初めて画像のみのgoal-conditionalなRLを実現
• サンプル効率を高めるためにリラベリングを導入

3. 技術や手法のキモはどこ？

• VAEを用いてゴールとの潜在空間上の距離を測り報酬に用いる
• ゴールをpriorからサンプルして，自身でゴールを生成してtrain

4. どうやって有効だと検証した？

アームでマニピュレーションタスク

• mujocoのpusherと実機
• 画像のみのRLで実験
• 物体の位置，アームの状態は入力に含めない

5. 議論はある？

将来来るべき方向性

• 違うモダリティによるゴール表現(マルチモーダル)
• 効率的な探索手法
  • e.g) curiosity
• ダイナミクスを考慮した潜在状態表現学習
• 状態表現のむずかしいタスクへの応用
  • e.g) ロープなど不定形のものによるタスク
• マルチタスク学習・meta-learning

6. 次に読むべき論文は？

ゴールのリラベリング

• Hindsight Experience Replay Hindsight Experience Replay #182
• TDM Temporal Difference Models: Model-Free Deep RL for Model-Based Control #232
  • https://bairblog.github.io/2018/04/26/tdm/

7. メモ

• マルチモーダルでsharedなzでconditionされたRLはやったほうがいいと思う
• disentangleな表現の利用すると良い？
  • 生成するimagined goalのバリエーション的に？
  • 単にVAEでエンコードするより良い距離になるかもしれない？
  • すでにこの論文でbeta-VAE使ってた． ただしdisentangleの効果に関する記述が欠けている (betaに関する実験がない)気がする．