Pythonで学ぶ強化学習―入門から実践まで 改訂第2版 (機械学習スタートアップシリーズ) [単行本]

Pythonで学ぶ強化学習―入門から実践まで 改訂第2版 (機械学習スタートアップシリーズ) の 商品概要

• 要旨（「BOOK」データベースより）

  Ｐｙｔｈｏｎプログラミングとともに、ゼロからていねいに解説。コードが公開されているから、すぐ実践できる。実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。

• 目次

  
  Day1　強化学習の位置づけを知る
  　強化学習とさまざまなキーワードの関係
  　強化学習のメリット・デメリット
  　強化学習における問題設定：Markov Decision Process　
  
  Day2　強化学習の解法(1): 環境から計画を立てる
  　価値の定義と算出: Bellman Equation
  　動的計画法による状態評価の学習: Value Iteration
  　動的計画法による戦略の学習: Policy Iteration
  　モデルベースとモデルフリーとの違い
  
  Day3　強化学習の解法(2): 経験から計画を立てる
  　経験の蓄積と活用のバランス: Epsilon-Greedy法
  　計画の修正を実績から行うか、予測で行うか: Monte Carlo vs Temporal Difference
  　経験を価値評価、戦略どちらの更新に利用するか：Valueベース vs Policyベース
  
  Day4　強化学習に対するニューラルネットワークの適用
  　強化学習にニューラルネットワークを適用する
  　価値評価を、パラメーターを持った関数で実装する：Value Function Approximation
  　価値評価に深層学習を適用する：Deep Q-Network
  　戦略を、パラメーターを持った関数で実装する：Policy Gradient
  　戦略に深層学習を適用する：Advantage Actor Critic (A2C)
  　価値評価か、戦略か
  
  Day5　強化学習の弱点
  　サンプル効率が悪い
  　局所最適な行動に陥る、過学習をすることが多い
  　再現性が低い
  　弱点を前提とした対応策
  
  Day6　強化学習の弱点を克服するための手法
  　サンプル効率の悪さへの対応: モデルベースとの併用/表現学習
  　再現性の低さへの対応: 進化戦略
  　局所最適な行動/過学習への対応: 模倣学習/逆強化学習
  
  Day7　強化学習の活用領域
  　行動の最適化
  　学習の最適化

• 内容紹介

  「Ｐｙｔｈｏｎで強化学習が実装できる！」と好評を得た入門書の改訂版。読者からの要望・指摘を反映させた。主に、Ｐｏｌｉｃｙ ＧｒａｄｉｅｎｔとＡ２Ｃの記述・実装を見直した。
  
  ・Pythonプログラミングとともに、ゼロからていねいに解説。
  ・コードが公開されているから、すぐ実践できる。
  ・実用でのネックとなる強化学習の弱点と、その克服方法まで紹介。
  
  【おもな内容】
  
  Day1　強化学習の位置づけを知る
  　強化学習とさまざまなキーワードの関係
  　強化学習のメリット・デメリット
  　強化学習における問題設定：Markov Decision Process　
  
  Day2　強化学習の解法(1): 環境から計画を立てる
  　価値の定義と算出: Bellman Equation
  　動的計画法による状態評価の学習: Value Iteration
  　動的計画法による戦略の学習: Policy Iteration
  　モデルベースとモデルフリーとの違い
  
  Day3　強化学習の解法(2): 経験から計画を立てる
  　経験の蓄積と活用のバランス: Epsilon-Greedy法
  　計画の修正を実績から行うか、予測で行うか: Monte Carlo vs Temporal Difference
  　経験を価値評価、戦略どちらの更新に利用するか：Valueベース vs Policyベース
  
  Day4　強化学習に対するニューラルネットワークの適用
  　強化学習にニューラルネットワークを適用する
  　価値評価を、パラメーターを持った関数で実装する：Value Function Approximation
  　価値評価に深層学習を適用する：Deep Q-Network
  　戦略を、パラメーターを持った関数で実装する：Policy Gradient
  　戦略に深層学習を適用する：Advantage Actor Critic (A2C)
  　価値評価か、戦略か
  
  Day5　強化学習の弱点
  　サンプル効率が悪い
  　局所最適な行動に陥る、過学習をすることが多い
  　再現性が低い
  　弱点を前提とした対応策
  
  Day6　強化学習の弱点を克服するための手法
  　サンプル効率の悪さへの対応: モデルベースとの併用/表現学習
  　再現性の低さへの対応: 進化戦略
  　局所最適な行動/過学習への対応: 模倣学習/逆強化学習
  
  Day7　強化学習の活用領域
  　行動の最適化
  　学習の最適化

• 著者について

  久保 隆宏 (クボ タカヒロ)
  TIS株式会社戦略技術センター所属。Twitter：@icoxfog417。
  現在は、「人のための要約」を目指し、少ない学習データによる要約の作成・図表化に取り組む。また、論文のまとめを共有するarXivTimesの運営、『直感 Deep Learning』オライリージャパン(2018)の翻訳など、技術の普及を積極的に行っている。

Pythonで学ぶ強化学習―入門から実践まで 改訂第2版 (機械学習スタートアップシリーズ) の商品スペック