作ってわかる大規模言語モデルの仕組み [単行本]

作ってわかる大規模言語モデルの仕組み [単行本] の 商品概要

• 目次

  第1章 大規模言語モデルの歴史と本書で得られること
  　1.1 大規模言語モデル（LLM）の変遷：2017～2026
  　1.2 本書の構成
  　1.3 実行環境について
  　1.4 本書の読み方
  
  第2章 Transformerモデルの作成
  　2.1 RNNから、Transformerまで
  　2.2 アテンション機構
  　2.3 アテンション以外の部品
  　2.4 Transformerを作る
  　2.5 Transformerの学習と推論
  
  第3章 GPTモデルの作成
  　3.1 GPTモデルの概要
  　3.2 トークナイザと入力処理
  　3.3 GPTモデルの学習
  　3.4 他の代表的な、LLM
  　
  第4章 大規模言語モデルの学習
  　4.1 データセットと前処理
  　4.2 複数GPUを用いた学習の並列実行
  　4.3 分散学習による事前学習
  　4.4 学習の効率化（LoRA）
  
  第5章 アラインメント
  　5.1 アラインメントの基礎
  　5.2 指示への追従性を向上させる学習
  　5.3 人間の好みのフィードバックによる学習
  　5.4 評価
  
  第6章 推論モデル
  　6.1 推論モデルとは何か
  　6.2 Chain-of-Thought: 推論の基盤技術
  　6.3 強化学習による推論能力の学習
  
  付録 NumPy、PyTorch入門

• 内容紹介

  ChatGPTが使う大規模言語モデル（LLM）「GPT」を一から作りながら、LLMの基本から実装まで体形的に学べます！
  
  【本書の特徴】
  ●Transformerの基礎からGPTモデルまで一から作りながら学べる
  ●「人間の意図に沿った応答」を生成するアラインメント（SFT、DPO）の仕組みを実装で学べる
  ●最新の推論強化モデルまでカバー
  
  【LLMの仕組みを3段階で理解】
  ●図解や平易な解説で直感的に分かる
  ●実際に動くPyTorchコードで理解
  ●理論的な背景は数式で補足
  
  Transformerモデルを作った後、GPT-2相当のLLMを実装。さらにGPT-2だけでは実現できなかった「人間の意図に沿った応答」を生成するための技術（SFT、DPO）を、実際のコードで体験します。多数のGPUを使った大規模学習をするための分散学習についてもコードを示しながら解説します。
  
  現代の大規模言語モデルがどのように作られているのか―、その本質をこの1冊で理解できます。

• 著者について

  井上 顧基 (イノウエコウキ)
  株式会社Elith 代表取締役 CEO/CTO
  北陸先端科学技術大学院大学にて量子コンピュータ材料探索で修士号を取得。2022年Elith設立。経営と並行し、東北大学にて医学物理分野の医療AI研究（博士後期課程）に従事。研究成果として、医学物理のトップカンファレンスであるAAPMで採択され研究発表。研究・事業の両面からAI社会実装を推進。
  
  下垣内 隆太 (シモガウチリュウタ)
  株式会社Elith CAIO / Generative AI Research Engineer
  神戸高専から東京大学電子情報工学科に編入学。その後、東京大学大学院情報理工学系研究科で拡散モデルの研究で修士号を取得。「日経Linux（日経BP）」に大規模言語モデルに関する記事やマルチモーダルモデルに関する記事を寄稿。日英中のトリリンガル。高専時代から培ったものづくりの精神と、大学院で身につけた最先端の知識を融合させ、革新的な技術の開発に取り組む。
  
  高島 直也 (タカシマナオヤ)
  株式会社Elith ML Engineer / Product Manager
  兵庫県立大学大学院に飛び級で進学し、医療画像AIの研究で修士号を取得。国内外の学会で複数の受賞経験を持つほか、Kaggleの医療画像コンペティション（RSNA 2024）では金メダルを獲得。株式会社Elithでは自社AIプロダクト「GENFLUX」のプロダクトマネージャーとして開発を統括。現在はAIセーフティの研究にも取り組み、安全で信頼性の高いAIの社会実装を推進している。
  
  澤 風吹 (サワフブキ)
  株式会社Elith PMO / Project Management Office
  兵庫県立大学大学院にて医療画像AIを研究。論文採択や国内外で多数の学会発表を行い、学会賞の受賞経験も有する。株式会社Elithでは研究で培った技術的知見を活かし、建設・金融・AI SaaSなど幅広い業界のDXを推進。現在はPhysical AI領域の事業統括を担い、研究と社会実装をつなぐ役割を担っている。

作ってわかる大規模言語モデルの仕組み [単行本] の商品スペック