モダンTransformer モデルの内部構造から、マルチモーダル/RAG/SLMの実装と最適化まで（インプレス） [電子書籍]

モダンTransformer モデルの内部構造から、マルチモーダル/RAG/SLMの実装と最適化まで（インプレス） の 商品概要

• LLM/エージェントの基盤技術を習得できる！
  実プロジェクトで使いこなすための
  モデルの構造からコーディングの実践まで。
  
  本書では、現代的なTransformerモデルの内部構造から、コードを交えた実践テクニックまでを解説。Transformerモデルを実際のプロジェクトで使いこなすための確固たる基盤技術を習得したい方に格好の一冊です。
  
  取り上げるモデルは、Llama 4/Gemma 3世代を中心に、言語を含むマルチモーダルに対応したものであり、Gemma 4についても説明を補足しています。また、Hugging FaceやvLLMのライブラリ等を使った実際のコード例を交えて解説。主要なテーマは次のとおりです。
  
  ◆Transformerモデルの基礎◆Transformerがなぜそのように設計されているのか、そしてどのように機能するのかを学びます。また、エンコーダースタックとデコーダースタックを含む完全なアーキテクチャを探求します。
  
  ◆生成系モデルのバリエーションと高度化◆デコーダーのみ、エンコーダーのみ、Mixture-of-Expertsなど、アーキテクチャの主要なバリエーションについて説明した後、テキスト生成戦略とプロンプト技術のパターンといったLLMの推論能力を高度化していく手法を取り上げます。
  
  ◆生成系モデルによるシステム◆人間の好みに合わせる選好アライメント、そして検索拡張生成（RAG）などにフォーカスしたシステム構築手法を示します。
  
  ◆マルチモーダルと小規模言語モデル◆マルチモーダルモデルを支える中核技術のほか、マルチモーダルRAGについて説明。また、SLM（小規模言語モデル）についてファインチューニングのケーススタディを解説し、エージェントとしてどのように機能するかも示します。
  
  ◆LLMの活用◆LLMのトレーニング、QLoRAなどのファインチューニング、評価手法を取り上げます。その後、枝刈り、蒸留、推論の最適化、FlashAttentionなど、最適化とスケーリングについて探索します。最後に、バイアス検出、透明性と説明性のツールといった倫理・責任あるAIへの手法を説明します。
  
  ※本書は『Transformers in Action』（Manning Publications）の翻訳書です。
  
  ■本書の構成
  ◆Part1 現代のTransformerモデルの基礎
  第1章 Transformerはなぜ必要か
  第2章 詳解Transformer
  
  ◆Part2 生成系Transformer
  第3章 モデルファミリとアーキテクチャのバリエーション
  第4章 テキスト生成戦略とプロンプティングテクニック
  第5章 選好アライメントとRAG
  
  ◆Part3 専門化されたモデル
  第6章 マルチモーダルモデル
  第7章 効率的な特化型SLM
  第8章 LLMの訓練と評価
  第9章 LLMの最適化とスケーリング
  第10章 倫理的かつ責任あるLLM
  
  
  

• 目次

  表紙
  サンプルコード・正誤表・免責など
  称賛の言葉
  アーキテクチャとバリエーション
  本書に寄せて
  まえがき
  謝辞
  本書について
  著者について
  Part1 現代のTransformerモデルの基礎
  第1章 Transformerはなぜ必要か
  1.1 Transformerのブレークスルー／1.1.1 Transformer登場以前の翻訳
  1.1.2 Transformerはどう違うのか
  1.1.3 Attentionメカニズムを解き明かす
  1.1.4 Multi-head Attentionの力
  1.2 Transformerはどのように使うのか
  1.3 Transformerはいつ使うのか、それはなぜか
  1.4 TransformerからLLMへ：今も生き続ける設計図
  1.5 本章のまとめ
  第2章 詳解Transformer
  2.1 seq2seqモデルからTransformerへ／2.1.1 RNNの訓練の難しさ
  2.1.2 Attentionメカニズムの導入
  2.1.3 勾配消失：Transformerによる解決
  2.1.4 勾配爆発：勾配が大きくなりすぎて訓練が破綻するとき
  2.2 モデルアーキテクチャ
  2.2.1 エンコーダ・デコーダスタック
  2.2.2 位置エンコーディング
  2.2.3 Attention
  2.2.4 位置ごとのフィードフォワードネットワーク
  2.3 本章のまとめ
  Part2 生成系Transformer
  第3章 モデルファミリとアーキテクチャのバリエーション
  3.1 デコーダのみのモデル／3.2 デコーダのみのアーキテクチャ
  3.3 エンコーダのみのモデル
  3.3.1 事前学習戦略としてのMLM
  3.4 埋め込みモデルとRAG
  3.4.1 埋め込みとは何か
  3.5 LLMでのMoE／3.5.1 MoEの仕組み
  3.6 本章のまとめ
  第4章 テキスト生成戦略とプロンプティングテクニック
  4.1 テキスト生成でのデコーディングとサンプリング／4.1.1 貪欲探索によるデコーディング
  4.1.2 ビームサーチによるデコーディング
  4.1.3 top-kサンプリング
  4.1.4 top-p（nucleus）サンプリング
  4.1.5 温度サンプリング
  4.2 プロンプティングの技術
  4.2.1 ゼロショットプロンプティング
  4.2.2 ワンショットプロンプティングとフューショットプロンプティング
  4.2.3 CoTプロンプティング
  4.2.4 Instructorによる構造化CoT
  4.2.5 Contrastive CoTプロンプティング／4.2.6 CoVeプロンプティング
  4.2.7 ToTプロンプティング
  4.2.8 ThoTプロンプティング
  4.3 本章のまとめ
  第5章 選好アライメントとRAG
  5.1 人間のフィードバックによる強化学習（RLHF）／5.1.1 マルコフ決定過程（MDP）から強化学習へ
  5.1.2 人間のフィードバックと強化学習によるモデルの改善
  5.2 DPOによるLLMのアライメント
  5.2.1 SFTステップ
  5.2.2 DPOによるLLMの訓練
  5.2.3 学習済みLLMで推論を実行する
  5.2.4 DPOの最適化バージョン／5.2.5 GRPO
  5.3 MixEval：堅牢かつコスト効率の高い評価のためのベンチマーク
  5.4 RAG
  5.4.1 初めてのRAG
  5.4.2 RAGを使う理由とその状況
  5.4.3 主要なコンポーネントと設計上の選択
  5.5 本章のまとめ
  Part3　専門化されたモデル
  第6章 マルチモーダルモデル
  6.1 入門：マルチモーダルモデル
  6.2 異なるドメインのモダリティを統合する
  6.3 モダリティ固有のトークン化／6.3.1 画像と視覚埋め込み
  6.3.2 MLLMによる画像分析
  6.3.3 画像パッチから動画チューブレットへ
  6.3.4 動画情報の抽出
  6.3.5 音声埋め込み
  6.3.6 音声専用パイプライン：抽出と推論
  6.4 マルチモーダルRAG：PDFから画像、表、モデル間の比較まで
  6.5 本章のまとめ
  第7章 効率的な特化型SLM
  7.1 小さいは強い
  7.2 SLM：スペシャリストからなるシステムにおけるエージェント
  7.3 SLMによる分類
  7.3.1 分類性能を評価する
  7.3.2 正解率とF1スコア
  7.3.3 Financial PhraseBankデータセットでのSLMのファインチューニング
  7.4 Gemma 3 270M：共感と向社会的なトーンへの適応
  7.5 Gemma 3 270M：英西翻訳への適応
  7.6 より広範なユースケースと補完的モデル
  7.7 本章のまとめ
  第8章 LLMの訓練と評価
  8.1 詳解：ハイパーパラメータ／8.1.1 パラメータとハイパーパラメータは勾配降下法にどのように関与するか
  8.2 モデルのチューニングとハイパーパラメータ最適化
  8.2.1 実験の追跡
  8.3 LLMのパラメータ効率の高いファインチューニング（PEFT）
  8.3.1 低ランク適応（LORA）
  8.3.2 重み分解低ランク適応（DoRA）
  8.3.3 量子化
  8.3.4 QLORAによる量子化LLMの効率的なファインチューニング
  8.3.5 量子化対応低ランク適応（QA-LORA）
  8.3.6 低ランク＋量子化行列分解（LQ-LORA）／8.3.7 まとめ：適切なPEFT戦略の選択
  8.4 本章のまとめ
  第9章 LLMの最適化とスケーリング
  9.1 モデルの最適化／9.1.1 モデルのブルーニング（刈り込み）
  9.1.2 モデルの蒸留
  9.2 メモリ最適化のためのシャーディング
  9.3 推論の最適化
  9.4 GPUレベルの最適化：タイル化、スレッド、メモリ
  9.4.1 FlashAttention：大規模にスケールするタイル化Attention
  9.5 長コンテキストウィンドウの拡張
  9.5.1 ROPEとその改良
  9.5.2 改良：YaRN、位置補間、iRoPE
  9.6 本章のまとめ
  第10章 倫理的かつ責任あるLLM
  10.1 LLMのバイアスを理解する／10.1.1 バイアスを特定する
  10.1.2 AIにおけるモデルの解釈可能性とバイアス
  10.2 LLMの透明性と解釈可能性／10.2.1 Captumを使って生成言語モデルの挙動を分析する
  10.2.2 LIMEを使ってモデルの予測を説明する
  10.3 責任あるLLMの利用
  10.3.1 Foundation Model Transparency Index
  10.4 言語モデルの保護
  10.4.1 ジェイルブレイクとライフサイクル上の脆弱性
  10.4.2 危険な悪用からモデルを保護する
  10.5 本章のまとめ
  参考資料
  索引
  翻訳者プロフィール／STAFF LIST
  奥付
  

モダンTransformer モデルの内部構造から、マルチモーダル/RAG/SLMの実装と最適化まで（インプレス） の商品スペック