MLflowで実践するLLMOps ――生成AIアプリケーションの実験管理と品質保証（技術評論社） [電子書籍]

MLflowで実践するLLMOps ――生成AIアプリケーションの実験管理と品質保証（技術評論社） の 商品概要

• 本書は，LLMアプリケーションの開発・運用に必要な一連のプロセス――可観測性の確保，品質評価，プロンプト管理，本番展開――を，オープンソースプラットフォーム「MLflow」を使って体系的に実践する技術書です。
  LLMアプリケーションは，従来の機械学習システムとは異なる難しさを持ちます。プロンプトのわずかな変更が品質に大きく影響し，エージェントの挙動は複雑で追跡が難しく，コストは見えにくい場所で膨らみます。MLflow 3はこうした課題に正面から向き合い，トレーシング，評価（LLM-as-a-Judge），Prompt Registry，AI Gatewayといった機能を1つのプラットフォームに統合しました。
  本書では，シンプルなLLMアプリケーションから始め，RAGシステム，マルチエージェントまで段階的にカバーしています。実際に動くPythonコードとともに，「作って終わり」ではなく「運用し続けられる」LLMアプリケーションの構築方法を提供します。
  

• 目次

  第1章 LLMOpsの世界へようこそ
  1.1 なぜ今LLMOpsが必要なのか
  1.2 従来のMLOpsとLLMOpsの決定的な違い
  1.3 MLflowが解決するMLOps/LLMOpsの課題
  1.4 本書の構成と読み方ガイド
  1.5 まとめ
  
  第2章 MLflowとは
  2.1 MLflowの進化を知る
  2.2 MLflow以前の機械学習プロジェクトにおける課題（～2018年）
  2.3 MLOpsプラットフォームとしてのMLflowの誕生・発展（2018～2022年）
  2.4 LLMのブレークスルーと課題の変化（2023～2024年）
  2.5 MLflowの誕生（2025年）
  2.6 まとめ
  
  第3章 MLflowのインストールと初期設定
  3.1 前提条件の確認
  3.2 サンプルプロジェクトのセットアップ
  3.3 サービスの設定とエージェントのテスト実行
  3.4 応用（1）：OpenAI以外のLLMを使用する場合
  3.5 応用（2）：より高度なTracking Serverの設定
  3.6 応用（3）：マネージドMLflowの活用
  3.7 まとめ
  
  第4章 可観測性の確保──トレーシングの導入
  4.1 可観測性・トレーシングとは
  4.2 LLMアプリケーションにおけるトレーシング
  4.3 トレーシングを有効にする
  4.4 MLflow QAエージェントへのトレーシング導入
  4.5 トレースに追加情報を付与する
  4.6 トレーシングの仕組みと実装
  4.7 応用（1）：TypeScriptアプリケーションのトレーシング
  4.8 応用（2）：トレースの検索
  4.9 応用（3）：OpenTelemetryとの連携
  4.10 応用（4）：並行実行とスレッド安全性
  4.11 まとめ
  
  第5章 改善サイクルを加速する ──評価の仕組み
  5.1 LLMアプリケーションの品質保証の難しさ
  5.2 評価の始め方：まずは実際に動かしてみる
  5.3 ドメイン専門家によるレビュー
  5.4 評価基準を決定する
  5.5 評価データセットの準備
  5.6 自動評価の実行
  5.7 応用（1）：会話セッションのシミュレーションと評価
  5.8 応用（2）：LLMジャッジのアライメント
  5.9 応用（3）：サードパーティ評価ライブラリとの連携
  5.10 まとめ
  
  第6章 プロンプトエンジニアリング──プロンプトの運用と管理
  6.1 プロンプト管理の課題とPrompt Registryの価値
  6.2 プロンプトのバージョニングとライフサイクル管理
  6.3 プロンプトの運用・改善戦略
  6.4 まとめ
  
  第7章 本番環境で動かす──サービングとデプロイメント
  7.1 LLMサービングの課題
  7.2 エージェントのサービング準備
  7.3 バージョン管理とサービング評価
  7.4 AI Gatewayによるプロバイダー管理
  7.5 本番デプロイメント
  7.6 応用（1）：ストリーミングとResponsesAgent
  7.7 応用（2）：カスタムアプリケーション統合
  7.8 まとめ
  
  第8章 監視と運用──LLMアプリケーションの健全性管理
  8.1 本番環境でのトレースベース監視
  8.2 トークン使用量とコストの可視化
  8.3 品質メトリクスのリアルタイム追跡
  8.4 アラート設定とインシデント対応
  8.5 OpenTelemetryとの統合
  8.6 まとめ
  
  第9章 実践ケーススタディ
  9.1 非構造文書からの情報抽出アプリケーション
  9.2 社内技術文書検索システム（エージェント型RAG）
  9.3 技術レポート作成マルチエージェント
  9.4 まとめ
  
  第10章 エンタープライズ環境でのMLflow活用
  10.1 エンタープライズ環境におけるLLMOpsの要件
  10.2 Databricksプラットフォームの概要
  10.3 DatabricksにおけるMLflow実装
  10.4 エンタープライズ環境での実践
  10.5 まとめ
  
  第11章 LLMOpsの未来とベストプラクティス
  11.1 最後の章にあたり
  11.2 LLMOpsの進化の方向性
  11.3 MLflowエコシステムの拡張
  11.5 今後の学習リソース
  11.6 まとめ
  
  Appendix 付録
  付録A MLflow CLIリファレンス（LLM関連）
  付録B トラブルシューティングガイド
  付録C 用語集
  

MLflowで実践するLLMOps ――生成AIアプリケーションの実験管理と品質保証（技術評論社） の商品スペック