MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証 [単行本]

MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証 の 商品概要

• 目次

  第1章　LLMOpsの世界へようこそ
  1.1　なぜ今LLMOpsが必要なのか
  1.2　従来のMLOpsとLLMOpsの決定的な違い
  1.3　MLflowが解決するMLOps/LLMOpsの課題
  1.4　本書の構成と読み方ガイド
  1.5　まとめ
  
  第2章　MLflowとは
  2.1　MLflowの進化を知る
  2.2　MLflow以前の機械学習プロジェクトにおける課題（～2018年）
  2.3　MLOpsプラットフォームとしてのMLflowの誕生・発展（2018～2022年）
  2.4　LLMのブレークスルーと課題の変化（2023～2024年）
  2.5　MLflowの誕生（2025年）
  2.6　まとめ
  
  第3章　MLflowのインストールと初期設定
  3.1　前提条件の確認
  3.2　サンプルプロジェクトのセットアップ
  3.3　サービスの設定とエージェントのテスト実行
  3.4　応用（1）：OpenAI以外のLLMを使用する場合
  3.5　応用（2）：より高度なTracking Serverの設定
  3.6　応用（3）：マネージドMLflowの活用
  3.7　まとめ
  
  第4章　可観測性の確保──トレーシングの導入
  4.1　可観測性・トレーシングとは
  4.2　LLMアプリケーションにおけるトレーシング
  4.3　トレーシングを有効にする
  4.4　MLflow QAエージェントへのトレーシング導入
  4.5　トレースに追加情報を付与する
  4.6　トレーシングの仕組みと実装
  4.7　応用（1）：TypeScriptアプリケーションのトレーシング
  4.8　応用（2）：トレースの検索
  4.9　応用（3）：OpenTelemetryとの連携
  4.10　応用（4）：並行実行とスレッド安全性
  4.11　まとめ
  
  第5章　改善サイクルを加速する　──評価の仕組み
  5.1　LLMアプリケーションの品質保証の難しさ
  5.2　評価の始め方：まずは実際に動かしてみる
  5.3　ドメイン専門家によるレビュー
  5.4　評価基準を決定する
  5.5　評価データセットの準備
  5.6　自動評価の実行
  5.7　応用（1）：会話セッションのシミュレーションと評価
  5.8　応用（2）：LLMジャッジのアライメント
  5.9　応用（3）：サードパーティ評価ライブラリとの連携
  5.10　まとめ
  
  第6章　プロンプトエンジニアリング──プロンプトの運用と管理
  6.1　プロンプト管理の課題とPrompt Registryの価値
  6.2　プロンプトのバージョニングとライフサイクル管理
  6.3　プロンプトの運用・改善戦略
  6.4　まとめ
  
  第7章　本番環境で動かす──サービングとデプロイメント
  7.1　LLMサービングの課題
  7.2　エージェントのサービング準備
  7.3　バージョン管理とサービング評価
  7.4　AI Gatewayによるプロバイダー管理
  7.5　本番デプロイメント
  7.6　応用（1）：ストリーミングとResponsesAgent
  7.7　応用（2）：カスタムアプリケーション統合
  7.8　まとめ
  
  第8章　監視と運用──LLMアプリケーションの健全性管理
  8.1　本番環境でのトレースベース監視
  8.2　トークン使用量とコストの可視化
  8.3　品質メトリクスのリアルタイム追跡
  8.4　アラート設定とインシデント対応
  8.5　OpenTelemetryとの統合
  8.6　まとめ
  
  第9章　実践ケーススタディ
  9.1　非構造文書からの情報抽出アプリケーション
  9.2　社内技術文書検索システム（エージェント型RAG）
  9.3　技術レポート作成マルチエージェント
  9.4　まとめ
  
  第10章　エンタープライズ環境でのMLflow活用
  10.1　エンタープライズ環境におけるLLMOpsの要件
  10.2　Databricksプラットフォームの概要
  10.3　DatabricksにおけるMLflow実装
  10.4　エンタープライズ環境での実践
  10.5　まとめ
  
  第11章　LLMOpsの未来とベストプラクティス
  11.1　最後の章にあたり
  11.2　LLMOpsの進化の方向性
  11.3　MLflowエコシステムの拡張
  11.5　今後の学習リソース
  11.6　まとめ
  
  Appendix　付録
  付録A　MLflow CLIリファレンス（LLM関連）
  付録B　トラブルシューティングガイド
  付録C　用語集

• 内容紹介

  本書は、LLMアプリケーションの開発・運用に必要な一連のプロセス――観測可能性の確保、品質評価、プロンプト管理、本番展開――を、オープンソースプラットフォーム「MLflow」を使って体系的に実践する技術書です。
  LLMアプリケーションは、従来の機械学習システムとは異なる難しさを持ちます。プロンプトのわずかな変更が品質に大きく影響し、エージェントの挙動は複雑で追跡が難しく、コストは見えにくい場所で膨らみます。MLflow 3はこうした課題に正面から向き合い、トレーシング、評価（LLM-as-a-Judge）、Prompt Registry、AI Gatewayといった機能を1つのプラットフォームに統合しました。
  本書では、シンプルなLLMアプリケーションから始め、RAGシステム、マルチエージェントまで段階的にカバーしています。実際に動くPythonコードとともに、「作って終わり」ではなく「運用し続けられる」LLMアプリケーションの構築方法を提供します。

• 著者について

  弥生 隆明 (ヤヨイ タカアキ)
  大手製造業にてインフラ管理・システム開発、大手ITメーカーにて自然言語処理の研究開発・ITコンサルティング・サービス開発運用・海外赴任を経て、外資系コンサルティングファームでデータ分析プロジェクトに従事。現在はDatabricks Japanにて、生成AIおよびデータエンジニアリングを専門にDatabricksの導入支援に取り組む。2026年4月より青山学院大学特別研究員を兼務。興味・得意分野は生成AI、データエンジニアリング、Webアプリ、Databricks。趣味はジョギング、読書、iPhoneアプリ開発。読書アプリなど日常の小さな不便を解消するアプリを気が向いたときに作っている。
  
  渡辺 祐貴 (ワタナベ ユウキ)
  Amazon Japanにて機械学習エンジニアとして従事したあと、現在はDatabricksにてオープンソースMLflowのテックリードを務め、LLMOps領域の開発を推進している。とくにLLMアプリケーションの可観測性および評価機能の設計・開発をリードし、MLflowのGenAI対応を牽引。興味・得意分野は機械学習・AI、プラットフォーム開発。趣味はテニス。学生時代にはイラスト制作にも取り組み、その知識を活かして画像・3DCG分野での機械学習の研究に取り組んだ。
  
  大内山 浩 (オオウチヤマ ヒロシ)
  大手外資系ITメーカーにてソフトウェア開発や戦略コンサルティングに従事。その後、大手外資系ソフトウェアベンダーにてクラウドを活用したデータ・AI導入を推進し、大手半導体メーカーではAIスペシャリストとして技術営業やエバンジェリズム活動に携わる。現在はDatabricks JapanにてAI領域の専門家として企業のAI導入・活用支援に取り組む。専門学校の教育顧問も兼務。興味・得意分野はAI、クラウドアーキテクチャ、データ活用戦略。趣味は旅行、音楽、サッカー、SUP。とくに沖縄が好きで、年に何度も足を運んでいる。
  
  平田 東夢 (ヒラタ トウム)
  Databricksソフトウェアエンジニア。大学院で深層学習を用いた動画認識などの研究をしたあと、Indeed Japanで広告モデルの分析や推薦システムの開発を行う。DatabrickではMLflowやAIエージェントフレームワークDSPyの開発に従事。興味・得意分野は機械学習、因果推論、統計。趣味は旅行とスポーツ観戦。小学生から12年間柔道を続け、大学時代は体育会ラクロス部に所属。
  
  河村 春孝 (カワムラ ハルタカ)
  Databricksソフトウェアエンジニア。元データサイエンティスト。業務内でMLflowを利用していたことをきっかけに2019年にMLflowへのコントリビューションを開始。2020年にDatabricksに入社し、メンテナーとしてプロジェクトの開発・発展に取り組んでいる。興味・得意分野は生成AI、バックエンド開発、CI/CD。趣味はバスケ観戦。都内で開催される高校・大学生の大会をよく観戦に行く。

MLflowで実践するLLMOps――生成AIアプリケーションの実験管理と品質保証 の商品スペック