LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知 [単行本]

LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知 の 商品概要

• 目次

  第1章 なぜLLM アプリケーションを評価する必要があるの
  1.1 評価が必要な理由
  1.2 LLMアプリケーション特有の評価の難しさ
  1.3 なにを評価すべきかはアプリケーションの目的次第
  1.4 評価がチームにもたらすもの
  1.5 評価の3つの目的
  1.6 技術構成では変わらない評価の本質
  1.7 評価が中心になる時代―評価駆動開発というAI時代のパラダイム
  1.8 本章のまとめ

  第2章 LLMアプリケーション評価設計の全体像
  2.1 評価設計に必要な要素
  2.2 「何のために（why）」評価するのか―評価の目的
  2.3 「なにを（What）」評価するのか①―評価対象の設計
  2.4 「なにを（What）」評価するのか②―評価観点・評価指標・評価基準の設計
  2.5 本章のまとめ

  第3章 LLMアプリケーション評価の実行プロセスと運用設計
  3.1 「誰が（Who）」評価するのか―評価者の設計
  3.2 「どのように（How）」評価するのか―評価データセットと評価方法の設計
  3.3 「いつ（When）」評価するのか―評価タイミングの設計
  3.4 「どこで（Where）」評価するのか―評価環境の設計
  3.5 評価のゴールを定める―判断基準の設計
  3.6 アプリケーションのライフサイクルと評価戦略の進化
  3.7 本章のまとめ

  第4章 評価指標の設定の考え方
  4.1 LLMそのものとLLMアプリケーションの評価の違い
  4.2 LLMそのものの評価をどう参照するか
  4.3 LLMアプリケーションの評価
  4.4 LLMアプリケーションの出力品質の評価
  4.5 レイヤー1の出力品質を超えた評価
  4.6 本章のまとめ

  第5章 LLM-as-a-Judge
  5.1 なぜLLM-as-a-Judgeを使うのか
  5.2 LLM-as-a-Judgeの使い方
  5.3 LLM-as-a-Judge使用上の注意点
  5.4 評価の精度向上
  5.5 本章のまとめ

  第6章 LLMOpsによる継続的な改善
  6.1 LLMOpsとは
  6.2 LLMOpsの全体像：継続的改善サイクルという考え方
  6.3 LLMOpsサイクルを支える実践基盤
  6.4 LLMOpsを効率化するためのツール・サービス活用
  6.5 改善手法の選択肢を広げる
  6.6 本章のまとめ

  第7章 テーマ設定とサンプルアプリケーションの準備
  7.1 第2部のハンズオンの概要
  7.2 テーマ設定
  7.3 LangSmithのセットアップ
  7.4 サンプルアプリケーションのセットアップと起動
  7.5 LLMを使ったワークフロー処理の実装
  7.6 本章のまとめ

  第8章 評価の初期設計とデータセットの作成
  8.1 評価の初期設計
  8.2 データセットの作成準備
  8.3 合成データセットの作成とブラッシュアップ
  8.4 データセットの保存
  8.5 本章のまとめ

  第9章 リリース前の評価とチューニング
  9.1 リリース前の評価の実装
  9.2 人手での評価
  9.3 評価指標の改善
  9.4 評価結果に基づくチューニング
  9.5 本章のまとめ

  第10章 リリース後の評価と継続的な改善
  10.1 リリース後の評価の実装
  10.2 リリース後の評価を試す
  10.3 リリース後の評価のモニタリング
  10.4 本章のまとめ
  10.5 第2部のおわりに

  付録 LLMそのものの評価

• 出版社からのコメント

  LLMアプリケーションを評価するための基本から、評価に基づいた継続的な改善方法を、実務レベルで解説。

• 内容紹介

  「正解」がわからない出力を、どう評価するのか？
  LLMアプリ特有の評価の基本から、継続的改善の運用方法まで徹底解説！

  LLMアプリケーションを価値あるものにするためには、評価が欠かせません。
  評価をすることではじめて、LLMアプリケーションの現在地を把握し、改善すべき方向性を見極めることができます。

  しかし、LLMアプリケーションの評価は、
  ・出力が確率的かつ自由度が高いため単純に正答率を評価することができない
  ・なにをもって良い出力とするかの軸が定めにくい
  といったことから、「どう評価すればいいのか分からない」という課題にぶつかることが多くあるのではないでしょうか。

  本書は、そういった課題を解決すべく、評価の種類、どういった評価指標を作っていくかはもちろん、近年注目されているLLM-as-a-Judgeを使った実際の評価、リリース後の評価・改善といった、基本から実務で使える知識まで解説します。

  ■本書の特徴
  ・評価の基本を網羅的に解説：評価の全体像から評価軸の考え方まで丁寧に解説していきます
  ・幅広い評価のアプローチの解説：最新の評価手法であるLLM-as-a-Judgeなども取り上げ、幅広い評価のアプローチを習得することで、あらゆる場面で最適な評価手法を選択・活用できる力を身につけられます
  ・実践力を身につけられる：実際にLangSmithを使ってLLMアプリケーションを評価し、運用・改善していく方法を紹介します。プロンプトのバージョンを管理し、LLMアプリケーションのモニタリングやトレースを行うことで、継続的にアプリケーションを改善するコツをしることができ、実践力を身につけられます

  ■こんな方におすすめ
  ・これからLLMを活用したアプリケーション開発をしようとしている方
  ・LLMを用いたサービスのリリースを検討しているが、評価に不安を感じている方
  ・すでにLLMを活用したアプリケーションを開発・運用しており、継続的に改善していきたいと考えている方

  【目次】
  第1章 なぜLLM アプリケーションを評価する必要があるの

  第2章 LLMアプリケーション評価設計の全体像

  第3章 LLMアプリケーション評価の実行プロセスと運用設計

  第4章 評価指標の設定の考え方

  第5章 LLM-as-a-Judge

  第6章 LLMOpsによる継続的な改善

  第7章 テーマ設定とサンプルアプリケーションの準備

  第8章 評価の初期設計とデータセットの作成

  第9章 リリース前の評価とチューニング

  第10章 リリース後の評価と継続的な改善

  付録 LLMそのものの評価

LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知 の商品スペック