ベクトル検索実践入門（技術評論社） [電子書籍]

ベクトル検索実践入門（技術評論社） [電子書籍] の 商品概要

• ベクトル検索は従来の重要技術キーワード検索を補完する技術であり，かつWeb検索など，検索そのもののサービスにはもちろん，Eコマースなど各種サービスの検索機能にも採用されつつある注目度の高い技術です。従来のキーワード検索は，ユーザが入力したキーワードを含むドキュメントを抽出し，キーワードの出現頻度にもとづいてドキュメントをソート（ランキング）するというものでした。キーワード検索が表面的な情報を扱っていたのに対して，ベクトル検索はキーワードやドキュメントの「意味」を扱います。ベクトルの類似度によってキーワードとドキュメントそれぞれの意味の類似度を測れるよう，これらのテキストをベクトル化する技術です。
  このように，ベクトル検索は抽象的な意味を扱える点で優れた技術ですが，一方でしくみがわかりにくいところがあります。また，新しい技術でもあるため，日本語の専門書や資料が少ない状況です。
  本書はベクトル検索による検索エンジンの高速化を解説します。対象読者は検索サービスまたは検索機能を扱うエンジニア，手法の実装と評価が必要な研究者，およびそれらを志望する学生で，実用的なベクトル検索が実装できるようになることを目指します。
  前半でデータの準備から検索結果の評価までを一通り解説し，後半では各ステップの高度化・高速化について解説します。また，付録として画像のベクトル化と検索についても解説します。
  

• 目次

  第1章 データの準備
  1.1 ベクトル検索の流れ
  1.2 最重要のステップ：ランキング
  1.3 ランキングの機械学習
  1.4 ランク学習データセットの現状
  1.5 Shopping Queries Datasetの紹介
  1.6 前処理
  
  第2章 基本的なベクトル化
  2.1 ベクトル化モデルの選択
  2.2 ベクトル化モデルの例
  2.3 Sentence TransformersのMiniLM-L6の実行
  
  第3章 専用エンジンの紹介
  3.1 ベクトルの最近傍探索
  3.2 ANN検索の基本
  3.3 ベクトル検索エンジンの選択
  3.4 専用エンジンの例：Faiss
  3.5 キーワード検索エンジンの例：OpenSearch
  
  第4章 検索結果の評価
  4.1 ランキングの評価
  4.2 nDCG
  4.3 nDCGの計算
  4.4 ラベルがついていないドキュメントを含む場合
  4.5 レイテンシその他の評価尺度
  
  第5章 高度なベクトル化
  5.1 ベクトル検索とLLMとの関係
  5.2 BERT
  5.3 BERTの実装の例：LINEのDistilBERT
  5.4 事前学習済みモデルのベクトル検索への応用
  5.5 ファインチューニング
  5.6 その他の有名な手法：SimCSE
  
  第6章 高速なベクトル化
  6.1 BERTをGPUで動かす
  6.2 LLMの量子化
  6.3 半精度での推論
  6.4 さらなる低精度での推論
  
  第7章 ベクトルの圧縮と高速な計算
  7.1 LLMの量子化とベクトルの圧縮の関係
  7.2 ベクトルの圧縮と高速な計算の関係
  7.3 スカラ量子化
  7.4 スカラ量子化を考慮したファインチューニング
  
  第8章 次元削減やハッシュによる高速化
  8.1 次元削減
  8.2 次元削減の例：ランダム回転
  8.3 LSH
  8.4 FaissにおけるLSHの実装
  8.5 OpenSearchによるLSHの実装例
  8.6 Learning to Hash
  
  第9章 クラスタによる高速化 251
  9.1 IVF
  9.2 クラスタリング
  9.3 FaissにおけるIVFの実装
  9.4 OpenSearchによるIVFの実装例
  9.5 直積量子化
  
  第10章 グラフによる高速化
  10.1 グラフとANN検索との関係
  10.2 FaissにおけるHNSWの実装
  10.3 OpenSearchにおけるHNSWの実装
  
  第11章 既存のモデルへのベクトル検索の統合
  11.1 特徴量の抽出
  11.2 既存のモデルの例：GBDT
  11.3 RRF
  11.4 ベクトル間の類似度や距離を特徴量とする
  
  第12章 ベクトル検索への既存の特徴量の統合
  12.1 任意の特徴量をテキストにして入力する
  12.2 実装例
  12.3 TabTransformerの事例
  
  付録A 画像のベクトル検索
  A.1 Fashion-MNIST：データセットの紹介
  A.2 CLIP：ベクトル化モデルの紹介
  A.3 実装と評価
  A.4 ファインチューニング
  

ベクトル検索実践入門（技術評論社） [電子書籍] の商品スペック