イラストで学ぶ 自然言語処理 大規模言語モデルへの最短コース（KS情報科学専門書） [単行本]

イラストで学ぶ 自然言語処理 大規模言語モデルへの最短コース（KS情報科学専門書） の 商品概要

• 目次

  第1章 自然言語処理の概要
  1.1 自然言語処理でできること
  1.2 なぜ自然言語は難しいのか
  1.3 自然言語処理の歴史
  
  第2章 確率的言語モデルの基礎
  2.1 言語モデルとは何か
  2.2 テキストの確率計算
  2.3 コーパス：言語のお手本集
  2.4 N-gram言語モデル：原始的な言語モデル
  2.5 パープレキシティ：言語モデルの評価指標
  2.6 N-gram言語モデルの限界
  
  第3章 トークン化の基礎
  3.1 トークン化とは何か
  3.2 さまざまなトークン化の粒度
  3.3 Byte Pair Encoding(BPE)
  
  第4章 ニューラルネットワークの基礎
  4.1 ニューラルネットワークの概要
  4.2 勾配降下法による1 次関数の係数の学習
  4.3 線形なパターンの学習
  4.4 非線形なパターンの学習
  4.5 ニューラルN-gram言語モデル
  4.6 最適化手法の発展
  
  第5章 Transformer
  5.1 Transformerはなぜ重要か
  5.2 Transformerの構成要素
  5.3 エンコーダ型Transformer
  5.4 デコーダ型Transformer
  5.5 エンコーダ・デコーダ型Transformer
  5.6 Mixture of Experts
  
  第6章 アクセラレータと分散学習
  6.1 深層学習用アクセラレータの基本
  6.2 分散学習
  
  第7章 LLMの学習
  7.1 事前学習
  7.2 指示チューニング
  7.3 報酬に基づくチューニング
  7.4 REINFORCE
  
  第8章 LLMの推論と活用
  8.1 文章生成におけるデコーディング
  8.2 プロンプトの設計
  8.3 推論スケーリング
  8.4 熟考モデル
  8.5 外部ツールとの統合
  
  第9章 LLMの評価と安全性
  9.1 評価の難しさ
  9.2 LLM の有用性・タスク性能の評価
  9.3 安全性という評価軸
  
  第10章 マルチモーダルLLM
  10.1 カスケード型のアプローチ
  10.2 統合型のアプローチ
  10.3 画像エンコーダ：Vision TransformerとCLIP
  10.4 音声エンコーダ：スペクトログラムとWhisper
  10.5 エンコーダとLLMの統合
  10.6 マルチモーダルLLMの課題

• 出版社からのコメント

  最新アーキテクチャはもちろん、アクセラレータや分散学習、さらにＬＬＭの推論設計、評価方法、安全性までを解説。入門書の決定版！

• 内容紹介

  
  ★現代の自然言語処理技術を体系的に学べる入門書の決定版！★
  
  Transformerはもちろん、MoEやマルチモーダルLLMなどの最新アーキテクチャ、高速化に必須のアクセラレータや分散学習、さらにLLMの推論設計、評価方法、安全性までを幅広く解説。
  
  単に、LLMをブラックボックスとして利用するのではなく、その内部で何が起きているのかを根本から理解し、確かな知識の土台を築くことができる！
  
  また、言葉だけでは捉えにくい原理やアルゴリズムを、豊富な図やイラストによって直感的に理解できる。
  
  さらに、豊富なPython演習を通して、学んだ知識を実際に手を動かしながら確認でき、理解を着実に深められる。
  
  【サポートサイト】
  https://github.com/ryokan0123/nlp-illustrated
  
  【目次】
  第1章　自然言語処理の概要
  第2章　確率的言語モデルの基礎
  第3章　トークナイザの基礎
  第4章　ニューラルネットワークの基礎
  第5章　Transformer
  第6章　アクセラレータと分散学習
  第7章　LLMの学習
  第8章　LLMの推論と活用
  第9章　LLMの評価と安全性
  第10章　マルチモーダルLLM

• 著者について

  李 凌寒 (リ リョウカン)
  李　凌寒（リ・リョウカン）
  
  2023年、東京大学大学院情報理工学系研究科博士課程修了。博士（情報理工学）
  SB Intuitions株式会社を経て、現在、Google DeepMindリサーチエンジニア。
  ことばの不思議を探究するYouTubeチャンネル「ことラボ」を運営し、チャンネル登録者数は14万人。
  著書に、『大規模言語モデル入門』『大規模言語モデル入門2』（ともに技術評論社）、『言語学クエスト：ことばの世界をめぐる冒険』彩図社などがある。

イラストで学ぶ 自然言語処理 大規模言語モデルへの最短コース（KS情報科学専門書） の商品スペック