Probabilistic Machine Learning
Advanced Topics
(Adaptive Computation and Machine Learning series)
Kevin P. Murphy
Probabilistic Machine Learning Advanced Topics
機械学習について、幅広いトピックが取り上げられています。紙の印刷物で1360項、kindleで2500頁を超えるボリュームです。構成の上で削っていくよりすべてを載せておこうという考えなのでしょう。従来の統計的な機械学習にベイジアンの視点で、多くのセクションが割かれています。
章立ては以下の構成になっています。
1.Fundamentals
2.Inference
3.Prediction
4.Generation
5.Discovery
6.Action
この本は、全体を通して各章のテーマに沿った事例が示され、機械学習について画像、音声、言語などのデータ処理に関する、多数の要素技術、考え方、数学的背景が紹介されてあります。それぞれの主要な概念が数学でも記述されているので、厳密さを求める方にはわかりやすくなっています。また、トピックの各例にGitへのリンク(ipynb)が貼られ、GitとColab上でJupyter Notebookによるpythonのソースコードが提供されています。本文にはtensorflowやJAXを使ったpythonのソースコードは一切掲載されていませんが、さらに深く知りたい方には、リンクを参照することで550以上のpythonサンプルコードでトピックの要素技術を調べることができるようになっています。Kindle版では、１クリックでサンプルコードが参照できる親切な作りです。
著者の前著(Probabilistic Machine Learning: An Introduction)と重複している部分は少なく、1章に全体を読み進める上での基礎概念が記述されています。数学的記述からIsingモデル、相転移、ボルツマンマシンなどの物理学から持ってきた概念で潜在変数について解説されてあります。PGMだけでも幅広いトピックが記述されています。
2章、3章はベイジアンに親しみのある内容になっています。2章はベイジアン推論に関して多くの項で解説されてあります。3章は与えられた入力によって、教師あり学習を使って出力を予測する確率モデルの作り方について書かれています。
Counterfactualに関する議論では、CausalImpactに触れてあり、これは同じ考えに基づいて、GoogleからCRANに提供されているRのライブラリと対応しています。RライブラリのCausalImpactは状態空間モデルで表現できる時系列データに対して、Counterfactual推論が簡単に実行できるようになっています。
変分推論は、ひとつのセクションが割り当てられており、自動微分に関しても複数のアルゴリズムが解説されてあります。
4章の生成AIに関する章では、現在、流行っている大規模言語モデルのシンプルな構造から、オートエンコーダに関して丁寧に解説されてあります。確率モデルが教師なし学習を使って、出力を生成する方法について書かれています。
こうした生成技術は画像においては、Google の消しゴムサービスなどで使われています。AppleのiOSでも同様ですが、言語モデルのように、AIという名称は使用されていませんが、これらの技術は、現代の携帯端末にも多く採用されています。画像や音声のオートエンコーダは、そうした代表例といえます。
変分推論でバックプロパゲーションにベイズを使う方法など、ベイジアンの考えを取り込む技術が盛んになっています。これらのベイジアンニューラルネットワークは、多くの計算資源が利用できるようになった恩恵でもあります。各セクションでこれらの要素技術が解説されています。
5章のDiscoveryは、潜在変数のモデルに関するものです。私たちが関心を向けるデータの探索に関して記述されています。観測データが隠れた潜在変数から生成されたものと仮定して探索します。潜在因子モデル、状態空間モデル、ベイジアンモデルなどが解説してあります。潜在因子はPGMで記述する場合、Graphに表現すれば構造がわかります。相互作用する変数の場合はGraphは有効なツールになります。
また、自然言語処理におけるBERTの成功は、画像表現にも適用され、Representation Learningは、75%のマスクされた入力から全体をデコードする強力さが示されています。
6章は、不確実性のもとでの意思決定のモデルとアルゴリズムに関して記されます。市場経済に関わる立場で、社会、経済システムに関してインスパイアされる内容でもあります。
Reinforcement Learningは、Q-learning、SARSAメソッドについて記述されてあります。
因果推論Causalityは、Pearlの有名なdo-operatorについて解説されています。PGMを使って因果の関係性を表現し、観測に基づく条件確率とは別にinterventionによる条件確率をdo-operatorで表します。このInterventionの概念は3章のCausalImpactやCounterfactualの概念とも深く関係します。数式でも表現してあるので理解しやすいでしょう。差分の差分法やconfounderの概念についてもこのセクションで解説されてあります。
確率モデルによる機械学習の要素が網羅されているので、全体の森を見ることができます。この中のトピックからさらに深い領域に進んでいく端緒になる本です。
 Kevi){kind=link}