中国のAI技術動向の調査を兼ねて、gCastleに実装された因果探索アルゴリズムを検証しました。gCastleはGUIツールCastleBoardを含んでいますが、パッケージにツールのマニュアル類は添付されていません。そのため、本稿では実際にアルゴリズムを検証するためのCastleBoardの使い方について解説します。
CastleBoardの操作
GUIツールはいくつかの設定項目への入力でテストデータを生成できるため、テストプログラムを組むより簡単にアルゴリズムを検証できます。ツールの機能は主に二つのタスクを実行させることです。一つはテストデータを生成し、もう一つはテストデータで探索アルゴリズムを実行させることです。
- テスト用のデータセットを生成して保存します。
- 因果探索アルゴリズムを選択し、生成したテスト用のデータセットを使ってアルゴリズムを検証します。
CastleBoardの起動
以下にリンクしている【gCastle因果探索アルゴリズムの検証】で解説したように、python39の仮想環境を起動し、パッケージのディレクトリ、gcastleに移動後、flaskサーバーを起動します。
以下のコマンドを実行し、Webブラウザで localhost:5000/index.htmlにアクセスしてください。
conda activate python39
cd gcastlepython web/main.pyテストデータの生成
CastleBoardにアクセスできたら、左上に４つ並んだメニューからTaskメニューを選択してください。
Taskメニューで選択した図１で示すタスク一覧画面で、上部に三つ並んだボタンの中でAdd Taskボタンを押します。
図１ タスクメニュー タスク一覧
以下の図２に示すように、タスク選択ダイアログ(Set task type)が表示されます。
図２ タスク選択ダイアログ
中央のメニューTask TypeからData Generationを選択します。
図３ タスク選択ダイアログ２
Task Type選択後、Next stepボタンを押します。
図４ タスク種別の設定
図５で示すAdd a Task -- Data Generationダイアログが表示されます。
図５ Add a task -- Dataset Generation Step1
ここでSimulation dataset name: テキスト入力フィールドに、シミュレーション・データセットの名称を入力します。これは後で因果探索アルゴリズムを実行するときのデータセットに指定します。
生成するデータセットに名前をつけた後、 Next stepボタンを押します。
以下の図６で示すStep2 画面が表示されます。
図６ Step2
保存場所Storage locationを表示します。生成されるテストデータの保存先を指定します。
デフォルトの設定で問題ありません。そのままNext stepボタンを押してください。
以下の図７で示すStep3画面が表示されます。
図７ Step3 Causal mechanism for sample generation
中央にあるプルダウンメニューからサンプル生成のための因果関係の仕組みを選択します。以下の三つの選択肢から選択します。
- IID LINEAR
- IID_NONLINEAR
- EVENT
図８ Causal mechanism for sample generation
ここでは、IID_LINEARを選択します。
図９ Configuration Parameters
Configuration Parametersボタンを押します。Configuration Parameters パラメータの設定画面が表示されます。
図１０ Configuration Parameters
n_edgesとn_nodesの項目にそれぞれ値を入力します。ここでは一例として、それぞれ１０、８を入力します。
ここで指定するnodesは因果ダイアグラムのノード、エッジは二つのノード間を結ぶ原因と結果を示す線であり、因果の方向が矢印で表示されます。
項目に数値を入力したら、Confirmボタンを押します。Step3画面に戻ります。
Next stepボタンを押します。
図１１で示すStep4の確認画面が表示されます。
図１１ Step4 Check the configuration
入力した内容が表示されます。内容を確認します。
右下の三つ並んだボタンの中で中央にあるConfirmボタンを押します。
正常に終了すると、下の図１２のタスク画面の一番下に表示されているように、新しく生成したデータセットが、"ds_iid_test1"の名称でタスクに登録されます。これは、上の手続き Step1 図５のテキスト入力フィールドSimulation dataset name:に入力した名称に一致します。
図１２ Task一覧 ds_iid_test1
生成したテストデータの表示
生成したデータを表示するには、タスクリストの右端のOperations欄にあるViewボタンをクリックします。
図１３ Operations Viewボタン
下の図１４に示すように、DAGノード間を結ぶエッジが表示されます。
図１４ View
画面右上にあるView Edgesボタンを押します。
下の図１５に示すように、ノード間を結ぶエッジのリストを表示します。
図１５ View ノード間を結ぶエッジのリスト
エッジの上にマウスを移動させると、ノードを結ぶエッジがハイライト表示されます。(図１６）ハイライトで表示された 6>2はノード６からノード２への矢印を意味し、６が２の原因であることを示しています。
図１６ ノード間を結ぶエッジ(6>2)
因果探索アルゴリズムの実行
図１７のタスク一覧画面の上部に並んだ三つのボタンの中のAdd Taskボタンを押します。
図１７ タスク一覧
Task Type選択画面で Causal Discoveryを選択します。
図１８ Set task type
Task Type選択後に、Next Step ボタンを押します。
図１９で示すStep1画面が表示されます。
図１９ Add a task -- Causal Discovery Step 1
中央のTask nameで示されたテキスト入力フィールドに任意のタスクの名称を入力します。このタスク名はタスク一覧表のリストに追加されます。
任意のタスク名入力後に、Next stepボタンを押します。
以下の図２０で示す Step２ 画面が表示されます。
図２０ Step２画面 User-defined training dataset
データセットの選択画面が表示されます。User defined training datasetとBuilt-in training datasetのどちらかを選択するラジオボタンがあります。
User defined training datasetのラジオボタンを選択します。このラジオボタンを選択すると、生成したデータセットが選択できます。
【テストデータの生成】項目に記した手続きで生成したデータセットを選択してください。
Next stepボタンを押してください。Step3画面が表示されます。
図２１ Step3画面 Select an algorithm
アルゴリズムの選択(Select an algorithm): ポップアップメニューを選択して、因果探索アルゴリズムを選択します。
因果探索に用いるアルゴリズムを選択します。
ここではICA LiNGAMを選択しました。
Configuration ボタンを押します。以下の図２２で示すパラメータの設定画面が表示されます。
図２２ Configuration parameters
デフォルト設定のまま、Confirmボタンを押します。
Next stepボタンを押します。
図２３ Step3 アルゴリズムの選択
以下の図２４で示す Step4 画面が表示されます。
図２４ Step4 確認画面
入力内容を確認します。確認画面に、テストに用いるテストデータセットの名称が表示されます。
入力内容に問題がなければ、画面の右下 中央にあるConfirmボタンを押してください。
タスクが正常に終了すると、図２５に示すように、タスク一覧画面に、因果探索の実行結果が、因果探索タスクとして登録されます。下図では項目１０に登録されています。
図２５ タスク一覧
各タスクの行の右端のOperation欄のViewボタンを押すと、タスクの結果をグラフィカルモデルで表示します。(図２６）
図２６ 因果探索結果の表示
探索結果の表示
タスク一覧画面で、タスクの種別がCausalDiscoveryのリストを選択します。Viewボタンを押すと、下の図２７で示すように、ノードを結ぶエッジが表示されます。
図２７ 因果探索結果
これは、因果探索アルゴリズムが探索したDAGを表示しています。
'ViewEdges'ボタンを押します。
ノード間を結ぶ、エッジのリストをパネル表示します。（図２８）
図２８ エッジリスト
パネルのメニューにある、'Edges(True Graph)'をマウスでクリックすると、真のノードを結ぶエッジのリストが表示されます。これはテストデータを生成したときに作ったオリジナルのグラフです。
'TP'(True Positive)を選択すると、正しいノードを結ぶエッジのリストを表示します。オリジナルのグラフと探索結果が一致しているエッジを表示します。
'FP'(False Positive)を選択すると、誤ったエッジ（予測が１で実際は０）のリスト表示します。
'FN'(False Negative)を選択すると、誤ったノードを結ぶエッジ(予測が０で実際は１)のリストを表示します。
エッジの上にマウスを移動させると、ノードを結ぶエッジがハイライト表示されます。5>7という表示はノード５から７へ矢印が向いていることを示しており、ノード５がノード７の原因となっていることを示します。
図２９ ノード５からノード７へのエッジ
Comparison'ボタンを押すと、図３０で示されるように、真のDAG(オリジナルのDAG)が青い線で表示されます。赤の線は探索アルゴリズムの探索結果です。
図３０ 元のデータと探索結果の比較
マウスをエッジの上に移動するとハイライト表示されます。
図３１ ノード２からノード７へ向かう真のグラフ(青線）
図３２ ノード２からノード７へ向かう探索結果のDAG(赤線）
'Cancel Comparison'ボタンを押すと、元の探索結果の表示に戻ります。
図３３ 探索結果
'Select Nodes'ボタンを押すと、図３４で示すように、ノードの選択画面が表示されます。
図３４ Select Node
ノードのチェックボックスを選択し、'Confirm'ボタンを押すと、選択されたノードだけが表示されます。（図３５）
図３５ 選択ノードのみ表示
探索結果の評価
'Evaluatie'ボタンを押すと、評価のための操作パネルを表示します。(図３６）
図３６ Evaluate
Select evaluation indicatorに Select Allのチェックボックスにチェックを入れます。
チェックボックスの項目の意味を以下に記します。
- fdr: False Discovery Rate, rev + FP_TP + FP
- tpr: True Positive Rate, TP_TP + FN
- fpr: False Positive Rate, rev + FP_TN + FP
- shd: Structual Hamming Distance,
- nnz:Non-Negative Entries, TP + FP
- precision:Precision, TP_TP + FP
- recall: Recall, TP_TP + F_N
- F1 : F1 Score,
- gscore: G-Score, max(0, TP-FP_TP + FN)
ここで、TPはTrue Positiveの数、FPは、False Positiveの数、TNは、True Negativeの数、FNは、False Negativeの数、revは、reversed edge(方向の逆転)の数を意味します。
- TP: adjacency matrix（注１）のエントリーが、予測結果が１で、真のエントリーが１の場合に計数されます
- FP: 予測結果が１で、真のエントリーが０だった場合に計数されます。
- FN: 予測結果が０で、真のエントリーが１だった場合に計数されます。
- rev:予測結果と、真のグラフのエントリーの両方が１だった場合で、その方向が間違っていた場合に計数されます。
注１adjacency matrix
gCastleに関する以下のブログ内で示した、探索アルゴリズムのテストプログラムで出力するグラフと同じものです。以下の図のest_graphとtrue_graphで示します。
est_graphがアルゴリズムの予測結果、右のtrue_graphが生成したテストデータが示す真のグラフ True Causal Graphの項目で、二つのラジオボタンが選択できます。下側の use a built-in true causal graphを選択します。
Use a built-in True Causal Graph:に生成したテストデータセットを設定します。プルダウンメニューから生成したデータセットを選択します。
'Evaluate' ボタンを押します。
Performance Indicator 欄に、結果が表示されます。（図３７）
図３７ Performance Indicator
タスクメニューに戻ってタスク一覧を表示すると、評価した結果がPerformance欄に表示されます。
図３８ タスク一覧
