機械学習の評価指標である「AUC」とは？初心者向けにわかりやすく徹底解説！
INDEX
皆さんはAUCをご存じですか？AUCは機械学習を行う中で用いる機会が非常に多いもので、評価指標の1つです。そのAUCは評価指標としてどんな特徴があるのか、気になる方も多いのではないでしょうか。
本記事ではAUCに着目し、AYCの概要や特徴、使用するメリットなどを解説していきます。
AUCとは何か
機械学習で用いるAUCとはどういうものなのか、基本的な情報を中心に解説していきます。
AUCの概要
AUCは「Area Under the Curve」の略称であり、ROC曲線で示させる曲線の下部分の面積です。そもそもROC曲線とは何かですが、ROC曲線は「Receiver Operatorating Characteristic curve」と呼ばれ、日本語では受信者動作特性曲線と呼ばれています。
ROC曲線はレーダーの通信工学理論として登場したもので、レーダーのノイズから敵の存在を見つけていくための手法として用いられました。この手法は医療系でよく使われていますが、画像の分類などにも使われています。
AUCは〇か×かなど二値分類モデルが正しく機能しているかをチェックするために用いられます。現実での実測値に比べて、機械学習だとどれほど正確に判定されたのかという部分を、2つの軸に着目しつつ確かめていくのが特徴です。
AUCとROC曲線で出てくる言葉について
AUCとROC曲線の理解を深める中でいくつかの言葉を覚えておく必要があります。ここでは重要なワードをまとめていきます。
TPR
TPRは「True Positive Rate」と呼ばれ、日本語では真陽性率や感度、再現率などで表現されています。ROC曲線における縦軸がTPRです。TPRは真陽性であるTrue Positivesと偽陽性であるFalse Negativesのサンプルをそれぞれ足し算し、陽性だったもので割って出た数値がTPRです。
陽性の割合を視覚的にチェックできるほか、医療の診断や画像分類、異常検知など様々なものに応用できます。
FPR
FPRは「False Positive Rate」で表現され、偽陽性率を意味します。FPRは本来陰性であるにもかかわらず、間違って陽性と判断したものの割合を示しています。二値分類において、FPRが低ければ低いほど、そのモデルは高い性能を誇っていると言えるでしょう。
このTPRとFPRをグラフにしたものがRPC曲線で、X軸Y軸で表現することができます。基本的に数値の範囲は0～1で示されていきます。
AUCはなぜ必要なのか
そもそもなぜAUCは必要なのか、その理由をまとめました。
白か黒かの二者択一で評価しにくいものを評価する
元々AUCは医療の世界で用いられてきたものですが、例えば、病気を抱える人、そうでない人を分類する際に、単純にありなしで分けるのが不適切なケースがあります。病気を抱える人の中でも重さは異なり、現状では病気を抱えていない人でもギリギリの人もいます。
このように〇か×か、白か黒かといった二者択一的な評価が不適切な場合に用いられるのがAUC、ROC曲線です。AUCの場合、最小値が0.5、最大値は1となっており、理想的なのは1に限りなく近づくこと、最悪なのは二等辺三角形的な形です。ちなみに0.9以上が優秀とされ、真ん中の0.75前後が普通、0.7以下になると性能は高くないと言えます。
いわば視覚的にモデルの有能性を示したものがAUCであり、いちいち数値で判断しなくてもAUCに置き換えることで判断することができます。
AUCを用いるメリット
ここからはAUCを用いるメリットについてご紹介します。
モデルの性能評価に活用できる
AUCは、異なる閾値を活用しながらモデルの性能を評価することができます。真陽性か偽陽性かを分けるのは、1つのラインであり、このラインが閾値です。閾値を変化させれば、偽陽性や真陽性の割合は当然変化します。
この変化によってグラフの位置も変化し、その変化によって作られていくのがAUCです。数値だけではパッとわからないものの、ROC曲線を作り上げていくと性能の良しあしが分かるようになります。
不均衡データにも対応している
機械学習、特に分類問題を行う際に問題となるのが不均衡データの問題です。二値分類で機械学習を行う際、均等であることが望ましいとされ、できるだけ均等のデータを使って訓練を行い、均等になることをチェックします。
しかし不均衡データはどちらかに偏っている分、正しい学習につながらない可能性を秘めています。精度も落ちやすく、不均衡データに左右されて指標に悪影響を及ぼすこともあります。そんな中でAUCは不均衡データであっても精度をさほど落とすことなく評価ができるため、不均衡データを活用する場合に信用を得やすいものと言えるでしょう。
閾値に左右されにくい
AUCはそもそもROC曲線の面積を示したものであり、面積さえ分かってしまえばいいのです。つまり、閾値に左右されることなく計算ができるため、特定の閾値ではどうだったかなどの評価は必要ありません。
閾値に左右されにくいということにより、モデルの性能を幅広く比較していくことが可能になります。医療など以外にもマーケティングでもAUC、ROC曲線は用いられており、使い勝手のいい評価指標であると言えるでしょう。
AUCの課題
ここからはAUCに関する課題についても解説していきます。
二値分類以外ではすぐに使えない
二値分類であればすぐに利用でき、グラフにしていくことができますが、多クラス分類においてはすぐには利用できないというのが難点です。多クラス分類とは3つ以上のクラスの中の2つをピックアップして分類していくもので、その組み合わせは5つのクラスなら10通り、6つなら15通りと増えていきます。
多クラス分類においてはまず「One vs Rest」、通称OvRでそれぞれの組み合わせにおいて示し、それぞれでROC曲線を作り、AUCを出していきます。これをグラフにするとかなり複雑になり、評価指標として判断するのは大変です。
多クラス分類では他にもマクロ平均とミクロ平均を活用してようやく評価指標の評価ができるようになります。加工に時間がかかるのがROC曲線、AUCの課題と言えます。
グラフにする必要がある
確かにAUCは視覚的にわかりやすく、面積で示せばよりわかりやすいのが魅力です。しかしながら、ROC曲線として示していかないことにはAUCの計算はできません。AUCを算出するのにROC曲線は必須です。
グラフ自体はそこまで描くのが大変というわけではないですが、手間であることは確かです。わざわざその手間をかけてまでグラフにすべきかどうかというポイントは出てくるでしょう。
AUCの値が同じでも信用度が異なることがある
基本的にAUCの値でそのモデルの評価を行うことができますが、いくつかのグラフを用いて、偶然同じ数値になったとします。この場合、同じ数値で一致したものが信用度的に同じかという問題になりますが、実は同じとは言えません。
例えば、猫と犬を分類するとします。猫よりの閾値だと確実に猫と分類していたのに特定の閾値からは猫と犬の分類を間違い始めるようなグラフ、猫よりの閾値でも犬と間違えることがあるのに犬よりの閾値だと絶対に犬と判断していくグラフ、それぞれあったとします。
この2つのAUCが同じだった場合、信用度が全く同じかと問われれば全くそのようなことはないと言えるでしょう。いわばそれぞれに特徴があり、確実に猫を当ててほしい場合、犬を当ててほしい場合などそれぞれの特徴があり、それに応じて活用していくことが可能です。
つまり、AUCの数値だけで判断するのはあまり好ましいとは言えず、どのようなカーブを描いているのかをチェックした上で信用度を推し量っていくことが求められます。
医療の世界で用いられるAUC
AUCは幅広い世界で用いられますが、当初から積極的に活用されてきたのが医療の世界です。陽性・偽陽性などいずれも医療の世界で用いられる言葉であり、様々なもので用いられています。
血中濃度曲線
薬を服用した際に、薬の成分が血中にどれだけ存在するかを示す曲線があります。これを血中濃度曲線と言います。血中濃度曲線はいわばROC曲線と同じ意味を持ち、最高血中濃度、最高血中濃度に到達する時間、半減期などがグラフで示されています。厳密には今までご紹介したAUCの形とは異なりますが、非常に欠かせないグラフです。
血中濃度曲線以外にも医療の世界ではAUCが幅広く使われています。感度が高い検査かそうでないかをグラフにすると、おおよその傾向が出ると言われています。どの分野においても便利に活用できるのがAUCです。
まとめ
AUCやROC曲線は機械学習を学ぶ上で割合初期の方に学習していく内容ですが、そのメカニズムや指標の捉え方などは感覚的にわかりやすいと言えます。近年では新型コロナウイルスのPCR検査などでもROC曲線やAUCが出てくるなど、医療の世界でも頻繁に使われています。
機械学習を行っていく中では評価指標としても比較的優秀な部類であり、活用方法さえ間違わなければ十分に利用できるものです。AUCにはAUCならではのメリットがあると同時に課題も存在します。メリット・デメリットそれぞれをチェックする中で、理解度を深めていきましょう。
さらに、今注目を集める生成AIリスキリングの第一歩を。生成AIパスポートとは？
生成AIパスポートは、一般社団法人生成AI活用普及協会（GUGA）が提供する、AI初心者のために誕生した、生成AIリスクを予防する資格試験です。AIを活用したコンテンツ生成の具体的な方法や事例に加え、企業のコンプライアンスに関わる個人情報保護、著作権侵害、商用利用可否といった注意点などを学ぶことができます。
⽣成AIの台頭により、AIはエンジニアやデータサイエンティストといった技術職の方々だけではなく誰もがAIを使えるようになりました。今、私たちがインターネットを当たり前に活用していることと同様に、誰もが生成AIを当たり前に活用する未来が訪れるでしょう。
そのような社会では、採用や取引の場面で、生成AIを安全に活用できる企業・人材であることが選ばれる前提条件になり「生成AIレベルの証明」が求められることが予測できます。生成AIパスポート試験に合格すると、合格証書が発行されるため、自身が生成AIを安全に活用するためのリテラシーを有する人材であることを、客観的な評価として可視化することが可能です。
ぜひあなたも生成AIレベルを証明し「生成AI人材」に仲間入りしましょう！
