第二次世界大戦の最中に各国はレーダーの探知能力の向上を図りました。これはレーダーに映る影が飛行機なのか？雲や鳥なのか？を見分ける能力です。レーダー監視員の判断が慎重すぎると飛行機の見逃しとなり危機的状況になりますが、反対に敏感過ぎると雲へのスクランブルが頻発し無駄な戦力の消耗や兵士のモチベーション低下に繋がります。判断を誤った時のリスクの大きさで優先すべき判断基準が決まりますが、一方の性能を上げるともう一方の性能が下がるというジレンマがあります。

ROC

識別能力を客観視するためにROC（Receiver operating characteristic）というグラフが考案されました。実際の飛行機の数のうち正しく飛行機だと分類した数の割合と、実際には雲や鳥だった数のうち誤って飛行機だと分類してしまった数の割合を縦横の軸にプロットしたものです。このROCが描く曲線の形状や曲線の下側部分の面積の大きさから分類のパフォーマンスが一目で判ります。

このROCは今日様々な用途で利用されていますが、マシンラーニングでも分類性能を評価する指標として活用されています。曲線が左上に近い形状と線の下側の面積が大きいほどパフォーマンスが高いとされます。一方で原点から右上に延びる直線を描く場合は、当てずっぽうに分類しているのと同じで使い物にならない性能であるという結論になります。

分類の傾向とは？

CTやMRI画像に映る像が腫瘍なのか？これを分類するケースでは見逃しは深刻な結果を招くため避けなければなりません。そのため疑わしきは陽性（この例では腫瘍であるとの判定）に分類する傾向でしきい値が調整されます。そのため陽性の判定であっても実際には偽陽性である場合の確率が上がります。コロナ検査で同様の傾向があったことを思い出します。

反対に見逃しを許容する傾向のチューニングというものもあります。スパムメールの分類がこれにあたります。スパムメールの分類で偽陽性（スパムではないのに迷惑メールトレイに送ってしまう）が頻発するようでは、重要なメールが見落とされてしまう可能性が高まり不便です。たとえ偽陰性（スパムなのに通常の受信トレイに残る）が発生しても使用者が注意すれば、それほど大きな危機にはならないという考えでこのようなチューニングが為されます。

このようにマシンラーニングの分類は目的とデータの出現の確率からチューニングが行われますが、正しい検出を重視すると反対に検出漏れが起こり、検出漏れを防ごうとすると誤検出が発生するというジレンマがあるのです。