異常検知をディープラーニングで実現～AutoEncoder～

　

---

---

　

異常を検出する、と一言で言っても本来は難しい仕事です。

「異常」の状態は様々で、想像もできないことがあるからです。

例えば異常気象、機械の故障、人の病気は、既に知っている異常ならば学習して検出することができます。異常の記録や画像をディープラーニングで学習し、以後のチェックを行うといった形です。

では、知らない故障や病気は検知することができないのでしょうか。

方法があります。ディープラーニングで可能です。

　

　

異常検知の考え方

　

ずばり、いつもと違う事象を検知するという方法です。

異常な状態が定義できないのなら、通常の状態を定義しておき、それ以外は全て検知してしまうという考え方です。アノマリー（普通でない）検知とも言います。

ディープラーニングで通常の状態を学習し、通常でない状態が来たら判別するという仕組みを利用します。

これには、AutoEncoder というディープラーニングのモデルが適します。AutoEncoder はデータの特徴を捉えることに特化したモデルだからです。

　

AutoEncoder

　

AutoEncoderを抽象化したのが下図です。

　

　

同じ種類で統一したデータを入力し、出力として同一のデータを生成させます。データは画像、音声、ログなどでも構いません。

AutoEncoderの内部ではデータを圧縮しており、これにより多くのデータに共通した特徴をとらえることができます。

こうして学習したAutoEncoderに新しいデータを入力した時、学習時と似ているデータであれば生成が可能であるし、差が大きなデータであれば生成結果が良くないことになります。

生成結果を数値化して正常／異常と判断するのが異常検知の仕組みです。

　

プログラムとデータ

　

環境の準備がまだの人は、この記事を参照して準備してください。

AIを作ってみよう：環境の準備から

　

それでは実際にAutoEncoderプログラムを動かしてみましょう。

難しい解説は省きます。コメントを参照して大きな流れだけ理解してください。

メモ帳を開き、下のプログラムをコピペし、ファイル名を「ae_anomaly.py」として保存してください。

　

　

下は学習用データです。同じくコピペしてファイル名「train_data.csv」で保存してください。

この内容は何の意味もない数字の羅列ですが、「通常」を表すために、できるだけ近い数値で少し変化をつけています。

　

　

下は予測用データです。同じくコピペしてファイル名「test_data.csv」で保存してください。

１行目のデータはできるだけ学習用データに近いものを、２行目のデータは通常より高めの数値にしてあり「異常」を表しています。

　

　

実行

　

PCの環境準備がまだの人はこちらを実施してください。　AIを作ってみよう：環境の準備から

プログラムとデータが保存できたら、下記のように実行します。

　

　

いかがでしょうか。異常なデータに対して異常値が出たでしょうか。

異常検知をできるだけ簡単に具体化してみました。

このプログラムは汎用的で、これを骨格としてカスタマイズし様々な仕事に応用できると思います。

今回は数値ログで試しましたが、画像や音声といったデータでも異常検知が可能です。その場合は入力データサイズを大きくするなどの調整が必要です。

　

通常でない事象を全てチェックするという仕組みは、異常な状態が分からない場合に有用ですから、覚えておいて損はありません。