Cloudmark

アンチウイルス問題に協同的なアンチスパム技術を応用する

Tweet (287KB)ホワイトペーパーをダウンロードする

コンテンツ

1. 抄録
2. はじめに
3. 通常のアンチウイルスおよびアンチスパム方法論
4. アンチスパムおよびアンチウイルス技術へのモチベーション
5. Cloudmark Authority と協同的なフィルタリング
6. Cloudmark Authority のアンチウイルスシステム
7. 協同的なアンチスパムをアンチウイルスに応用する
8. Cloudmark Authority アンチウイルスのパフォーマンス
9. アウトブレイクの進化をトレースする
10. 結論
11. 謝辞
12. 参考文献

抄録

スパムと闘うために利用できるな最も有効な技術の一つは協同的なフィルタリングの範囲を広げた応用であり、一つのコミュニティのメンバーがスパムメッセージを識別して投票するものです。個人ユーザーが高精度でスパムと正当メールの違いを判定できるという前提のもとに共同的なシステムが構築され、すでに効果が証明されています。しかし、これはメールを介したマルウエアの脅威にも当てはまることかどうかについては明らかではありません。正当メールのように見えるものに添えられた悪意のある添付ファイルが唯一の目印であることが多いためです。もともとはアンチスパム用に設計された協同フィルタのアンチウイルス問題への応用に成功したケースのデータと解析結果について報告します。また、2006年初期の CME-24 のアウトブレイクを含む特別なケーススタディの結果も報告します。ウイルスをフィルタリングする場合に、協同的なフィルターが有効であることだけでなく、コミュニティがウイルスを検出した数分後に、フィルタリングを開始して、誤検出は非常に低かったことを私たちは報告します。

はじめに

コンピューターユーザーが「急速に進化する脅威」などの表現がもはやセンセーショナルとは考えられてはいない危険な世界でオペレーションを行っていることは広く認識されています。新たな脅威の名前のように単純なものから頻繁に発生する混乱により、最新の脅威に遅れをとらないようにすることは、コンピューターのセキュリティプロフェッショナルにとって難しくなっています。この問題はあまりに深刻になってきたことから、米連邦政府は MITRE の契約業者を通して Common Malware Enumeration イニシアチブの形成を通じネーミングスキーマを調停し標準化しました。ドメインエキスパートがペースを維持しようとすると一般ユーザーは混乱の世界に取り残されてしまいます。

家庭ユーザーが10年以上前に直面したセキュリティ問題は今日直面しているものとはかなり異なるものです。一般に、ウイルスや他の悪意のあるコードは感染したフロッピーディスクを通じて増殖しました。ウイルスの伝播は遅く、物理メディアが移動する早さに限られていました。封じ込めという観点からすると、ウイルス伝播が遅いということは、アンチウイルスコミュニティが、ソフトウエアアップデート配信の標準的なルートを通じてウイルスを封じ込め管理できることを意味していました。

経験的実証およびウイルス増殖の改良された解析モデルの両方がウイルスの伝染は低い伝播率に頼るだけでは防げないことを示しています。ソフトウエアがより複雑になるにつれて侵害されやすくなりました。この極度に複雑なソフトウエアの一般大衆による採用は普及するネットワークとともに、ウイルス増殖率を劇的に増加させ、潜在的に無防備な標的ソフトウエアの数を拡大させてきました。メールウイルスなどの人間のソーシャルネットワークにまたがって増殖するコンピューターウイルスはどれでも流行する可能性があることが、ソーシャルネットワークの動作をより良く理解することにより明らかになっています。 [1].

これらの試練に対応してコンピューターセキュリティ業界はかなり進化してきました。市場には何千ものセキュリティ製品があり、あらゆるタイプの環境でのあらゆるタイプの脅威に対して防御するために数百のフォームファクターが利用できます。ネットワークファイヤーウォール、認証システム、暗号化システム、アンチウイルスツール、およびアンチスパイウエアツールはほぼ世界中で展開されています。これらの利用可能なテクノロジーの全てをもってしても、オペレーションセンターで働く小さなセキュリティチームよりもインターネットセキュリティ攻撃のほうが早く広がるため、ウイルスやマルウエアの問題は存在し続けています。

スパムについて考えてください。通常のセキュリティの定義では、スパムは認証されていないサービス、すなわち私たちの受信ボックスへの権限のないアクセスとなっています。しかしながら実際面では、メールボックスは望まないメッセージで毎日詰まっていることを私たちはみな認識しています。通常のセキュリティソリューションがスパムやウイルスのイノベーションスピードによって凌駕されてしまっている証拠をユーザーはスパムやウイルスを含んだメールの量の中に毎日見ています。本著者たちがメンバーであるメッセージセキュリティ業界を含むサブ業界全体がこれらの２つのセキュリティに対する脅威との戦いを繰り広げてきました。

通常のアンチウイルスおよびアンチスパム方法論

通常のアンチウイルスソフトウエアは基本原理に基づいて動作します。このソフトウエアは機械に入ってきた各ファイルを調べ、それぞれに一意の署名を作ります。この署名はついで既知のウイルスの署名データベースと照合されます。エンジニアはこれらの署名を作るためにコンピューターウイルスのサンプルを隔離し解析します。署名が正当なソフトウエアと衝突することなくウイルスの系統だけを認識することになれば理想的です。データベースが頻繁にアップデートされ署名が十分に選択的であれば、全てのウイルスは害を及ぼす前にフィルターにかけられてシステムから排除されるでしょう。そうでない場合は危機的なシステムソフトウエアに悪性フラグがつけられるか、逆にウイルスの変異体がフィルターを回避する可能性があります。このトピックを徹底的に扱ったものに Szor の The Art of Computer Virus Research and Defense があります[2].

アンチスパム業界は３つの主要な方法論に落ち着いてきました:

1. ネットワークレイヤー解析
2. 経験則と機械による学習
3. フィンガープリント法

アンチスパムおよびアンチウイルス技術へのモチベーション

ウイルスとスパムはどちらも当社のコンピュータに来る求められていない、また望まれないコンテンツですが、いくらか互いに異なるエコロジーの中に存在しています。スパムとウイルスの作成をさせる下地にある社会的および経済的要因は根本的に異なることを私たちは見出しています。その結果、現れたスパムとウイルスの脅威は別個であり、テクノロジストによって別個に対処されてきました。増殖を引き起こす以下の相違点についてスパム対ウイルスの図式で考察してみてください。

ウイルス作成者は一般にコンピューターを標的にするのに対し、スパム作成者は一般にマインドを標的にします。古典的なコンピューターウイルスの目標は、ある指定された日にハードディスクの全ファイルのオペレーティングシステムによる削除を引き起こすなどの、ソフトウエアの実行を変更することです。スパムの目標は製品購入など、ユーザーに特定の行動を促すことですが、フィッシングの場合は銀行口座情報を返信させることにあります。

ウイルスを作成できる人よりもスパムを作成できる人のほうが多数派です。一般大衆に比べてウイルス作成者は極度にコンピューターに熟達しています。ウイルス作成者は攻撃を拡大するためにオペレーティングシステム内の新たな弱点を見つけるか、あるいは既存の弱点を認識します。既存のウイルスを単に変更または変異を起こさせることでさえコンピューターコードの理解を必要とします。対照的に、スパム作成者は市場の売買人です。スパムメッセージの作成に必要なスキルはメールを書くことあるいはグラフィックを描くのに必要なものと同じです。これらのスキルを持った人の数は非常に多いのです。

これらの二つの要素を組み合わせるとウイルスの変異よりもはるかに多くのスパムの変異につながります。ウイルスを認識できる人よりもスパムを認識できる人のほうが多数派です。どのメッセージがスパムでどのメッセージがスパムではないかについての一般の人たちの意見はコンテンツの性質の正確な描写を形作り、以下で詳細を述べるように正確なアンチスパムフィルターを作成するのに利用されます。

Cloudmark Authority と協同的なフィルタリング

通常のアンチウイルスソフトウエアはバイナリーソースからコンピューターウイルスの署名を抽出する高度に熟達したエキスパートのチームに依存しています。経験則エンジンを使うアンチスパムソリューションは正規表現を作成する同様のエキスパートチームに依存しています。代わりに、通常スパムは比較的認識しやすいことから、私たちはメールリーダーの巨大なプールを使ってスパムと正当メールを識別し、ついでメッセージとその変異体を正確に認識する正確で直行のフィンガープリントを作成することができます。これは協同的なフィルタリングに基づくアンチスパムソリューションの作成を可能にし、その中では大人数のメールユーザーがグループとして各メッセージをスパムまたは「スパムではない」メッセージとして指名することでメッセージの性質を決定できます。通常のアンチウイルス対策のケースのようにエキスパートがウイルスの特徴を認識し抽出するのを待つよりも、協同フィルタリングアンチスパム技術はことわざにある「群集の英知」を活かしどれがスパムでどれが「スパムでない」のかすばやくそして効率的にフラグを立て、そしてこれらのフィンガープリントに関連したメッセージを自動的にフィルターにかけることができます。

Cloudmark Authority のアンチウイルスシステム

ユーザーのデスクトップ上にあるエージェントが新しいメールのフィンガープリントを計算しこのフィンガープリントを：

1. Spam Fingerprint Catalog サーバーに提出します。もしこのカタログサーバーがそのデータベース内にそのフィンガープリントを持っている場合には、サーバーはユーザーに
2. そのメッセージがコミュニティによってスパムとしてフラグを立てられたと伝えます。もしそのフィンガープリントがカタログサーバー内になく、また受信者がそのメッセージがスパムだと感じる場合には、受信者はそのフィンガープリントを送ります
3. Nomination サーバーに伝送するよう指示し、Nomination サーバーはそれを受けてデータベースにフィンガープリントを挿入します。
4. Cloudmark Trust Evaluation System(TES)が継続的に監視
5. Nominationデータベースを監視して、信頼のおける複数のメール受信者から送信された新たなフィンガープリントがあるかどうかを確認します。

十分にな数の信頼されている受信者から同じフィンガープリントが送信されると、そのフィンガープリントはCatalogサーバーにアップロードされ、処理が続行されます。システムは人間の報告者のみに依存しているわけではありません。しばしば「おとり」がコミュニティに仕掛けられ、高ボリュームの人間のレポートとまったく同じように扱われます。Cloudmarkの「おとり」の即時反応と幅広い視野は、精度を向上させ、人間からの応答数を減らしています。

Cloudmarkの包括的サーバー、Cloudmark Network Classifierが基準にしているコンセプトは比較的単純です™[3]。まず、受信メールから採取された一連のフィンガープリントがユーザーから送信されます。その中に悪意のあるコンテンツのカタログ中にすでに存在するフィンガープリントがあれば、そのメールはスパムであるとユーザーに知らせ、そのユーザーのスパムフォルダに移動されます。データベースにないフィンガープリントであっても、ユーザーがその内容からしてスパムだと考えれば同様に扱われ、そのフィンガープリントがデータベースに追加され、新たなフィンガープリントとして仮に保管されます。コミュニティメンバーの一定人数がその内容はスパムであると同意すれば、そのフィンガープリントはスパムカタログに移動され、処理が続行されます。

タイミングよくスパムだと正しく認識したコミュニティメンバーは、フィンガープリンティングコミュニティの信頼のおけるメンバーとして迎え入れられます。そのメンバーのフィードバックは、信頼度レートが比較的低いコミュニティーメンバーよりも重視されます。逆に、報告が正確でなければ、その報告者のレベルは下げられ、以後意見の重要度は低く扱われます。この過程は非常に早く、新たにスパムであると識別されフィルタリングされるまでの間はものの数分です。誤判定レポート(正当なメールが誤ってスパムであると識別された場合)は即刻識別され、信頼度の高いユーザーの大規模コミュニティによってブロックが解除され、最初の報告者の信頼レートは大幅に下げられます。

協同的なアンチスパムをアンチウイルスに応用する

ウィルスやスパムの作成者であると差別化するスキルについての考えは、過去5年間の間に消えつつあります。簡単に悪用が可能なソフトウェアパッケージの数は減少しているため、ウィルス作成者はメールでウィルスを送信したり、マルウェアが含まれた添付ファイルを開くよう受信者に促す試みを行っています[4]。また、高レベルなプログラミング言語とそれによるウィルスコードのオープンソース配信によって、すでに存在しているウィルスコードをこれまでの署名を回避できる程度にまで、初心者でも容易に修正できるようになっています。よく検出されるMyDoomやMyTobの複数の変種が際限なく我々の受信箱にまで伝播してきていると考えられています。

メールウィルスはスパムメッセージと共に配信されることが多くなっていますが、スパムの目的は、受信者にウィルスを開くように仕向けることにあります。コラボレーティブコミュニティでは添付ファイル自体がウィルスだと判断する必要は実際にはなく、メッセージにはスパムのようなものが含まれていると認識すれば十分です。添付ファイルを抽出して、アルゴリズムでそれがコンピュータコードの一部であると判断し、コンピュータウィルスシグネチャのリストに追加してコミュニティがスパムであると取り上げたものは、バックエンドシステムによってすべて収集されます。メール添付ファイルの前に来るスパムのビットを検証することによって、コミュニティは大規模な分散型アンチウィルスの研究機関になることができます。そうなれば、野放しになっている新たなウィルスを素早く識別することが可能です。

コラボレーションフィルタリングを使用したてウィルスへの対抗は理論上それほど目新しいことではありませんが、実際には革新的な変化です。研究者はコラボレーションフィルタリングテクニックを、ウィルスやワームを軽減する上での重要な要素として議論してきました[5]。スパムを潜在的に認識できるようになったコミュニティは、ウィルスも同様に識別できます。コミュニティに属する個人個人がコンテンツはフィルタリングすべきものだと認識していれば、シグネチャスキーマを生成してコンテンツのフィンガープリンティングを行うことができます。例えば、メールの添付ファイルとして着信する実行可能ファイル固有のフィンガープリンティングを生成することが可能です。メールの内容がスパムであると認識した受信者は、メールと添付ファイルの両方のフィンガープリンティングをCloudmarkのバックエンドに送信できます。

ウィルスがスパムより先に発生した場合はどうなるのでしょうか。大規模企業顧客が利用しなくなったアカウントを利用して拡大した「おとり」プールは、新たなウィルスを検出する効果的なセンサーネットワークとして機能します。また、コ過去に発生したウィルス対策の知識を有するコミュニティメンバー個人が、新たなウィルスのサンプルをバックエンドに送信します。

発生ウィルスの大多数に必要なフィンガープリントは一つだけで、それを使って該当ウィルスとその変種をカバーできますが、一部のウィルスは、それらの変種をカバーするのに多数のフィンガープリントを必要とします。

フィンガープリントベースのアンチスパムスキーマの目的は、確率的アルゴリズムか決定性アルゴリズムのいずれかを利用してスパムメッセージ中の不変部分を特定し、その中からフィンガープリントを抽出することにあります。Cloudmarkは現在、7種類のフィンガープリンティングアルゴリズムを使用していますが、これらのアルゴリズムは直交解析法を利用して不変情報の識別とエンコードを行っています。当社のアンチスパムフィンガープリンティングの大多数はバイトレベルで作動し、コンテンツ、エンコーディング、フォーマットにとらわれないようにしています。これらだけで、x86実行可能ファイルと、スクリプトや解釈言語ウィルスをカバーするという高成績を残しています。

実行可能でないファイル固有のフィンガープリンティングスキーマは、ウィルス追跡に関しては非常に有効であることが判明していますが、Cloudmarkは、x86バイナリ用の特殊フィンガープリンティングを開発しました。これは、バイナリのコード部分から指示を抽出する一方、重要でない指示はスキップするものです。このフィンガープリンティングスキーマは実行可能ファイルを分解し、コードの不変部分と想定される部分を抽出します。これらのアルゴリズムは、同一の多様性を有するフィンガープリントを、人間が生成するフィンガープリントとして生成することはできませんし、ある一つのウィルスから発生したと見られるすべての変種にマップすることも不可能です。しかし、悪意のあるコンテンツと無害なコンテンツのフィンガープリントが一致(交差分類一致)する可能性は低く、大規模な自立システムに含めることは十分可能です。図2に示すとおり、ウィルスの大多数は一つのシグネチャでカバーされますが、一部のウィルスは10を超えるシグネチャがないとすべての変種をカバーすることができません。

Cloudmark Authority アンチウイルスのパフォーマンス

コラボレーティブアンチウィルスソリューションのテストを実行することは容易ではありません。新たなウィルスが定常的に流動していないと、その主なパフォーマンス測定基準を定めることができないからです。特に、新たなウィルスをカバーする監視時間と、ソリューションの利用頻度を比較した場合に。当社では、公開して利用可能な製品がコミュニティによってウィルスであると識別されたバイナリに「ラベルを付与」するまでにかかる時間を精査することによって、当社のアプローチのカバー範囲を測定しています。メールからのフィンガープリントレートを計測し、ウィルス発生の基準プロファイルを調べることによって、当社のウィルスフィンガープリントのタイミングを推測することも可能です。グローバルな感染の試みの増加が見られず、システムへの悪影響が確実に減少していったとすれば、当社のウィルスフィンガープリントの発行が遅すぎたために効果を発揮できなかったということになります。

図3に示したように、新たなフィンガープリントの80パーセントが、Cloudmarkコミュニティで識別された時点でオープンソースのClamAV製品にとって目新しいものでした。そのうちの80%が最初はClamAVで識別されず、2日後に識別されなかったものが半分以上でした。同様な遅延がテストしたそのほかの製品でも見られました。AV産業は、一時間以内の出現防止を必要としているため、複数日のギャップはもはや許されなくなっています。

アウトブレイクの進化をトレースする

Cloudmarkネットワークでフィンガープリントが見つかれるまでの時間を記録することが、いつフィンガープリントを「リタイア」させるか、つまりシステムから取り除くかを決定する際の重要な基準です。この設計のメリットは、ウィルス防護までの経過時間を見積もることができる点です。つまり、伝染攻撃に関連付けられたフィンガープリント数がクライアント側のソフトウェアでチェックされるまでの時間長をトラッキングすることを意味します。世界中の感染システム数を計測する直接な手段にはなりませんが、一般的なウィルスの伝染から排除までのライフサイクルを監視する手段としてはこれで十分です。

新たな変種のレポートはほぼ毎日受けますが、ウィルスが出現してもその大多数はメディアやセキュリティ業界の注目を浴びるのには不十分であることが一般的な傾向で、その結果当社の見解を立証する機会が限られてきます。CME-24の出現が、公的に議論されたメールワームイベントのライフサイクルをトラッキングする最初の機会となりました。

図4は、当社のユーザーが監視してきた一般的な感染伝播攻撃のプロット図です。このグラフは、当社の顧客が最初に気づき、ウィルスをブロックした旨の十分な数のレポートが送信された時点、具体的には2006年1月16日13:08(GMT)が出発点になっています。出現が最大2日も遅れた地域もありました。ユーザーの個人的なファイルを破壊するためにデザインされた危険の可能性ある新しいワームについてメディアレポートが浮き彫りになり始めたのは2月3日でした。この時点が頂点であっても、伝播攻撃はかなり少ない数しか記録されませんでした。ウィルス伝播攻撃に気がついたCloudmark Authorityのアンチウィルスユーザーは0.25%未満でした。のちにメディアレポートは、その出現は非常に大きな問題であったと認めました。

結論

従来のアンチスパムシステムもアンチウィルスシステムも、常に自身のシステムをチューニングしており、新たなシグネチャを追加して、大量メール送信者やウィルス作成者からの脅威の拡大に対処しているえり抜きの専門家の知識に依存しています。当社が過去5年間に成し遂げたことは、コラボレーティブフィルタリングパラダイムを、スパムとウィルスの両方に対して非常に良く機能させてきたことです。さらに重要なのは、スパム環境の経済的な変化が、新たな脅威を迅速に取り込んでいくことのできるソリューションの必要性を将来生み出すことです。現在のところ、コラボレーティブフィルタリングアーキテクチャがこうした新たな展望に最も適した唯一のものであります。

コラボレーティブフィルタリングアーキテクチャは、ウィルスやスパムに対抗することに限られるものではありません。コミュニティの個人によって認識される、フィッシング、スパイウェア、そしてその他のセキュリティに関する問題を解決することができます。そのためには、これらの脅威に対するコミュニティの共通認識を活用するという包括的なコンセプトを用いることが必要です。セキュリティの脅威を解消するための時間が短縮されつつある中、Cloudmark Network Classifierなどのコラボレーティブセキュリティフレームワークは、顧客が要求するタイムスケールに必要なセキュリティレスポンスを行う唯一の手段と言っても過言ではないでしょう。

謝辞:

本文書の著者は、CME-24感染プロファイルについてのデータ収集作業を担当したJason Harbert氏、編集助手であるSophy Ting O'Donnell氏に感謝の念を表します。

参考文献:

1. Y. Wang, D. Chakrabarti, C. Wang, and C. Faloutsos, \'Epidemic spreading in real networks: An eigenvalue viewpoint,\' in 22nd Symposium on Reliable Distributed Systems, IEEE Computer Society, October 2003.
2. P. Szor, The Art of Computer Virus Research and Defense. Addison-Wesley Professional, 2005.
3. V. V. Prakash and A. O\'Donnell, \'Fighting spam with reputation systems,\' Queue, vol. 3, no. 9, pp.36–41, 2005.
4. L. Birdwell, \'10th annual computer prevalence survey,\' tech. rep., ICSA Labs, 2004.
5. D. Moore, C. Shannon, G. Voelker, and S. Savage, \'Internet quarantine: Requirements for containing self-propagating code,\' in Twenty-Second Annual Joint Conference of the IEEE Computer and Communication Societies (INFOCOM), pp. 1901–1910, March – April 2003.

(287KB)ホワイトペーパーをダウンロードする トップに戻る