「ウイルス検出率」だけで製品を選ばないで――評価機関が勧めるポイント（1/2 ページ）

数あるセキュリティ製品の中から最適な製品をどのように選ぶか――。セキュリティ製品の性能評価を手掛ける第三者機関のAV-Comparatives.org、NSS Labs、AV-Test.orgにポイントを聞いた。

　セキュリティ製品の代表的な存在であるウイルス対策ソフトは、数十種類が存在し、どの製品を選べば良いか迷うコンピュータ利用者が少なくない。参考指標の1つに「ウイルス検出率」があるが、近年は脅威が複雑化し、ウイルス検出率だけでは製品の性能を正しく評価できないという。ユーザーが製品を選ぶ際にどのような点に注目すべきか――。

　ウイルス検出率をはじめとしたセキュリティ製品の性能評価を手掛けるオーストリアの第三者機関AV-Comparatives.org、ドイツのAV-Test.org、米NSS Labsに、評価方法やユーザーへのアドバイスを聞いた。また、評価機関とベンダーのかかわりについてTrend Microが語ってくれた。

Trend Microのレイモンド・ゲネス最高技術責任者（CTO）、AV-Comparative.orgのペーター・シュテルツハマー副会長、NSS Labsのリック・モイ会長、AV-Test.orgのマイク・モルゲンスタンCTO（左から）

　ウイルス検出率は、ウイルス対策ソフトがマルウェアを検出できる割合を調べたものである。従来は評価機関がベンダー各社の定義ファイルを用いてサンプルのマルウェアをどれくらい検出できるかを調べていた。今ではマルウェアの感染原因が多様化し、同時に幾つものマルウェアに感染するケースが一般的だ。定義ファイルだけですべてのマルウェアを検出するのは不可能であり、ベンダー各社はマルウェア特有の動作を検知したり、不正なWebサイトへの接続を遮断したりするなど、製品に複数の技術を搭載してユーザーを保護している。

　セキュリティ業界内には、従来の評価手法ではウイルス対策ソフトの性能を正しく評価できないという意見が多い。また、ウイルス検出率の結果を製品のPRに利用するベンダーもある。「評価機関の情報がベンダーに都合の良い形で使われているのではないか」と疑問を感じるという関係者も少なくない。

評価手法は公平

　まず性能評価に用いられるマルウェアについて、AV-Comparative.org、NSS Labs、AV-Test.orgではベンダーから提供を受けることはなく、独自に収集している。ベンダーから提供を受けたサンプルでベンダーの製品を評価しても意味がないのではないかという業界の指摘に答えたものだ。

　各機関は、「ハニーポット」と呼ばれるセキュリティ対策をしていないPCをインターネットに接続してマルウェアに感染させる方法や、ユーザーへのヒアリングから実際のコンピュータの利用シーンを再現してマルウェアに感染させる方法で収集している。例えばAV-Comparative.orgでは、60台のハニーポット（うち2台は日本）を設置しており、過去9カ月に出回ったマルウェアだけを性能評価に用いているという。

　具体的な評価手法は3機関で異なり、毎回違う観点で行っている。NSS Labsの場合、100台のPCを毎日8時間程度、10〜14日にわたって動作させ、製品ごと、また、定義ファイルやURLフィルタリングといった個別の対策機能について性能を検証し、個別の機能評価と製品としての総合的な評価を行っている。各機関とも評価手法や方針については、ユーザーやベンダー、学術機関の有識者といった第三者を交えて検討し、公平性の確保に努めている。

　基本的な評価手法は年に何度か見直しを行い、その時点におけるコンピュータを取り巻く脅威の状況を評価手法に反映させている。各機関ではPCセキュリティ製品以外にも、ファイアウォールやIPS、UTM（統合脅威管理）といったネットワークセキュリティ製品の性能を評価している。評価手法の見直しは対象とする製品カテゴリーによっても異なり、NSS Labsは3〜6カ月ごとになるという。

　AV-Comparative.orgとNSS Labsは評価の結果を一般に公表しているが、AV-Test.orgは公表していない。AV-Test.org最高技術責任者のマイク・モルゲンスタン氏は、「調査の依頼者に提供しており、ほかの評価機関とも情報を共有している。手法の検討や結果分析には外部の専門家も参加しているので、調査自体はオープンだ」と話す。