メール訓練のクリック記録と本人の操作をどう区別するか。自動スキャンや報告後の処理を調べる照合項目、事前テスト、原集計と未確定件数を残す報告例を解説します。
メール訓練の結果を共有したところ、「リンクをクリックした覚えがない」という申告があった。配信直後に多くの対象者へクリックが記録されていた。こうしたとき、記録だけで本人の不注意と決めたり、申告だけで結果を取り消したりすると、次の訓練でも同じ疑問が残ります。
必要なのは、クリックという観測記録と、誰が何をしたかという判断を分けることです。本記事では、原集計を残しながら自動スキャンの影響を調べ、未確定の結果も含めて説明するための手順を提案します。訓練全体の進め方や報告率の考え方は、標的型メール訓練の実施手順と効果測定を参照してください。
クリック記録は、本人のクリックを常に証明するわけではない
Microsoftは、同社のAttack simulation trainingで、セキュリティ製品やアプリケーションによる検査が、利用者による手動操作なしでもクリック記録を生む場合を説明しています。転送・報告後の処理も確認対象です。また、訓練のURLに対する行動が別のログであるUrlClickEventsへすべて記録されるとは限りません。したがって、別ログに見当たらないことだけで「クリックしていない」とは判断できません。これは同社製品の仕様説明であり、利用中の訓練製品やメール基盤では個別に確認が必要です。出典：Microsoftの導入上の考慮事項とFAQ
確認の出発点は「怪しい記録を消すこと」ではありません。誰も操作していないときにも同じ記録が生じるのか、人の操作と検査処理が同じ対象者の履歴に混ざっていないかを調べます。以下は、そのためにヤグラが提案する運用上の整理です。特定製品の自動判定機能や公式の推奨手順を示すものではありません。
1. 結果を補正する前に、原集計と条件を保存する
最初に、調査対象となる訓練の元のレポートを保存します。画面の数値だけでなく、取得日時、集計期限、対象者の範囲、配信不能の扱い、同じ人の複数イベントをどう数えたかも記録してください。レポート更新の遅れや、取得タイミングの違いによる差を、誤判定と混同しないためです。
「クリックイベントが10件」と「クリックが記録された対象者が10人」は異なります。同じ人に検査処理が3回走れば、イベントは複数でも対象者は1人です。今回の指標が件数なのか人数なのかを先に固定し、調査の途中で単位を変えないようにします。
後から判断が変わっても、元の数値を上書きして失わないようにします。調査用の記録には修正前後、変更した理由、確認者、確認日を残します。利用中の製品に結果を訂正する機能がない場合も、正式なレポートと調査結果を紐づけて管理すれば、説明の根拠を保持できます。
2. イベントを照合するための8項目をそろえる
次の項目を、権限のある担当者が確認できる範囲でそろえます。すべての製品が同じ情報を提供するとは限りません。取得できない項目は「未取得」と記し、空欄から結論を作らないことが大切です。
訓練と対象者の識別情報：別の配信回や別の対象者を混ぜないためのID。
配信とイベントの時刻：タイムゾーン、到達時刻、クリック等の記録時刻。
イベントの定義：URLへのアクセス、添付の操作、入力完了など、何を記録したものか。
接続元の情報：取得できるIP、ブラウザー、端末情報。単独の証拠にはしない。
メールの経路：転送、報告、共有メールボックス、後続の自動処理の有無。
関連する処理ログ：メール検査や報告後の処理と、時刻・対象が対応するか。
本人や担当者の確認内容：操作した端末やおおよその時刻、確認できなかった点。
判定と根拠：人の操作、自動検査、未確定の区分、判断者、再確認の予定。
Microsoftの訓練レポートでは、クリックイベントの意味と、IP・ブラウザー・端末・時刻などの補助情報が説明されています。これらは調査の材料であって、どれか一つで本人の操作を断定するためのものではありません。利用製品のイベント定義を読んでから照合表へ当てはめてください。出典：Microsoftの訓練レポートの説明
3. 時刻、経路、操作の順に確認する
配信直後の集中を見つけても、すぐに除外しない
配信直後に多数のイベントが集中するなら、自動処理を調べるきっかけになります。ただし「何秒以内なら機械」といった一律の基準は、この観測だけでは作れません。人がすぐに開く場合や、時刻の粒度が粗い場合もあるためです。同じパターンが、未操作のテスト用アカウントでも生じるかを確認します。
IPだけでなく、処理の経路を突き合わせる
同じIPが多くの対象者に現れても、社内の共有回線や中継サービスを経由している可能性があります。見慣れないブラウザー情報も、それだけで機械と決める根拠にはなりません。検査サービスのログに対応する処理があるか、報告した時刻の後に同様のイベントが生じたかなど、別の材料と組み合わせます。
調査の際に本番の訓練リンクを自分で開くと、確認作業自体が新たな記録を作ることがあります。まずログや製品の調査機能を使い、再現が必要ならテスト用の対象で実施してください。
人の操作だと分かっても、元の配信対象者が操作したとは限りません。転送先の人が対象者に紐づくリンクを開いた可能性も、調査上の仮説として確認します。本人に帰属できる根拠がない場合は、対象者本人の操作として確定せず、操作主体は未確定と記録します。
本人への確認とログの不足を区別する
本人の申告は重要な材料ですが、申告だけで自動検査と確定することも、記憶が曖昧という理由でクリックと確定することも避けます。分かる範囲の時刻や操作を聞き、記録と照合します。必要なログが残っていない、端末を特定できないといった場合は、未確定として残します。
判定はイベントごとに行い、その後で対象者単位に集約します。ある人に自動検査のイベントがあっても、その後に本人がクリックした根拠があれば、その人全体を「自動検査だから除外」とは扱えません。「自動検査のみ」と判断する範囲にも、確認した期間と参照した記録を添えます。
4. 本配信の前に3つの経路で計測を確かめる
毎回の疑義対応を減らすには、許可されたテスト用アカウントと無害な訓練用素材で、次の経路を確かめる方法があります。これは計測を確認するためのテストであり、従業員の能力を測るものではありません。
受信後に何も操作しない。自動検査だけで、どの記録が出るかを確認する。
担当者が時刻を記録して意図的にクリックする。想定したイベントと対象者に結びつくかを確認する。
本文のリンクを開かず、所定の窓口へ報告する。報告や転送、その後の調査処理がどの記録を生むかを確認する。
各経路には識別できる別のテスト対象や配信回を使い、履歴が混ざらないようにします。操作内容と時刻を残し、各経路で原レポートと関連ログを比較します。メールソフトや報告経路が異なる部門があれば、その違いも確認対象です。誤判定を減らすために全社のメール検査を停止するのではなく、製品の仕様と組織の変更管理に沿って対処を検討します。設定を変える場合は対象・期間・戻し方を決め、変更後の動作も確認してください。
5. 原数値と確認後の内訳を併記する
以下は説明用の架空例であり、ヤグラの実績や業界平均ではありません。1回の訓練で100人への到達を確認し、集計期限時点で10人にクリックが記録されたとします。調査後の内訳が、対象者本人の操作を確認した5人、確認した記録の範囲では自動検査のみだった3人、未確定の2人なら、次のように報告します。
原レポート：クリックが記録された対象者は10人／到達100人、10％。
調査後：本人の操作を確認できた対象者は5人／到達100人、5％。
残る内訳：自動検査のみを確認した対象者3人、未確定2人。
5％を「真のクリック率」と呼んではいけません。未確定の2人に人の操作が含まれる可能性や、計測できていない行動が残るためです。また、自動検査を理由に対象者を分母から除くと、前回との比較条件まで変わります。この例では到達100人という分母を保ち、何を確認できた数値かを名称で示します。
過去との比較では、同じ集計期限と判定基準を使います。基準を変更した場合は、過去分を同じ方法で再集計できるかを確認し、できなければ数値の低下を訓練効果と断定しません。題材そのものの難しさは、フィッシング訓練の難易度を決める判断表で別に評価します。
運用・製品選定では、結果を説明できるかを確認する
訓練の運用や製品を検討する際は、クリック率を表示できるかに加え、イベントの定義、原データの取得範囲、保持期間、自動処理の扱い、結果訂正の可否を確認してください。「自動検査を除外する」という説明がある場合も、判定の対象と限界、未確定データの扱い、仕様変更後の比較方法まで確認すると、導入後の調査に役立ちます。
評価を確定できない間も、不審なメールを相談・報告できる窓口は維持します。疑義のある数値を根拠に個人の評価を急ぐより、計測上の課題と学習上の課題を分け、確認できた行動に沿ってフォローする方針を関係者でそろえておきましょう。
メール訓練や教育の取り組みについては、ヤグラアウェアネスをご覧ください。訓練の目的、計測上の疑問、運用体制を整理したうえで相談したい場合は、お問い合わせからご連絡ください。本記事の照合手順は一般的な運用提案であり、ヤグラ製品が記載した情報をすべて取得・自動判定することを示すものではありません。
