Cloudflareは2026年10月12日付の発表で、ログ出力機能Logpushの「Transformers」の仕組みを解説しました。ログを外部へ送る前に、不要な記録の除外や機密データの秘匿、項目の整形ができます。出力先に渡すデータを見直せる一方、加工に失敗した場合はログ配信にも影響するため、適用前の確認が重要です。
外部へ送る前に、ログの量と項目を変えられる
Logpushは、CloudflareのログをSIEM、分析基盤、オブジェクトストレージへ出力する機能です。SIEMは、セキュリティ関連のログを集約・分析する仕組みです。Transformersを使うと、出力先で処理する前にCloudflare側でデータを加工できます。
Transformerは、特定のデータセット向けに書くSQLクエリです。SQLはデータを抽出・加工するための言語で、Logpushはログのまとまりごとにこれを適用します。WHEREで必要な記録を絞り込み、SELECTで出力する項目を整えます。
対応する加工は、不要な記録の除外、機密データの秘匿、フィールドと呼ばれる項目の追加・改名・削除・入れ子化です。Cloudflareは、出力前に不要な記録を除くことで、後段で扱うデータ量やコストを削減できると説明しています。削減率や削減額は発表には書かれていません。
作成・プレビュー・管理にはTransformer StudioとAPIを使えます。APIはシステムから機能を呼び出すための窓口です。保存したTransformerは、同じデータセットの対応NDJSON Logpushジョブに適用します。NDJSONはJSON形式のデータを行ごとに並べる形式で、加工後のログもこの形式で出力されます。
加工に失敗すると、未加工ログは送られない
SQLの実行にはApache DataFusionを採用し、Logpush配信サービス内で処理します。Transformerを更新するたびに、新しいバージョンが作成されます。
加工に失敗した場合、未加工のログを代わりに送ることはありません。加工を再試行し、失敗が続くジョブでは再試行の間隔を延ばします。長期間失敗状態が続くと、そのジョブは自動停止します。
このため、秘匿処理だけでなく、必要なログが出力先に届くかも確認対象になります。Transformer Healthでは、加工の成否、加工前後のデータ量、処理時間を確認できます。発表には、自動停止までの具体的な期間は書かれていません。
CloudflareはBirthday WeekでTransformersを一般提供に移行しました。対象はFree、Pro、Business、Enterpriseプランです。ただし、日本での提供は発表には書かれていません。日本語対応、日本向け価格、リージョンについても記載はありません。
影響する会社・しない会社
- 影響する: Logpushでログを外部へ出力し、同じデータセットの対応NDJSONジョブにTransformerを適用する会社です。出力項目や記録の量を変えるため、受け取り側の担当者との確認が必要です。
- 影響する: 出力前の機密データの秘匿や不要な記録の除外を検討する会社です。対象プランはFree、Pro、Business、Enterpriseですが、実際に適用するジョブの対応状況も確認します。
- 影響しない: Logpushを使っていない会社は、今回説明されたログ出力前の加工の直接対象ではありません。
- 影響しない: 同じデータセットの対応NDJSONジョブに該当しない出力は、発表で示された適用対象には含まれません。個々のデータセットやジョブの対応一覧は、今回の資料にはありません。
情シスが今日やること
- 今日、Logpushの設定で、対象ジョブのデータセット、出力形式、出力先を確認します。発表では、CloudflareダッシュボードのLogpushページからTransformer Studioを開く手順が示されています。対象ジョブの設定を見つけられない場合は、運用担当者に確認してください。
- 加工を設定する前に、出力先の分析・監視担当者へ、残す記録と項目、秘匿したい項目の確認を依頼します。除外や項目名の変更で、必要な分析までできなくならないかを確認します。
- Transformer StudioでSQLを作成し、適用前にプレビューします。除外条件と出力項目を確認し、保存したTransformerと適用先ジョブが同じデータセットであることも確かめます。
- 適用後はTransformer Healthで成否、加工前後のデータ量、処理時間を確認します。失敗時は未加工ログが送られず、長期間続くと自動停止することを監視担当者にも伝え、出力先への到着状況と併せて確認します。
