47時間45分。理研が富岳への不正アクセスを確認してから、富岳に保存していた認証情報を接続先で無効にするよう、利用者に頼むまでの時間です。富岳に入る鍵なら理研が自分で止められます。ところが、利用者がホームディレクトリに置いていた外へ出る鍵、つまり外のスーパーコンピュータやサービスに接続するための秘密鍵やアクセスキーは、接続先でしか止められません。
理化学研究所(理研)は11月16日、スーパーコンピュータ「富岳」の運用系システムに外部の第三者が侵入したと発表しました。足がかりはインターネットに公開していた富岳の稼働状況を表示するウェブページ(ダッシュボード)。侵入者は11月10日から13日にかけて1運用系の内部ネットワークに入り、中の複数のサーバーを不正に操作しました。
持ち出された、またはそのおそれがある情報は、富岳と「理究(りきゅう)」の利用者最大4,597名の氏名やメールアドレスなどと、ホームディレクトリにあったファイルの一部です。その中に、理研の外にあるシステムへ接続するためのSSH秘密鍵やアクセスキーなどが入っていました。侵入者はその一部を使い、ほかのシステムへの接続も試みたといいます。16日の発表の時点で、二次被害が出たかどうかは関係機関と調べている最中です。
11月17日朝7時50分すぎの時点で、理研のお知らせの一覧に続報はありません。
理研の11月16日の発表。入口はインターネットに公開していた稼働状況のダッシュボード出典: 理化学研究所(引用)
理研が止めた鍵と、利用者に頼んだ鍵
理研の発表には、対応ごとに分単位の時刻が並びます。不正アクセスを確認した11月13日16時33分から数えると、次のように進みました。
| 日時 |
確認からの経過 |
出来事 |
| 11月10〜13日 |
確認の前から |
侵入者が運用系の内部ネットワークに入っていた |
| 11月12日 |
確認より前 |
不審な通信を検知し、保守の委託先と調べ始める |
| 11月13日16時33分 |
0 |
不正アクセスを確認 |
| 11月13日20時59分 |
4時間26分 |
文部科学省に報告 |
| 11月13日22時07分 |
5時間34分 |
侵入に使われたシステムを隔離 |
| 11月14日4時30分 |
11時間57分 |
富岳の運用を止め、外からのアクセスを遮断 |
| 11月14日20時20分 |
27時間47分 |
管理用の鍵を入れ替え |
| 11月15日10時51分 |
42時間18分 |
HPCIの関係機関に報告 |
| 11月15日16時18分 |
47時間45分 |
利用者にメール。全員のログイン用の公開鍵を無効にし、ジョブを止め、保存していた認証情報を接続先で無効にするよう頼む |
| 11月16日17時55分 |
73時間22分 |
個人情報保護委員会に報告 |
鍵に関わる行は2つです。理研が自分の手で済ませられる管理用の鍵は、確認から1日あまりで入れ替わりました。利用者がログインに使う公開鍵も、2日後の15日夕方に全員分を無効にしました。
外へ出る鍵は、そうはいきません。接続先が理研の外にあるため、理研は自分では無効にできず、利用者に接続先での無効化を頼みました。その5時間半ほど前、確認から42時間18分の時点で、HPCI(革新的ハイパフォーマンス・コンピューティング・インフラ)の関係機関には報告しています。HPCIは、富岳を含むスーパーコンピュータを共用する国の枠組みです。計算科学研究センターが2021年7月に出したセキュリティホワイトペーパー(11月17日朝の時点で、富岳の使い方を案内するページから読める版)にも、インシデントのときは「HPCIのインシデント対応部署とも連携し対応します」とあります。ただ、鍵の接続先にどこまで知らせたかは、発表にありません。
侵入の期間は11月10日からで、侵入者が鍵を持ち出した日は、早ければこの日までさかのぼります。利用者本人が依頼のメールで知るまで、最長で5日半あまり。接続先の側で鍵の使われ方を見ていなければ、本人が持ち出しに気づくのは難しかったでしょう。
富岳にあった鍵や情報を、止められる人で分けると、次の表のとおりです。
| 鍵や情報 |
止められる人 |
理研の対応 |
会社の共用サーバーなら |
| 運用の管理用の鍵 |
理研 |
14日20時20分に入れ替え |
情シスか保守の委託先 |
| 富岳へのログイン用の公開鍵 |
理研 |
15日16時18分に全員分を無効に |
情シスがサーバーの側で消せる |
| ホームにあった外への認証情報(SSH秘密鍵、アクセスキーなど) |
接続先の管理者と、鍵の持ち主 |
接続先で無効にするよう依頼 |
自社のGitHubやクラウドなら情シス、取引先のサーバーなら相手の会社 |
| 氏名、メールアドレス、ID |
だれも取り消せない |
理研をかたるメールへの注意を呼びかけ |
社員に、なりすましのメールへの注意を伝える |
下の2行には、運用する側の手が届きません。もっとも、会社なら全部消せるとも限りません。GitHubで社員が個人のアカウントに登録したSSH鍵を、組織の管理者が消せるかどうかは、契約と設定しだいです。
この線引きは、富岳がもともと決めていたものでもありました。同じホワイトペーパーは「責任共有モデル」をとり、利用者は「自身の情報、データ、ユーザーアカウント、資格情報」を管理すると説明しています。持ち出されたSSH秘密鍵がそのまま使えるかは、パスフレーズを付けていたかどうかで決まりますが、発表はそこに触れていません。アクセスキーは、ファイルさえあればそのまま使えてしまうものです。
では、なぜ富岳に外への鍵があったのか。ホワイトペーパーには「『富岳』から外部への通信は基本的にすべて許可されます」ともあります。研究者にとって、大学の計算機や別のセンターとのあいだで計算の結果を運ぶのは、よくある作業です。富岳から相手へ直接つなげれば、手元のパソコンを通さずに済む。利用者がホームディレクトリに鍵を置いたのも、この手軽さからでしょう。
会社の踏み台や開発サーバーにも、同じ手軽さで鍵が集まります。ただ、行き先はたいてい自社のGitHubやクラウド、社内のほかのサーバーです。「資格情報は利用者の責任」と決めても、止める作業は結局、情シスに戻ってくるとみています。しかも、どのサーバーにどの鍵があるかを、事故の前に知っている情シスは多くないでしょう。
富岳の利用者を抱える会社に影響する
富岳を使うのは、大学や研究機関の人だけではありません。富岳の使い方を案内するページによると、HPCIには「産業利用課題」もあり、審査に通れば会社も使えます。民間企業が利用を手伝うサービスまであります。
最初に当てはまるのが、社員を富岳か理究の利用者として登録している会社です。たとえば研究開発の部署の社員や、大学や理研との共同研究に加わっている社員が当たります。登録した社員の氏名やメールアドレスは、持ち出された情報に入りえます。その社員が、富岳から自社のGitHubやクラウド、社内で計算に使うサーバーへつなぐ鍵を置いていたなら、自社のシステムも二次被害の先になりえます。
理研は15日16時18分に、利用者へメールで知らせました。情シスに話が来ていないなら、研究開発の部署に「富岳の利用者はいるか」「理研のメールは届いたか」を聞くのが早道です。届いていた社員と進める順は、次のとおりです。
- 本人が覚えている鍵とキーから、接続先で無効にし、発行し直します。理研が利用者に求めているのも、この2つです。
- 覚えていないものは、接続先の側から洗い出します。富岳は止まっていてログイン用の公開鍵も無効なので、本人も富岳の上で自分のホームディレクトリを見られません。GitHubは本人の設定にあるSSH鍵の一覧(最後に使った時期も出ます)、AWSはIAMのアクセスキーの最終使用日、社内のサーバーはauthorized_keysが手がかりです。
- 無効にする前の使われ方を、接続先のログで確かめます。見るのは、11月10日以降の見慣れない接続元です。
鍵のほかに、研究データも気がかりです。発表は持ち出しの対象に「利用者が保存していたファイル(研究データ)」を挙げ、16日の時点で「研究成果が外部に流出したことを示す具体的な事実は確認されていません」としています。産業利用で使っていた会社なら、研究開発の部署と法務に、富岳に何を置いていたかを聞いておきたいところです。共同研究の相手から預かったデータや、秘密保持契約のかかったデータがあれば、相手に知らせる約束が契約にないかも見ておくと、続報が出たときに慌てずに済みます。
富岳の利用者に、自社のサーバーやサービスへの接続を許している会社も、影響を受けうる側にいます。侵入者がどこへの接続を試みたのかは、発表に書かれていません。
富岳も理究も使っておらず、利用者からの接続も受けていない会社は、この件で直接の影響は受けません。気をつけるとすれば、富岳や理研をかたるメールくらいでしょう。理研はメールでパスワードなどを尋ねることはないとしています。
共用サーバーの「外へ出る鍵」を洗い出す手順
富岳で起きたことは、会社の踏み台や開発サーバーでも起こりえます。複数の人がホームディレクトリを持つサーバーは、入られたとき、別のシステムへの入口になるのか。調べるのは鍵の中身ではなく、どこに置かれ、どこにつながっているかです。
- 複数の社員がログインするサーバーを挙げます。踏み台、開発サーバー、解析用のサーバー、CIのランナーなど、委託先の作業者が使うものも入れます。
- 各サーバーのrootのシェルで、認証情報のファイルを名前で探します(下の1つ目のコマンド)。
- 名前に関係なく、秘密鍵の形をしたファイルを探し、パスフレーズのないものを見分けます(2つ目のコマンド)。
- 見つかったファイルごとに、持ち主に接続先を聞き、接続先とそこで鍵を止められる人を台帳に載せます。取引先のサーバーに入る鍵なら、相手の会社の連絡先も添えておきます。
- パスフレーズのない鍵と、自社で止められる鍵から、置き方を変えます。
find /home /root -maxdepth 6 -type f \( -name 'id_*' ! -name '*.pub' \
-o -name '*.pem' -o -name '.git-credentials' -o -name '.netrc' \
-o -name '.pgpass' -o -name '.my.cnf' -o -name '.s3cfg' \
-o -path '*/.aws/credentials' -o -path '*/.kube/config' \
-o -path '*/.docker/config.json' -o -path '*/.config/gh/hosts.yml' \
-o -path '*/.config/gcloud/*cred*' \) \
-printf '%u %TY-%Tm-%Td %p\n'
find /home /root -maxdepth 5 \( -name node_modules -o -name .git \) -prune \
-o -type f -size -16k -print0 \
| xargs -0 -r grep -lZE -- '-----BEGIN ([A-Z]+ )?PRIVATE KEY-----' \
| while IFS= read -r -d '' k; do
if ssh-keygen -y -P '' -f "$k" >/dev/null 2>&1
then printf 'NO-PASSPHRASE %s\n' "$k"; else printf '%s\n' "$k"; fi
done
どちらもLinuxのGNU findとgrepの例です。出るのはパスと持ち主と更新日、それにパスフレーズのない鍵に付く「NO-PASSPHRASE」の印だけで、鍵やキーの中身は表示しません。rootで動かさないと、ほかの人のホームディレクトリを読めず、一覧から漏れます。ホームディレクトリがNFSにあってroot_squashが効いているなら、ファイルサーバーの側で動かします。もっとも、.envや、プログラムの設定ファイルに書かれたキーは、どちらの一覧にも出ません。持ち主に、ほかにも置いていないかを一緒に聞いておけば、漏れはかなり減るでしょう。
置き方の変え方は、鍵の使い道しだいです。人が多段でSSHするだけなら、手元のパソコンからProxyJumpで入れば、秘密鍵を共用サーバーに置かずに済みます。一方、ジョブやcron、CIのように、サーバーの側から外へ送る転送は、ProxyJumpでは置きかえられません。受け取る側から取りに行く形にするか、authorized_keysのrestrictやcommand=で鍵にできることを絞るか、期限の短いSSH証明書に替えます。クラウドとGitHubは、SSOで発行する期限つきの認証情報や、期限を付けたトークンに替えます。
接続先の側で、鍵を使える接続元を絞っておく手もあります。authorized_keysのfrom=や、アクセスキーを使えるIPアドレスの条件を付ければ、盗んだ鍵をほかの場所から使いにくくなります。共用サーバーそのものを乗っ取られたときは、そこからは使えてしまいますが、鍵だけを持ち出して使う手は封じられます。
秘密鍵を置かない代わりにssh -Aでエージェントを転送する人もいますが、接続しているあいだは、そのサーバーのrootが手元の鍵を使える状態になるのです。共用サーバーへの転送は避けたほうが安全です。鍵を預けて貸し出す製品を考えるなら、特権ID管理の製品の地図で、預け方と記録の残し方を比べられます。
見せるだけの画面にも、持ち主を決めておく
入口になった稼働状況の画面について、発表は「インターネット上に公開されていた」と書くだけです。具体的な侵入方法は調査中で、17日朝の時点で、悪用されたソフトウェアの脆弱性の名前も出ていません。
計算科学研究センターのサイトには「稼働状況」というページがあります。11月17日朝の時点で、そこには「スーパーコンピュータ『富岳』の稼働状況表示ページは、安全確保のため公開を停止しています」の一文しかありません。発表のいうダッシュボードと同じものかは、発表からは読み取れません。
計算科学研究センターの「稼働状況」のページ(11月17日朝に撮影)出典: 理化学研究所 計算科学研究センター(引用)
稼働状況を表示するには、運用の内側からデータを受け取る必要があります。外から見える画面と運用系の内側のあいだには、何らかの通り道があったとみられます。2021年7月版のホワイトペーパーは、富岳のネットワークのファイアウォールについて、外からの通信は基本的にすべて拒否し、富岳がサービスとして出すものだけを変更管理とセキュリティ監査を経て許す、と説明していました。同じ文書の区画の一覧には、これとは別にインターネット接続のDMZもあります。今回の画面がどの区画にあったかは、発表からは分かりません。
会社でも、GrafanaやKibana、Zabbixの画面、ジョブの進み具合を見せるJenkinsなどを、社外から見られるようにしている例は珍しくありません。「見るだけだから」と認証を外したまま、開発チームや委託先が立てて、情シスの台帳に載っていないこともあるでしょう。外に見せたいなら、ツールそのものは公開せず、内側で書き出した静的なページを外のサーバーへ送る形にできます。データの流れが内から外の一方向になり、外の画面を乗っ取られても、内側へたどる道が残りにくくなります。
もう一つ見ておきたいのが、運用システムの保守を外部に任せていた点です。不審な通信の検知は12日。13日16時33分に不正アクセスを確認し、22時07分に侵入に使われたシステムを隔離して、14日4時30分に富岳を止めました。そのあいだに、だれが何を判断したかは発表にありません。理研は「緊急時により迅速に対応できるよう」役割分担を見直すとしています。止める判断をだれが持つかは、保守を任せている会社が、事故の前に契約で決めておける部分です。
社外から見える状態の画面は、だれが立て、どこからデータを取っているのか。外へ出る鍵は、どのサーバーに置かれ、だれが止められるのか。前の問いは入口を減らし、後ろの問いは入られたあとの時間を縮めます。鍵の台帳があれば、何が持ち出されたかの調べを待たずに、接続先へ先に知らせられるからです。47時間45分を短くできるのは、この台帳のほうでしょう。