情報システムの障害状況ウォッチ（2016年前半）

情報システムの障害状況ウォッチ（2016年前半）

詳細はSEC Journalを確認いただくとして、掲載されているトラブル事例を例年通りニュース記事などとザックリ照らし合わせてみた。例によって調べているとお腹が痛くなる事案ばかり。

• [1601] 緊急速報メールで誤報(津波)
  • 「大津波」と誤報メール 和歌山県職員がミス、地震なし ：日本経済新聞
  • 運用ミスなのだけれども、どちらかというとシステム移行・リリース時の引継ぎの問題のようにも思える。毎年潮の満ち引きデータをマスタ登録しなければいけない構造のようだが、リリース次年度(おそらく初めてユーザがマスタ更新をするタイミング)で入力を漏らしたもの。
  • システムとしてはマスタ更新の初回稼動にあたるはずなのでベンダ側もある程度フォローしておけば防げたのではないか、と思う。
• [1602] マイナンバーカード交付システム 不具合
  • http://mainichi.jp/articles/20160116/ddl/k31/010/527000c
  • セキュリティ設定の誤りでシステムに接続できないというトラブル。詳細は不明。接続確認テストが不十分なような印象があるけれど・・・。
• [1603] マイナンバーカード交付システム ダウン
• [1604] マイナンバーカード交付システム 接続障害
• [1605] マイナンバーカードデータ不備
• [1606] マイナンバーカード交付システム 接続障害
  • 個別に追いかけるのが面倒なのでまとめて確認。1605はちょっと違うかもしれないけど割愛。
  • ニュース - マイナンバーシステム障害を総括、「住基ネット安定稼働への過信」が背景に：ITpro
  • ニュース - マイナンバー障害でJ-LISが損害賠償請求へ、富士通ら5社に最大69億円：ITpro
  • 地方公共団体情報システム機構 カード管理システムの中継サーバに生じた障害等について
  • 障害報告が読めるのだけれども、障害の根本原因(暗号化・複合化機器の問題)について、思い込み(住基ネットで実績のある構成だから問題ない)により気づかずアプリ不具合を探っているうちに、2ヶ月の期間を要してしまった事例。2016年前半ではANAでも機器起因の大きな障害が発生しているが、こちらは迅速な再現テスト、問題特定をしておりこの差は大きい印象がある。
  • 加えて本件についてはマルチベンダ(5社コンソーシアム＋その他のベンダ)体制というのも原因究明、対応の遅れの一因になっている模様(報告書には「中継サーバを担当した事業者が原因究明への主導的対応を行わなかった」とある)。まぁ、中継サーバを疑っていない以上、マルチベンダかつ主要ベンダでなければ声かけされていないという状況は容易に想起できるけれど・・・
• [1607] ドコモ契約者向けサイト利用不可
  • ニュース - ［続報］NTTドコモの料金確認・申請システムでトラブル、午後3時に復旧：ITpro
  • ドコモからのお知らせ : 【お詫び/回復】ドコモウェブサイト「128kbps通信解除申込」等に接続できない事象について | お知らせ | NTTドコモ
  • ”ノンチューニングで高速”をどう実現したか：NTTドコモの6600万顧客のリアルタイムビリング基盤「MoBills」を支えるデータベース基盤とは (1/3) - ＠IT
  • DB管理ソフトの不具合ということだが、Oracle Exadata起因の模様。詳細は日経コンピュータの記事がある模様だが、日経コンピュータDigital契約者しか閲覧できず残念な状況。IPA報告では「立て続けにパッケージ不具合が顕在化したことにより、長時間サービスを止める結果となった」とある。
• [1608] 緊急速報メールで誤報(ミサイル)
  • 国交省：「北朝鮮ミサイル発射」全国の空港事務所に誤送信 - 毎日新聞
  • 【緊急速報】国交省「北朝鮮がミサイルを発射しました」
  • 運用ミス。「航空交通管理センターの職員が、来月新たに運用を開始する 緊急通報システムの準備作業をしていたところ、操作を誤り、ひな形の文書を送信してし まった」「国土交通省では３年前にも発射の情報を誤って送信する同じようなミスがあり、１３人 が処分されていて、国土交通省は「当時の再発防止策が徹底されておらず、誠に申し訳な い」と話しています。」
• [1609] 宝くじ抽選実施不能
  • 宝くじ抽せん大幅遅れ みずほ銀行、システム障害で謝罪 - SankeiBiz（サンケイビズ）
  • 「一部の売り場で、販売実績を送信する端末を入れ替えたのが原因で、通信エラーが発生」とのこと。ネット上の報道では詳細までは確認できなかったが、SEC Journalの記事では、発券機入れ替えでくじ番号の重複が発生、その後東京・大阪のセンター集計結果が不一致となり抽選不能となったとのこと。日経コンピュータ4/28号に詳細がありそうだが、 日経コンピュータDigital契約者しか閲覧できず残念な状況。

• [1610] JR特急券予約システム利用不可
  • JR東日本でシステム障害。えきねっと・モバイルSuicaで購入ができない状態★2/5 20時復旧★(三上洋) - 個人 - Yahoo!ニュース
  • 詳細は不明。 SEC Journalの記事では、「サーバー間のやりとりが正しく機能しなかった」とある。
• [1611] 地銀ATM利用不可
  • ニュース - 地銀7行でATM障害、NTTデータ運営の共同センターでトラブル：ITpro
  • ニュース - 地銀7行のATM障害が解消、原因はハードの設定ミス：ITpro
  • NTTデータの地銀共同センターで再びシステム障害、7行のATMが一部停止 – finAsol
  • 2つの事象が発生していて、2/15の障害は報道にもあるとおり、サーバ設定誤り。2/26の障害は報道ではわからないがSEC Journal記事では「プロセス滞留を重点監視しようとしてログ書き込みが大量に。ログ転送時にメモリが足りなくなりプロセスがタイムアウト」とのこと。後者が前者の対策として引き起こされているのであれば、ちょっと厳しい印象。
• [1612] マイナンバーカード交付システム不安定
  • マイナンバー関連は[1606]とたぶん同じ話なので割愛
• [1613] 住民票システム名寄せミス
  • マイナンバー：男性２人に同一番号 香川と長野で - 毎日新聞
  • 運用の問題。システムは仕様通り！
• [1614] ANA搭乗手続きシステム利用不可
  • 全日空、搭乗手続きシステムに不具合 一部便出発遅れる：朝日新聞デジタル
  • 次の障害は話題になった割に、こちらのトラブルについては原因は不明・・・。
• [1615] ANA総合旅客システム利用不可
  • 記者の眼 - 判明、ANAシステム障害の真相：ITpro
  • 報道等も多数行われた割と有名なトラブル。原因はネットワーク中継機のレアなバグとのこと。
• [1616] JAL重量管理システムダウン
  • ニュース - JALシステム障害、前週に追加の排他制御がデッドロックを誘発：ITpro
  • 海外製パッケージシステムへの定期パッチに不具合が混入されており顕在化したもの。他顧客向けの製品改善(キャッシュへの排他制御)がデッドロックを引き起こしたもの。本番適用前にどのようなテストまでしていたのか、は気になるところだけれども報道等から読み取ることはできず。
• [1617] 四国電力検針電気料金関連システムトラブル
  • http://mainichi.jp/articles/20160416/ddl/k39/020/583000c
  • http://www.yonden.co.jp/press/re1604(PDF)
  • 新システム導入に伴うトラブルの様子。報告書も公開されているが、複雑骨折の様相。「プログラム不備」「オペミスによる二重登録」「オペミスによるデータ消失」が発生している。
  • 新システム切替タイミングで発生したことを勘案すると、初期の稼動サポート体制がどうだったのかが気になるところ。
• [1618] JR新幹線電光掲示板で表示できず
  • ＪＲ東：新幹線の電光掲示板、表示されず…全４４駅で - 毎日新聞
  • システムトラブルか‥？新幹線44駅の電光掲示板がダウンしていた - NAVER まとめ
  • システムの設定ミスで、上限を超えるデータが登録されたことによるもの、という。ただ上限超過しただけで全て表示されなくなるというのはちょっと不思議な印象。
• [1619] ゆうちょ銀行決済システムダウン
  • ニュース - ゆうちょ銀行の決済サービストラブル、発生から14時間以上復旧せず：ITpro
  • http://mainichi.jp/articles/20160514/ddm/012/040/066000c
  • 報道では原因には言及されていない模様。 SEC Journal記事によれば、システムサーバがダウンしたとのことだが・・・
• [1620] JR電光掲示板に誤表示
  • 「喜多方ラーメン」誤表示、原因は１２年前の… ＪＲ東：朝日新聞デジタル
  • 12年前に入力したデータが誤って発信されたという事態。システムトラブルとはちょっと異なるとは思うのだけれども、システム的には入力時期のチェックをしていれば防げたような･･･

障害とは違うけれども気になる2016年前半の事件

情報システムの本番障害ではないが、マイナンバーの件[1606]以外にも今年はいくつかの大きな開発トラブル(システム開発の中止や賠償)の話も目についた。このあたりも詳細続報は報道されることは無いけれども気になるところ。

• ニュース - マイナンバー障害でJ-LISが損害賠償請求へ、富士通ら5社に最大69億円：ITpro
• News ＆ Trend - セゾン情報が開発遅延で150億円返金、原因は品質問題、50人希望退職も：ITpro
• ニュース - 子会社の新基幹系システム開発中止で特損147億円、みらかホールディングス：ITpro