みずほ、システム運用未熟 ATM障害で第三者委が報告
2021/6/14 21:59 共同通信社
みずほ銀行で相次いだ現金自動預払機（ATM）などのシステム障害について調べていた
第三者委員会の報告書の概要が14日、分かった。システム自体に根本的な欠陥はなく、
人員配置や設定面で運用が未熟だったことが原因と結論付ける。顧客対応の不十分さが
問題を深刻化させたことも指摘する。15日にも報告書を公表する。
障害は2月28日から3月12日に4回にわたって起きた。2月28日は全国で稼働中のATMの
8割が停止し、5千超のキャッシュカードや通帳が内部に取り込まれた。親会社のみずほ
フィナンシャルグループ（FG）は責任者の処分を検討している。
https://www.47news.jp/news/6393678.html 0621冥王星(島根県) [US]2021/06/16(水) 14:19:43.69ID:aPbgaYFu0
>>8
問題が起きたときに、その場で解決する手順が行内に通知されてなかった
誰も「私は担当じゃない」で逃げた結果、大混乱に
今の窓口世代、誰もATMがなかった時代のカネの卸しかたを知らないだろうし 0622カリスト(神奈川県) [ﾆﾀﾞ]2021/06/16(水) 14:22:03.03ID:pZXc3h/50
>>615
記憶容量を超えたバッチを何度も繰り返し実行し、エラー発生、
それでも足りず、他のバッチと合わせて多重実行、エラー発生、巻き戻しがかなり困難ですのコンボが決まって、
基幹システムの他のモジュールから切り離しを受けて、
そうなっているのに、通常の処理に戻して何事もなかったかのように基幹システムをエラーのまま運用する
無能な人がいることを前提としてシステムは記憶容量を押しつぶすことなくエラーで止まっているし、
巻き戻しが困難な状況で、その被害を広げないように複数動いている基幹モジュールはエラーのモジュールの切り離しを自動で実行している。
その状況で、預金のステータスを確認できなくなってる多数の人がいると容易にわかるにも関わらず、単に夜の仕事はここまでです、朝になりましたから元に戻しますねと処理するというのは中々想定できないよ。 元記事は報告書作成中に聞いた話からそれっぽい単語を適当に並べただけかな。
一つ一つの障害の原因のことなのか、障害が連発した原因のことなのかわかりゃしない、っていうか記者が分かってないだろこれ。
ついでに言うとおまいらの書き込みのほとんどもどっちの話をしてるのかさっぱりだ。
0624カリスト(神奈川県) [ﾆﾀﾞ]2021/06/16(水) 14:23:38.90ID:pZXc3h/50
>>72
システム監査もわからん底辺のゴミカスワーカーがシステム監査資格のある弁護士に文句言うのか間抜け。 0625カリスト(神奈川県) [ﾆﾀﾞ]2021/06/16(水) 14:25:32.80ID:pZXc3h/50
>>623
わからないのはバカなお前が公開されている調査報告書を読んでいないから。
読んでから文句を言え間抜け。 0626カリスト(神奈川県) [ﾆﾀﾞ]2021/06/16(水) 14:27:30.23ID:pZXc3h/50
>>621
というより、バッチがエラー吐いて停止したら普通はエラー確認するだろ？
自分でわからなかったら、バッチがエラーになった段階で責任者にそう報告するだろ？
それだけでかなり変わった可能性が高い。 0628バン・アレン帯(東京都) [DE]2021/06/16(水) 14:33:08.74ID:3rDXyIiH0
>>18
日本では会社員が守られすぎてるからな
会社が社員を首にできない
ぶっちゃけこれの弊害が日本各地で起きてる 0629カリスト(神奈川県) [ﾆﾀﾞ]2021/06/16(水) 14:38:13.71ID:pZXc3h/50
>>603
統合して1発目のトラブルの時の頭取だった前田は国会で
顧客には一切迷惑はかけていませんと見栄を切った。
マスコミの袋叩きにあって取り消したが、みずほがシステムが動こうが止まろうが、顧客がガタガタ文句言うことかと思っていたことはその後の人事でわかる。
前田はクビになるどころか、グループの会長にまで上り詰め前田天皇と称されるまでになった。
今では自分を叩いたNHKの会長に収まっている。
統合して２番目はシステムの責任者のクビを飛ばした形にしたが、システムがわかってる取締役候補がいないため、問題のシステムをそれで放置することに決めた当の本人を新たな責任者にした。
つまり、とりあえずカッコをつければ良いと思っていてシステムのトラブルは責任を問うことではないと思ってるわけだ。
で、三回目。
これも通帳やカードの取り込みという問題が出たタイミングでしっかり調べれば送金の大幅遅延という問題は発生しなかった。
それほどの間違い、判断ミスを繰り返しているトップが給与半分にする程度のことでお茶を濁した。
これは必ず4度目やるよ。
何より情報システムなんて銀行の仕事のおまけで、そこでトラブルになっても誰にも迷惑はかけていないという前田の精神が今も根付いているからね。
これに銀行の窓口はドブという思い上がりが単なるエラーを深刻なトラブルにする。 0630カリスト(神奈川県) [ﾆﾀﾞ]2021/06/16(水) 14:40:46.40ID:pZXc3h/50
0632カリスト(神奈川県) [ﾆﾀﾞ]2021/06/16(水) 14:46:19.46ID:pZXc3h/50
>>604
いや、システムの方の問題じゃないよ。
顧客が困ってる状況になったらカスタマー部門がメンテナンスしてる警備会社に連絡してカードの回収返還に向かわせるのは当たり前のこと。
みずほのそれをカスタマーセクションではほとんどやらなかった。
結果飲み込まれたカードや通帳はただの忘れ物扱いとしてルーチンの警備員が回ってくるまで多くのひとは放置されることになり、そのほとんどの人は自己判断で一時間か二時間後にその場を立ち去った。
みずほは警備員を手配しようとしたが数がはっきりしなくてとか言い訳をしているが、カスタマーセクションは個別にどこのATMで誰が何番機の前で待ってるかを把握して記録している。
そして、その待ってる顧客は支店にも電話連絡している。
支店の担当と役職はそれはカスタマーの責任だからと、何らのアドバイスもしなかった。
実際には支店のATMであれば支店の権限でカードを回収返却はできるので、それをしなかったのは支店の担当者と次長、支店長の責任。 >>2
昔とは違うんだよ
掃除のおばちゃんが指揮をとっていればこんなことにはならなったんだよ 0634ガニメデ(神奈川県) [US]2021/06/16(水) 15:30:54.73ID:CLeWNSFe0
>>2
あら、ケーブル抜けてるわよ→ループ
うちで実際あった事故 実際IT土方は低学歴の受け皿でもあるから信じられない馬鹿も多いよ
実際IT土方は低学歴の受け皿でもあるから信じられない馬鹿も多いよ
0637宇宙の晴れ上がり(茸) [US]2021/06/16(水) 15:57:44.80ID:3Bpg2f4L0
>>130
そもそも飲み込まれる仕様がクソ、素直にキャンセルして返せばいいだけだろ
センターカットなんだから後から取り消した分のトランザクションを流しとけ
あと中に人がいるとかだが
みかんの皮を絞ったらATMからｷﾞｬｱという声が聞こえた 0638宇宙の晴れ上がり(茸) [US]2021/06/16(水) 16:01:13.21ID:3Bpg2f4L0
>>507
責任追及が無ければ誰かゲーム感覚でやるさ
自分の口座が無ければロストしても痛くも痒くも無い >>６３０
仕様は起こすものです
伝票みたいに言わないでください
>>625
は？
おまえこそ日本語がぜんぜん読めてない。
この記事が出たのは報告書の公開前。
その前提で記事の書き方がおかしいと書いてるんであって、俺のこの件に関する理解など関係ない。 0643スピカ(東京都) [IE]2021/06/17(木) 02:12:40.96ID:seO1rfPi0
0644スピカ(東京都) [IE]2021/06/17(木) 02:34:43.73ID:seO1rfPi0
>>13
何これ？
経営コンサルタントの為の訓示？ 0645ミマス(東京都) [NZ]2021/06/17(木) 10:11:44.19ID:4zrw3vJD0
0646プランク定数(埼玉県) [US]2021/06/17(木) 10:18:01.21ID:HqD4OoKW0
>>13
人が足りない
道具がない
予算もない
期間もない
↓
知恵で解決しろ！ 0647プランク定数(埼玉県) [US]2021/06/17(木) 10:19:09.65ID:HqD4OoKW0
0648エイベル2218(茸) [ﾆﾀﾞ]2021/06/17(木) 10:20:44.64ID:eYezvnme0
文系のバカばかり雇うからだよw
0649プランク定数(東京都) [RU]2021/06/17(木) 10:30:17.01ID:U/fjewY10
まず宝くじの独占販売委託を辞めさせることだな、そして解体
0650ニート彗星(大阪府) [US]2021/06/17(木) 10:41:51.12ID:C9nAKFGj0
>>1
ようするに、
訓練、運用マニュアルもなし、だから訓練もしていなかったと。 0652エイベル2218(和歌山県) [ﾆﾀﾞ]2021/06/17(木) 10:53:39.88ID:pJiUE8L70
バカでも運用できる仕様にしないのが悪い
0653アリエル(茸) [ZA]2021/06/17(木) 17:55:19.16ID:KuS5L8G/0
ATMからカードが抜き出せなくしたのは、システム部門の責任者の判断だろう。
いわゆる業務閉塞
4000台のATMからカードを抜き出せないことをしたら当然、新聞に載る。
当たり前、そこら辺のシステムとは違うから
そのあたりをわかった上で、業務閉塞をかけた理由はこの先も明らかになることは無いだろう
システムの規模が大きくなったり、公共性が高くなるほとシステムの可用性要件は厳密に規定されている
みずほのシステムもシステムの性質上、高可用性を求められており、可用性と言ってもさまざまな側面から検討される
24H365Dシステムと呼ばれるもので、障害で止めることが出来ないシステム
もちろん、メンテナンスのために休日の深夜帯の限られた時間に稼働系のシステムの一部を止めて待機系を動かしている時もあるが、システム自体は止まっていない
高可用性を求められるシステムでも決めれたハードウェアやネットワークのスペックを超えた処理は動かせない。
報道発表を聞く限りでは、今回は高負荷になる処理を多重で実行している。
こんなことを銀行のシステムでやること自体が、まずあり得ない。
処理時間は長くなるし、決められた時刻通りに終わらない。
この処理のリードタイムが読めないなんてことは有り得ない。
運用は指示があれば、例外的にジョブを実行する
運用はそれがどんなに高負荷になって、処理自体が終わらないなどということを事前に予測する責務は負わされていない。
今回の発表から感じることは
運用は指示に従いオペレーションをしてるだけ
例外的な高負荷で処理時間が大幅に遅延するジョブを実行しろと命じた者に責任がある。
この命じた者は、恐らくシステム屋であるはずが無く、みずほ側の人間
それを運用のせいにするなんて、ダメですよ、こんなトカゲの尻尾切り
そもそも、紙通帳の口座をネット口座にステータス変更かなんかする処理でしくって
記者会見で役員が「メモリ5倍で解決した」ドヤ！
みたいな発表してますが、メモリ増量って運用側では無くてシステム屋の判断が無いと決定できない
つまり、前週までは多重実行して60万件は正常に処理していたものが、70万件で処理が終わらなかった
CＰUも何十コアだか知らないけど、この60万件で処理が終わったている時のCPUの使用率、メモリの使用率、ネットワークの使用率
あとはちゃんとした商用DＢ使っていたら、いろんな情報がログに残る
これを見落とすなんてあり得ない
こんな発表、メガバンクのシステムの障害の原因分析になってないですね
たとえて言えば、タクシーに乗った客が車の前に人がいるのに
「いいからそのまま走れ」って運転手に命じて、人はねたら
「なんで人はねたんだ！」
って言ってるようなもの
とんちかコントかよw
それじゃタクシー運転手かわいそ
こんな、「ぼく人はねちゃいました」みたいのが
みずほ総研あたりじゃまかり通りそうだなあ
もうあのへんは魔窟
高負荷になることが予見できずに処理を動かすことは
「システムが不安定な稼働をすることになる」ので、システムとしては正常では無いのですよ
「消防署のほうから来ました。消化器買いませんか？」みたいな話
システムが不安定な稼働をしている状態を監視するのは運用の仕事だけど、予見するのはシステム屋の仕事
これを横からゴリ押し出来るのは客側にしかいない
システム屋も運用も決めたこと、決められたこと以外のことは絶対にしない
サーバールームには掃除のおばちゃんとか入ってるのは見たことは無いけど、掃除のおばちゃんが間違えてサーバーにつながっているLANケーブル抜いちゃったり、電源のコンセントに足引っ掛けて電源落とした所で、システムはびくともしないよ
大規模なシステムなんてさ
毎日のように、サーバーがブンブン動いているので、CPUなんて何個かは普通に飛んでるし、ディスクも故障してる、サーバーも故障したりもする
ありとあらゆるハードウェア故障は起きている
故障が起きてもシステムは止められないので、ありとあらゆる対策をこうじてある
まあ、冗長化構成なんだけど
いくら冗長化構成にしても、システムで規定されている使われ方以上のことをシステムにさせたら障害起きるよ
無理くり横やりなネット口座ステータス変更のジョブ実行を命じた人間は、行内ではとっくにわかっている
じゃあ、なんでそんな指示をしたのか？ってことにしかならない。
まあ、あくまでイメージだが
命じたもの「あ、あの処理だけど来週もやっていけそうかな？」
命じられたもの「先週までは60万件でなんとか処理できましたが、運用からの報告ではかなりの高負荷だったと聞いております。来週は70万件と聞いておりますので、なんらかの処理遅延が予想されます」
命じたもの「そんなこと聞いてねえよ。いけるかいくないかを聞いてるんだよ！」
まあ、こんなやり取りはあったんじゃマイカ？
命じた者は、命じられた者に責任転嫁ってイメージ
システムはエラーを出してたが
正しく評価できる人がいなくて再起動したら治るだろと思ったみたいな
ことなんだろな
役員が記者会見で
「メモリ5倍にして解決した」
ってかなり楽しいこと言ってるけどさ
まあ、この話も話半分でしか聞いてないけどさ
ネット口座にステータス変更の処理だっけ？
それも前週までのメモリ使用率とかCPU使用率とかDＢの使われ方とか全部残ってる
このログを見て、予見することは可能
これを予見できていないか、この件に人的なコストをかけなかったんだろうね
そんなに難しい話か？
システム屋読んで、処理で検索されたり更新されるテーブルの総数、各テーブルのカラム数、メモリキャッシュできる物理バイト
L I N UXサーバーで動かしてたらしいけど、後ろはハードディスクなのか、ストレージなのか？
クラスタ構成なのか
ジョブは何多重まで可能なのか？
これと、前週までの実績値を検討すれば、普通のシステム屋なら、事前にメモリ増設して、メモリ割り当てサイズ変更するよ
CE手配して、メモリ増設してもらって、DＢAにメモリの割り当てサイズ変更したら済む話
これがスッポリ抜け落ちてるなんてあり得ないよ
たとえて言えば、車のタイヤの空気が抜けているかもしれないから、これから高速走るんで、空気圧見てくれない？
ってガススタの人に見て貰う程度の話だよ
特別、高度な専門知識いらない
前週まで60万件のバッチが動いて、
問題が起きた週は70万件のバッチが処理遅延した
やめてほしいわ
それで4000台のAＴM停止とか
頭取は記者会見で「あんな寒い日にお客様をAＴMの前でお待たせしてしまい」
とか心情的な発言やめてほしかった
バッチ処理の遅延とATM停止のどこからどこまでが関連があるのかなんて話は出てこなかったし、まあ、それを明らかにしちゃうとこの銀行のシステムの一部がわかる人にはわかるから明らかにしなかったんだろうけどね
そもそも、銀行のキャッシュカードに記録されている情報って何？
何から何まで詰め込まれてる訳じゃない
今回は紙通帳口座からネット口座に切り替える時に、カードからサーバー経由してこのカードの口座はネット口座ですって識別する時に、サーバー経由するより、カードに書き込んじゃったほうが、あとあと都合が良いので、バッチ処理を毎週実行してステータスを変更しておき、誰かのカードがATMに飲み込まれる時にサラッとカードに書き換える作戦だったことがわかる
それが肝心のバッチが処理が終わらない間でも、ATM利用者がいるので、感極まってATM停止しちゃった
「寒い日にお客様をお待たせしてしまい」
じゃなくて
「こっちはバッチ処理終わってねえから、てめえらATMの前で待ってろ。コルセンに電話しても誰も説明させない」
って言ってるようなもの
頭取が記者の質問でATM停止した理由について
「口座と言うのは金額の記帳がございます。これが今回のバッチ処理の遅延で、間違えてカードに記録してはまずいので、ATMから一定時間出さない処置をとらせていただきました」
ってのがある
あーなるほどなあ
確かに金額に間違いあっちゃまずいもんなあ
みたいにまるで刑事が犯人に「かつ丼食うか」みたいな落とし方がね、もうしらじらしいと言うか
カードに入金、出金の何から何まで記録されてる訳ないじゃないの
要は、みずほの都合で2021/4月から紙通帳のままだと印紙税がかかるから、コストを抑えるために、ネット口座に早く移行したかったのと
カードをATMに入れて、紙通帳口座なのかネット口座なのかをいちいち分散化しているとは言え、サーバーまで問い合わせに言って判断させる際に必要なネットワークトラフィック量とそれにかかる通信費用を抑えるために、ATM内でカードに書き込まれたステータスをチェックするだけすれば、みずほは費用削減できる
で、4000台止めた
まさに自行の費用対効果を優先させて
トラブル起きれば、4000台のATMの前で人を待たせる
ゼニを扱ってるだけあって、やることがいちいち手がこんでる
さすが、みずほ
メガバンク
やることが桁違い
今回の発表も、さすが、みずほ
「システムは正常だった。運用に問題があった。」
システムの信頼性？
そんなんわかってる話で、99.99999%の高可用性を維持してる
今回の件は、銀行がいかに費用をかけないでカードのステータス変更をするかだったので
1.高負荷の処理を無理矢理実行して処理が遅延したとしても、4000台のATM止めたほうが安く済む
2.紙通帳口座なんて印紙税かかるから、無理矢理、ネット口座に切り替えるためには手段は選ばない
新聞に載るような事が起きても、頭取あたりに頭下げさせれば安く済む
3.金融庁への報告にしても、メガバンクが業務停止を喰らうことは無いので、やらかしても調査委員会かなんかに報告書作らせたほうが安く済む
あとは運用側に問題があったとしておけば、ほとぼりが冷めてくるので、安く済む
さすが、メガバンク
今回の新システム みのり
メインフレームを16台から9台にした
これも安く済ませるため
メーカーも嫌がっただろうが、この箱をここまで減らしたのは大きい
ついでに、メインフレームにぶら下がっていたコボルしかできないおじさん達もかなり削減されたんじゃない
これも安く済ませてる
問題のあったLI NUXサーバー
導入費用がメインフレームなんかと比べて桁違いに安い
かなり、安く済む
ソースコードも日本人じゃなくて中国人あたりが書いてるんじゃないの？
安く済むからね
問題のあったバッチ処理に使われたDＢもアヤシいもんだなあ
ＯRA CL Eだと高いもんね
で、頭取以下役員は減給処分
社長も減給半年だっけ？
痛くも痒くもないでしょ？
もともと貰ってる報酬が桁違いなんだから
これもこんなですんで安く済んだね
あれ？
今回の件で幹部にIＢMの人間入れてますね
これ、高くつくよw
>>669
実はIBMの地銀じゅうだん会向け基幹システムは
上海でソース書いてる。
日本語壊滅状態のを寄越されて涙目になってたよorz 