「NTTクラウドのデータ、ぜんぶ消してみた」 原因はDELL EMC Unity 500オールフラッシュストレージ
■ このスレッドは過去ログ倉庫に格納されています
2019年12月10日19時ごろ[編集 | ソースを編集]
EMCジャパンは、12月4日に同社ストレージ装置に故障が発生したことを認めたうえで、
「障害発生後から日本電子計算と復旧対応を行ってきた。ファームウエアを修正するなどして
12月6日午後10時15分にストレージの修復作業は完了し、日本電子計算へ納品した。
現在は日本電子計算で業務復旧作業中であり、当社も復旧へ向け全力で協力している」と述べた。
これに対して日本電子計算は12月10日、「12月6日にストレージ装置のファームウエアの
修正は完了したが、いまだに読み書きできないデータがあるのも事実で、復旧に至っていない。
その原因箇所がストレージ装置を含めシステムのどこなのか、さらにその内容も調査中で、
現状は特定できていない」とコメントした。
https://monobook.org/wiki/%E6%97%A5%E6%9C%AC%E9%9B%BB%E5%AD%90%E8%A8%88%E7%AE%97 2019年12月10日11時ごろ
「Jip-Base」で利用していたストレージは米デルテクノロジーズ
（Dell Technologies）の「Dell EMC Unity 500」であることが発表された。
このストレージ装置の特定のバージョンのファームウエアを使い、
さらに高速に読み書きするための並列処理機能を使う条件がそろったときに不具合が発生したと見ている。 2019年12月09日
「新たなトラブルが発生し計画の大幅な見直しが必要と判断した」と発表した。
ハードウェアの故障は解消したが、その後の動作確認で各種データに正常に
アクセスできな事象が発生していると発表された。同社によるとサービス復旧
計画の再策定を行っているといい「現時点で全面復旧のめどを知らせることができない」としている。 壊れてるデータでバックアップを上書きしちゃったパターンかな ぶっちゃけデータの復旧ってできるかできないかの二択で可否はすぐわかるから
今できてないもんはこの先もできないよな >>1
だからフラッシュメモリーは信用するなと行ったのに
HDDなら救済できたはずだよ EMC製品はクソ
高いから高信頼と勘違いした馬鹿が買うもの
さくらのクラウドもEMCでやらかしてたろ 戸籍が無くなったり実印がどれだかわかんなくなる人が多発するのか？ |ヽ∧＿
ゝ ＿＿＼
||´・ω・`| ＞ やめなよ
/ ￣￣ ､ヽ __＿＿＿＿＿
└二⊃ |∪=| |─── ／
ヽ⊃ー/ノ ￣￣￣￣￣
￣｀´￣ 練馬区は保険が完全に飛んだらしいからな
どうすんだよ >>17
フラッシュのせいではなく、キャッシュの不整合バグぽい
先日KBでたな
データ壊れてじゃのかな デルってCIA直轄の国営企業でしょ？
あまり叩いたら米国に経済制裁されるぞ。
だからHDD売却と違ってテレビでは一切報道しないのかもしれんが。 練馬は自前バックアップとってた戸籍以外は今もストップしてる 2008/09/14(日) 22:30:48.60 ID:mNrtA2B90
深夜のメンテナンス作業で眠くて眠くて、ユーザーの伝票明細テーブルを間違ってTRUNCATEした。
ROLLBACKも効かない。
あせってArcserve開いてテーブルを戻そうとする・・・ログウィンドウを見ると、
バックアップバッチは数ヶ月前から停止したままだった。
頭が真っ白になった。
IDCを出て深夜の自席に戻って、机の中の大事なものをかきあつめてかばんに詰めた。
社員証を課長の机の上に置き、会社を出て、アパートに戻る。
保険証、パスポート、前の年に死んだ愛犬の写真を持ち、始発にあわせて家を出る。
携帯が鳴り始める。何度も何度も何度も。空港につくころには着信が１００回を超えた。
電池を抜き、俺は北海道行きの飛行機に乗った。
逃げるなら、なんとなく北、というイメージがあった。
それから３年無為な生活をし、ほとぼりが冷めたころ、北海道の小さな
ソフトウェア開発会社に就職した。
経験を買われて、すぐにプロマネになる。
そして、孫請けながら大きなプロジェクトに参加することになり、
キックオフミーティングのために東京へ。
発注元とともに汐留で会議に参加する。
・・・会議室には、俺が逃げ出した会社の部長と、課長がいた・・・
ふたりとも、会議のあいだずっと、顔を真っ赤にして俺を睨んでいた・・・
こみあげてくる胃痛と嘔吐感に耐え、会議が終わると同時に俺は会議室から逃げ出した・・・
それが、先週の金曜日のこと・・・死にたい・・・ >>34
デルが使ってたサムスン製SSDの欠陥だからサムスンのせい >>31
バックアップもサムスン製なら何重にしても無駄というw netappも最近fcで大問題おこしてる
hp，dell，netapp問題だらけ。
ストレージ全滅ww 中野区と練馬区は独自バックアップしてた戸籍管理システムだけ生きてるっぽい。
税務も保険も全部消えたってよ。
どうすんだよw たぶんこうやって5Gインフラも簡単に壊滅できるんだな >>1
TLCタイプのSSDが原因だったらサムス・・・・( ・∇・) ファームと言ってる以上はSSDのコントローラが原因だろう
DELLにしてもHPにしてもSSDを製造してるわけじゃないんだから
OEM元公表しないと意味ないだろう >>40
そういう類いの障害じゃない
ディスクとかじゃなくストレージまるまる一個
同じものを用意しとかないとダメなケース ぶっちゃけストレージ製品もスイッチ製品も
バッファローやアイオーデータ、QNAP、NETGEARなんかの
家電量販店で売っている野良で鍛えられた製品の方が品質は高い。
コールセンターがパンクするからね こういうのが有るから、役所は紙残しとかなきゃ駄目なんだよな
時代遅れとか言ってる情弱多いけどw こういうのよりバッファローのテラステーションの方が安定してそうだよね。 |ﾟДﾟ)ノ 物は動くようになったけど中身は戻せないって事だな
|ﾟДﾟ)ノ ykrt
|ﾟДﾟ)ノ make onlineは落ち穂になったわ >>44
水車や車のエンジンも作れないような国のパーツを使うからやw >>6
ストレージのファームウェア障害だから管理テーブルがイカれた可能性がある
その場合たとバックアップを含めて死ぬ
データがどこに書かれているかわからなくなるからバックアップもクソもなくなる
リモートバックアップやDR構成を組んでれば別だけど
地方自治体レベルだとまずそのまでの保守はやってない 「紙で残ってないのか？」
「昨日シュレッダーに・・・」 キャッシュ上のデータとストレージ上のデータのズレが発生するらしい
致命的 軽くググったけど使われてるストレージのメーカーは分からんな |ﾟДﾟ)ノ キャッシュのバグとか言ってる人いるけど
|ﾟДﾟ)ノ 普通サーバでディスクキャッシュなんか使わないだろ？
|ﾟДﾟ)ノ SSDって切れないのか？ まさかのストレージのスナップショットをバックアップと言っていた可能性。 報復措置としてフッ過水素の輸出規制をしたら自国の基幹データが吹っ飛んだでござる マジで原因はサムスンかよ？ウォン安も来てるし 天文学的な賠償金になる >>65
あまり詳しくないんならこれ以上書き込まないほうがいいよ ニュースにはサムソンって出なくなったな
すんどってやつかな >>76
あるぞ…ある
保存先はもちろん同じ筐体内… >>58
時代とか古いとかを理由にするやつって詐欺師だと思ってる >>78
単純なSSDの不具合とかじゃなくて
コントローラーの不具合と見て良いのかな？ >>81
今回問題になってるのは、fast cacheでした。
さーせん >>87
シノロジーはショボいけど安定はしてるよね。
QNAPは見た目が派手でゴテゴテしすぎなせいか不安定な部分が多い。
とくに電源周りは残念。
UPSも弱い >>29
仮に円盤だったとしても壊れたデータ書き込んだってこと？ 壊れたデータをバックアップしていてどうにもならないパターンか
どうしようもないなw >>53
同じストレージ内でバックアップとかありえんやろ… >>96
ソフバン系のクラウド吹っ飛んだ時は実際それをやってた模様・・・ >>37
このコピペよくみてたけど
業種は違うけど
まさか自分もそうなるとは DELLとHPがダメとなると、どこのサーバー使えばいいんだよ？ >>49
その情報で区民は混乱するし、嘘だったら公務執行妨害つきそう そろそろ人がプログラミングしちゃいけない時代になってきたのかもしれない >>101
mac miniを並べてクラスタリングを組むのがベスト >>4
両方ともドライブとかコントローラーは仕入れてるから供給元が同じなのでは？w >>10
オンプレでも同じマシン使ってたらアウトや なんか他社のせいにして言い訳してっけど、要するにこの会社のミスだろ？ デルテクノロジーも NTTだから
結論 NTTが悪い HPとDELL元は同じとこか
中華の仕込みアタックではなさそうだな
後はトランプがどうでるか >>87
俺も
QNAPも使ってるけど安定性がちょっとなぁ… お役所だとテープメディアでもバックアップ取ってるイメージだったんだけどそうでもないのか >>24
戸籍は中間サーバーにあるから大丈夫だよ
印鑑証明は無くなることあるかもな >>116
QNAPは新機能に突撃しすぎなんだよね >>74
管理テーブルを保存するのもキャッシュだぞ >>58
そうだよな映画会社とかフイルムで作品残してるしな 大量に購入してたから調査してくれたんだろう
他の会社だったら原因不明だろうな >>118
キャッシュと実データの不整合なら壊れたデータをバックアップしてる感じじゃないの？ 自治体だと変にシンクラだったりするから、本当に何も残ってないかも。
こういうトラウマ級のインシデントが発生すると、個人でこっそりUSBにコピーしたり
ゴニョゴニョするやつが出てきて、別のインシデントの元になる。 無難に差分を適度に光学記憶媒体にでも日々、バックアップだよな。 SSD飛んだのはサムスンのせいだったが、バックアップに何らかの不具合があって戻せなかったってことなのかな？
その不具合の理由が未だに解決されていない、と バックアップもストレージだったりするからなあ
同じバグ抱えて同時にアボーンしたら終わり 釈迦念仏だと思うけど
基本、ストレージ機器ってのは壊れても大丈夫ってのを基本に組むんだよ
だからファームのバグだろうがなんだろうが、構成組んだ人間が悪いって話に終始する
EMPでその辺全域イカれたわけじゃないんだから バックアップが役に立つなら
日曜日に別サーバー立てるぐらいやってるだろうから
バックアップが役に立たなくなっちゃってるんだろうね クラウド側に高度なバックアップ機能があるからもしもの時も大丈夫と思い込むとか何とか 結局どこどこの自治体が迷惑被ってんの？
一覧とかないの？ |ヽ∧＿
ゝ ＿＿＼
||´・ω・`| ＞ やめなよ
/ ￣￣ ､ヽ __＿＿＿＿＿
└二⊃ |∪=| |─── ／
ヽ⊃ー/ノ ￣￣￣￣￣
￣｀´￣ ストレージの仕組みがクソだわ
データは書き込まれてるんだからシンプルに読み直せるように作れよ >>96
論理データ障害用の差分バックアップ
ドライブ障害用のフルバックは一般的に同一ハード内
ハードの全体的な障害（災害復旧）向けのバックアップは別のハードにしていたりするが
今回はデータ化けで
間違ったデータでバックアップを上書きしちゃうからバックアップも含めてイカれる
もちろん、別のハードのバックアップにさらに差分バックアップを取っていれば復旧できたが… データだけに向き合ってるとそのデータが物に見えなくなってくるんだよな
機械が物を動かしてるわけだから機械は壊れる
その概念がクラウド化で更に薄くなってるからこういう事故は増えてくるだろうな >>147
それだと無駄が大きいから仮想化してんのよ >>56
へえ、今はそうなんか
昔はその辺り会社で使ってたら鼻で笑われたもんだけどな >>4
>なんでHPと同時多発的に起こってるの？？
ファームウェア屋ってのがあって買ってきてインストールしてるだけだからだと想像 このオールフラッシュっていう製品、リリース記事か何かを見てすげーな夢のような記憶装置か、、、
データベースのリビルドとかインデックス作成とかやったら速いんだろうなとか思ってた。
映像処理には良いかもしれないけど、官公庁地方自治体のデーターベース処理ってどのくらい重たいのか。
はっきり言って必要なかったんじゃないのか。
買わされたんだろうな
今失われている機能の処理量ってどのくらいの量なんだろうな。
普通のSSD搭載パソコンにネットワークカード強化した程度のもので、かなりの量をカバーできると思うけど
そういうマシンを複数台用意する構成の方がよかったな。 >>56
いやいやいやいや、QNAPは使ったことないが、他はよく固まるし壊れる。
とてもエンタープライズで使える品質じゃないよ >>68
さすがにテープには写してるだろ
ファイル単位かRAWで丸ごとかは分からんが >>149
いや、単純に「ソフトウェアにバグはつきもの」この観点が無いのよ
売る側にもね
ソフトウェアのバグのリスクも考慮した冗長構成が組めていれば今回のデータロストは避けれた
ただそんなシステムは危なっかしく見えるから売れない
だからそこはノーガードにして見せないといけない >>159
今時のストレージはテープに入らんだろ
バックアップは同容量のSSDにやるしかない >>37
俺は初めて彼女とMMXした。
「もうそろそろiiyama? 君のI/ODATAを確かめたいんだ。XT」
MITSUMIあうと、彼女のMECはALBATRONとしていた。
緊張した俺は焦り彼女のソケット４７８をAOpenしようとした。
「ちょ、ちょっとRADEON！何をSis」もう俺は既にエレコム。
Sound Blasterのホックを外すとはちきれそうなPioneerがBarracuda
でもBIOSTARは意外と玄人志向だった。
「恥ずかしいわ。あまりミネベア・・・」
SCSIをTORICAるとKEIANをSOLTEKした痕がアルファデータ。
あそこはSUPERMICROだった。
OMEGAドライバも少し鼻についた。
しかし、彼女のCREATIVEを刺激しつつ俺のセレロンを
彼女のSerial-ATAからASUSに這わせると、「FireWire～ン」
「もう、ATI」「COREGA欲しいんだろ？」「早くリテール」
俺は激しくTSUKUMO。「インテルはいってるっ！IEEE！1394！」
「あぁ・・・もうDell！」 >>13
なるほどそういう意味か
ってゆーか、ＥＭＣはデルに買収されてたんやね >>163
LTO678辺りだと普通に寺単位で逝ける >>167
>>44
サムスン製かわからんが、まだ可能性はあるぞ >>169
この手のストレージはペタやエキサバイト単位の世界だぞ Flash! A-ah!
Savior of the Universe
Flash! A-ah!
He'll save every one of us
Flash! A-ah!
He's a miracle
Flash! A-ah!
King of the impossible |ﾟДﾟ)ノ 漏れが設置したサーバじゃキャッシュ切ってたけどな
|ﾟДﾟ)ノ どこの会社が使ってんの？ >>157
単純で枯れた技術×物量が最強だよね
最近かしましい、
階層化ストレージ
HCI（Hyper-Converged Infrastructure）
なんて
誤動作したときの復旧は絶望的に思える >>167
>>44
左下にサムスンって書いてあるぞ
てか、先週HPの件といっしょに、散々サムスンって言われてただろ サムソンの工作員大量に湧いててワロタ
相変わらずタイミング同時でわかりやっすｗｗｗ >>177
一応HPの件とは別って話と報道してたし、
サムスンのあれは一定時間超えたらデータ破損とかそういう話だろ
一応異なる話だから別件と思っておいたほうがいい
でもサムスンって書いてあるなら、まぁ同じ件なのかね お前らが専門的過ぎてよく分からないんだけど、つまりどういうことなの？ >>158
この人、10人ぐらいの事務所ベースの話をしてるんじゃね？
何万人も使うようなものは想像できてないと思う >>157
フュージョンドライブとかフラッシュのキャッシュが出て来た時
乗っけるだけで(とくに最適化できてない)データベースのパフォーマンスが
チートって言われたくらい速くなったから結構流行った
データベース系はフラッシュばっかだよ
最近はフラッシュをドライブじゃなくて全部メモリマップしてさらに
高速化するってのが出てきてるくらい 運用はSSDでバックアップはHDDにしとけ
神奈川県庁のみたいに半端に消したつもりでも復元できちまうのがHDDのやっかいなところでもあり強みだな >>11
バックアップは出来ててもそのインデックスが飛んだとしたら
断片化しててデータはあるのに取り出せない状態になる
データが無くなったとまでは言えないかも知れないが
復元に事実上無限の時間が掛かるなら無いのと一緒だけどな >>172
Ｕｎｉｔｙじゃそんなに大容量にならんでしょ >>30
ほんそれ
関西生コンも不思議だが
覆面パトカーが高速道路IC直前で観光バスの前に割り込んで大事故も放送されないし
今回の件も流れないのが不思議 >>131
テープはコントローラと記録メディアが完全分離しているところが強みだよね >>191
覆面パトカーとバスって大事故じゃないじゃん
残念ながら当たってもいないからバスの単独事故扱い
これバス側も被害0だろ フラッシュストレージって、一瞬で全部消えてサルベージできないイメージ >>157
自治体はクラウドサービスを利用していただけでサーバー側がどういう機器を使用しているかなんて
関知していないだろ。 仮想サーバーなのが実体があるのかすら知らないかも >>186
メモリに全部書き出して処理させればそら速いけども速さだけしか見てないアホどもに扱える代物じゃないんたよな。。。 >>4
全部サムスンの部品使ってる
起動時間が約三万時間ちょいでクラッシュするバグ >>181
HPのはSSDを普通のストレージとして利用している場合の話で、同様のファームのSSDを
キャッシュとして組み込んでいる製品がある可能性はあるよね。 >>195
WDってSAN DISKだからずっと上 >>44みてるとやっぱりサムスンなんだな
HPのせいみたいにされてたけど、あれも提携会社のストレージが原因って発表してたんだからHPは組んでるだけで不具合出してるのは提携会社であってHPは告知しただけの被害者
バグフィックスからサムスンって特定されてたけど今回のデルもサムスンみたいだし
なんというかこの危険性はメーカーであるサムスンも、情報うけてたであろうデルも知っててだんまりしてるってことに恐怖を覚えるよ
HPはさっさと告知して悪者扱いされてる感じで正直者が馬鹿を見てる >>181
HPがうち関係ありませんって言ってるだけだろ
あれはHPとサムスンの件
これはデルとサムスンの件だとしたら根底は同じでもHPの件とは別 >>184
バカだろ
何万人も使うようなシステムにバッファローやNetGear使うかよ
ド素人はだまってろ >>204
いや根底というか原因が同じなら、一般的には同じと考えて差し支えないだろ
ユーザーからの直接責任を負う会社が違うだけの話でさ… >>206
ごめん
>>184でなくて、>>56の間違い >>210
自治体向けのIaaSだからまたちょっと用途が違う DELLだけにDELしちゃったか
社名から一個Lを取れ >>205
ぶっちゃけ野良（民生品）で鍛えられてるバッファローやネットギアのほうが信頼性は高い。 >>33
同期使ったバックアップなら可能性あるね。 これ株とかFXとかビットコインとかのデータでやらかしたらどうなるの？
全部無に飲み込まれるの？ オールクラッシュストレージってｗ
名は体を表すって奴か フラッシュとか電力対策か？
HDDのほうが安い気がするんだけど >>44
型番が「ＭＺ－」始まりな時点でサムスン確定じゃんｗ >>1
ずいぶんと他人事な発表だな
納品した、なんてカンケーないがな >>182
サムスンのＳＳＤを使ってるとデータが消えるってこと 日本人なら別にサムスンが原因で不都合はないはず
サムスンが潰れようがねw まぁこれの原因がサムスンならマジで終わり
韓国経済も終了 最貧国へ一直線になり 世界中から嫌われているので
滅茶苦茶叩かれるだろうね DELLやサムスンのせいにしているけど、
他では起きてない事だし、原因はジャップ側だと思うぞ。 JIPの件か。hpのストレージのせいじゃなかったのね 1週間も復旧しないっておかしいだろ。それに全然ニュースになってない。なんなん。 オールフラッシュとか既にフラグ臭がプ～ンプ～ンと香ばしい匂いがw なんかもう別の器用意してバックアップ書き戻して復旧させたほうが早そうな気がするな。
自治体の仕事を1週間以上麻痺させるとかかなりヤバイと思うんだけどね。 これかなりやばい話と違うの？
例のタイマーだとしたらもっとちゃんと報道しないと...あっ クラウドに置いていいのは、飛んでも大丈夫なエロ動画だけ そもそもこういう障害は起こり得るリスク
リスクの確率を限りなく0にしようと頑張ると費用が高く成りすぎる
その為に税金を倍以上投入とかバカみたいな事できないしな
しかし時間かけて障害の切り分けが出来てないのは問題だわ >>236
ストレージのデータをバックアップとか知識薄いとこだとやらんぞw
ここにも大勢いるストレージが何かも分かってないやつらばかりなんだから >>237
公共放送も他も報道は全部シナチョンのスパイ組織だしねw >>216
そのBuffaloなどの製品が最低でも5年間供給可能で7年以上サポートしてくれるのならな
1年たったら新製品になってて前の機種は手に入りませんじゃ困るわけよ >>244
練馬区の変なレスを見せたかっただけだろw 32756時間でオーダー６６発動ってところがプログラマーあるあるで素敵 >>237 いまサムチョン叩くと韓国消えちゃうからｗ >>203
HPはセットメーカーとしての責任果たしてるだけ。
部品供給側のせいにするアップルやフォード、ボーイングが卑劣なんだよ。 DELLってストレージじぶんのところでつくってんの >>203
韓国の責任を認めないで人のせいにする気質は不具合のときどう対応するんだろう この案件に関わってるやついないのか？
5chやってる場合じゃないか？www >>252
バックアップなら化けたデータで上書きされたんだろ >>56
中のSSDの話だろ
それらのメーカーはSSDを作ってるか？ >>174
What do you mean Flash Gordon approaching ? >>264
中身は歩留まりの低いラインで作られただけで同じメーカーのが入ってるんだよな バッファローはコンシューマ向けだとリビルドHDD故障のエンドレスになったから絶対使わない アメリカのクラウド屋と違ってよくデータが壊れる上、他社のせいだで済ます体質はやばいよな >>200
Unityってもう32000時間も経ってるのか？
と思ったが、2016年5月発売っぽい。
2020年1月いっぱい位は大丈夫そうなんだけど、なんか別のバグも持ってそうだなぁ。 >>123
やっぱりフラッシュメモリーが元凶だったか。
磁気媒体なら物理的に取り出せるから変だなぁとは思ってたわ。 >>274
だからこれ別のバグだよ
完全新規のバグだから同じ製品を使用してる
全ての会社で起こる可能性がある 担当者はYOUTUBEで日々実況して欲しい、
毎回観るぞ
バックアップなくてワロタ、みたいなの >>284
ついさっきまで、有識者の回答があったのに運営に書き換えられてるわ
ビンゴだな パソコンの中身Dropboxに全部同期してんだけど、綺麗に無くなるって事ありえるの？
自分のHDにあるから大丈夫？ 俺がクラウドにあげてる法に触れるやばいやつも消える可能性あるのか クラウドって、データが消えないのが最大のウリじゃないの？
2重にデータ保持くらいしてないの？
ユーザー、マジギレだろ だからねHDDは、信用ならない！
所詮、機械だからねーこわれるわけよ。で厄介なのが、普通に書き込んでないからクラウドとか、壊れたら戻すの大変なわけよ。 外部保管してねーからだ。
ＬＴＯに入れて月１でやっとけ。 >>289
なんでクラウドだとデータ消えないと思ってるの？
クラウドなんて、責任の所在を曖昧にして、その分安く提供するだけのソリューションだぞ？ メインフレーム時代は、高くてもメーカー保証の安心感があったな
磁気テープを外部保管して、OS、ミドルソフトまではメーカー1社だったし コンピュータが壊れない魔法の機械だと思ってるのがおかしい。 飛んだ時にOSが持ってたディスクキャッシュとジャーナルは喪失してるだろうからなあ
整合性の回復は難しいかも DBのトランザクションログまで壊れてそう
んで、それをバックアップしてたのでもどせないとか >>23
9年くらい前のやつだったら、Sun(Oracle)じゃなかった？ >>69
「なら復活できるな」
「はぁ？」
「やれ」
「・・・」 「バックアップなんて必要ない」って言ってた
あの人、元気にしてるかな？ >>146
神奈川県逗子市だけ敬称なしなのは何でなの？ >>304
あったなぁ、切り貼りしてって地獄のようなパズルだった… ここの端末じゃなく
シンクライアントで記録媒体を一括管理して
オンプレミスにするのが一番安全な気がしてきた というか1週間経っても復旧しないってクズもいいところじゃね？
仕事をしろよ、仕事をよ！ >>310
オンプレでもHPやDELLのストレージ使ってたら終わり
テープバックアップしてるなら話しは別だが最近はテープバックアップの案件ほとんどないわ >>311
バックアップまで論理的にぶっ壊れたデータで汚染されてんじゃね ホームページ復旧作業を進めています。 ご不便をおかけし、申し訳ございません。
１週間ぐらいたつのにこれしか表示しないってどういうことだよ、中野区 >>312
日次バックアップはテープじゃ追いつかないから、週次でフルバックアップをHDDに取って、
日次で増分なり差分なりでバックアップしつつフルバックアップをテープに追い出す、みたいな
感じになってない？ 例のHPの奴の中身、あの型番で検索したらDELLとLenovoも見つかったとレスした俺が通りますよ
eBayだったかな >>289
>クラウドって、データが消えないのが最大のウリじゃないの？
自分ちで消えないってだけ
言い換えると自分のミスで消えるリスクがない
その代わり他所（データの預け先）で消えることがある なんか大阪の和泉市とかココと組んで窓口業務の電子化の実証テストやってたようだけど、
SLAは障害時のサービス復旧4時間以内だったらしいよ。既に丸一週間以上死んだままなん
だけど、どうすんのこれ。損害賠償請求するっつってるらしいけど。 クラウドにおけるデータ保存は、AzureでもAWSでも別々の遠隔地に
二重保存することにより災害などからの復旧を手助けするのが主
自前で日本国内の遠隔地二重化とか大変だからDC使って実現するんだよ
少なくとも一カ所のDCでまかなって終わりならほとんど意味が無い
近所の鯖屋でラック借りてるのと同じ事故が起こればはいそれまでになる
だからクラウドもAzureとAWSとか異なるDCで二重化するのが海外での一部
流行だったりする 自治体システム障害長引く 和泉市
2019年12月11日15時14分
和泉市を含む全国約５０の自治体で起きたシステム障害の発生から１１日で１週間がたつ。
影響は縮小しつつあるが、解消のめどは立っていない。
市はシステムを運営する日本電子計算（ＪＩＰ、本社・東京）に対し損害賠償を求めることも検討している。
障害は４日午前１１時前に起きた。和泉市の住民情報などを扱うＪＩＰのシステムがダウン。
住民票の発行や転出入手続きなどができない状態になった。
ＪＩＰは５日、データを保管するストレージ（記憶装置）に付随するソフトの不具合が原因と発表。
当初は９日の全面復旧をめざすとしていたが、９日には「別の不具合が生じた」とし、全面復旧のめどは示せないとした。
和泉市は通信途絶に備えた予備システムを使い、住民票の発行や転出入など主要業務を再開した。
ただ、システム能力の制約で、１０日現在もこども医療証の発行など、「後日郵送」となっている業務が多く残っている。
「すぐ必要だ」という市民に職員が届けに行ったケースもあったという。
市によると、ＪＩＰとは重大な障害が起きても４時間以内で復旧する契約を結んでおり、
担当者は「ここまで復旧しないのは想定外」と話す。
市は対応にあたった職員の時間外手当などをＪＩＰに請求する考えだ。
ＪＩＰ広報担当は、損害賠償について「個別の話し合いになるが、真摯（しんし）に対応する」とした。（加戸靖史）
… ファームウェアのアップデートて結構重大なシステム変更だから
フルバックアップとるのが普通だけどやってなかったんかな これ公開されてないだけで年金とか軍事機密とかも消えてんじゃねえ？
「オンプレでファイルサーバとバックアップサーバが死にました復旧不可能です」みたいな。 で、日本電子計算のDCは遠隔地二重化とか出来たの？出来なかったの？
出来る状態で依頼しなかったのなら依頼側のミスでもあるし、元々出来ないなら
そんな屑会社選んだ依頼側のミスでもあるんだが このSSDのファーム境界テストとか全くやってなかったってことだよな
プロユースの製品でそんな杜撰な製品出してしまったら信頼0じゃね？ >>327
仮想テープ
それ、中身ストレージだから、、、 つまり同じシステムだと今後も地震火事洪水の何か一発で再起不能ということかな
別の所にバックアップ置いて無いってこと？ >>333
不具合に長い間気付かなかったとすると、災対先のバックアップデータも論理的に破壊されている可能性がある >>333
同一建屋、同一リージョン(地域)なら災害に弱いだろうし機材導入も
同時期だろうからシステムバグとか災害で逝くだろうね。
せめてリージョン違えば導入時期もずれて計らずとも時限バグなんかは
回避できるかもしれんが
各所のDC一斉に立ち上げる(スタートする)とかかなり無理草だからな 大切なデータなら主系(もちろん多重化)で日常処理をして差分・増分を副系に送って
副系ではそれをリストアしてバックアップの確認・検証を行う
万が一に備えて副系も多重化スタンバイだな
リストア可能であることが確認できなければ即原因究明に当たれるし
その間の保護方法も検討可能だ
本番環境へのリストアも問題なく検証できるから以外と安心な方法
手間と金はかなりかかるが喪失コストとの兼ね合いだろう >>297
従量課金の選択肢があるだけで全然安くねーけどな 開発費ゼロで安い月額料金だけで済むんだから
これぐらい許してやれよ >>333
同じ型番のストレージ使ってたら
分散化しても同時に死亡するので無意味
同時に死亡することまで込みでシステム組んでる所は希少では？ 東京都練馬区
@nerima_tokyo
【12月11日（水）現在】12月4日（水）の午前11時頃から発生しているシステム障害ですが、
一部のシステムは復旧しているものの、
全てのシステムが復旧するまでにはもうしばらくかかる見込みです。
ご不便・ご迷惑をおかけしお詫び申し上げます。
午後3:49 · 2019年12月11日·Twitter Web App >>341
流石にデータ消えるとわかってたらこんなとこに預けないわな。
っつーか月額料金は結構ボッタくってると思うよ。
オンプレでやるよりむしろ高くついてんじゃないか？ 大事な写真データはクラウド保存で安心かと思ってたけどそうもいかんのか(´･ω･`) >>346
同じ使い方をしたらクラウドの方が高い。
まあバズワード散り嵌めて客先のバカ情シスとバブル役員を騙せりゃ良いと思ってんだろうな >>347
GoogleとDropBoxに二重に保存すれば？
多少の気休めにはなるよ 実際それで今のところ上手くいってるしなベンダー側は 東京都中野区（広報係）
@tokyo_nakano
介護保険や高齢者支援に関する手続き、HPの閲覧、メールの送受信ができず、復旧の見通しが立っていません。
SNSや図書館HP等への一部情報掲載を行います。
また、12月1日現在のHP(一部)をFBで紹介しています。
ご不便をおかけし本当に申し訳ございません。
午前8:14 · 2019年12月11日·Twitter Web App >>289
インフラの提供だけです
バックアップはお客様が勝手にお取りください クラウドのメリットはスケールアップ・ダウンが簡単にサーバールーム・回線気にせず
出来ることだろう
規模がほぼ固定なら確かにオンプレの方が安い場合もある
それでもバックアップをクラウド"にも"取っておけば多少は安心だろう
5TBでもかなり安いしいやならすぐやめられる なんとなくだけどサイレントでデータ破壊起こしてそう
バグり方によってはバックアップ時点で壊れてる可能性があるから検証にやたら時間かかってるんだろう 千葉県浦安市
@urayasu_koho
システム障害により介護保険業務に支障がでています｜浦安市公式サイト
現在、システム障害により、介護保険業務の一部に支障が出ています。
申請や手続きの際にはお問い合わせのうえ、ご来庁ください。
ご迷惑をおかけいたします。（介護保険課）
システム障害により介護保険業務に支障がでています（12月11日午後6時）
午後7:29 · 2019年12月11日·Twitter Web App >>349
だが去年のエリクソンが起因の大規模障害のように
どっちらも使用してる箇所で障害が起きたら同時に使えなくなるぞ 愛知県東浦町
@higashiura_town
システム障害により発生している手続きできない事務について、
明日12月9日（月曜日）朝の復旧に向け、現在作業を進めているところです。
明日の朝、改めて最新の状況についてお知らせさせていただきます。
システム障害について|東浦町
12月11日（水曜日）午前11時30分 更新課税内容・滞納業務（税務課）が、通常運用することができるようになりました。
現在、非常時用サーバーにて縮退運用をしており、確認等にお時間がかかる場合がございます。
個別の案件によっては即時対応できない場合がございます。
午後3:09 · 2019年12月8日·Twitter Web Client 復元出来なきゃ区長のクビが飛ぶようなシステムにしときゃ
紙台帳残すんじゃね >>360
そこまで言い始めたら切りがない
あとはやはり手元にもオリジナル持つしか無い これ同じ系列のやつは全部地雷持ちか？
一般レベルなら特に問題ないだろうが、企業レベルだと相当やべーことなるな 日本電子計算（東京都）が扱う自治体の業務システムに不具合が起きている問題で、
西尾張地域でも津島市など計三市町でシステム障害が四日午前に発生し、
行政サービスの一部に影響が出ている。 SEは作業に専念したいのに、営業からの問い合わせとか社内の上層部向け説明とかで
大変な目にあってるんじゃないだろうか。
っていうかここまでくるともうdell頼みしかないか。
日本電子計算も更新情報出してないしニュースもないからこのまま風化させられるかもしれんなw >>30
モニタからも情報送信しようとするからな
あそこはヤバい >>355
そんな小さな容量なら
NASもう一台買ったほうがマシじゃねw 「敵は国内にあり｣「売国奴やスパイをどうするかという問題｣
反日どもの真の目的って、
憲法9条を変えさせないことと、
沖縄、尖閣、竹島、北海道を日本から切り離すこと、
米軍を日本から撤退させること、
日本の軍事力を落とすこと、
日本が外交で遅れをとること、
メディアを使い無様な化粧と整形の反日アイドルを日本の若者に刷り込むこと、
日本の若者に精神論や根性論を嫌わせて根性無しの臆病者にさせること、
そして極め付きは日本人に愛国心を持たさないようにすること。
教育現場、テレビ、政界、広告、雑誌ありとあらゆる場所で反日工作員に入り込まれてる。
スイス民間防衛という本に書かれてる国乗っ取りの手順を日本はまんまとやられてるわけだね。 アホのバブル世代を筆頭に、提灯記事を鵜呑みにしたクラウドバカが世間に多すぎるからな
このまま㌧だままで良いよ
現場の人、休んどけ どうせクビ飛ぶのは50代のアホ世代だ
あの世代は抹殺した方が良いのだから >>371
それで火事など災害でサーバーもNASも
おじゃんかよｗ
遠隔地バックアップの意味をな～んもしらんなww 日本ローカルのなんちゃってクラウドが糞というのは定説にも関わらず選んだ自治体が悪い 中野の市長とか先進的で電子化にめっちゃ前のめりだったのに、こんな事件に遭遇して風向き変わるのかな こういうのは意外と喜んでる人の方が多い。気にするな >>377
そんなこと言ってたらWDもHGSTも一度は致命的な障害やらかしてるのにどこのも買えんよ OKI電気のサイトもずっとダウンしてるんだよな。プリンタドライバー落とせなくて困ってる。 大体、一箇所のクラウドに任せておくってのは良くない。
二重三重ったって、同じシステムなら一緒に飛ぶ。
まー自衛で数カ所にバックアップ取っておかないと！ >>346
クラウドにして月額払いとかだと経費で落とせるからね
オンプレだと設備その他が資産になったり（リースなどは別として）するし管理する人の人件費もかかる >>383
クラウドの意味ネー
向こうは専門業者なんだから自分達で鯖運用するよりも
はるかに高度なバックアップシステムがあるだろうってのが問題の根底 その高度なシステム
所詮人が作ったもの、一瞬にしてバー
バックアップもろとも、アホか！ まだNETAPPだよEMC今はDELLだけど不自然に安いもん >>208
全く無関係の事案でHPEが批判されることになるんだぞ
根底もくそもないだろ >>213
HDDもSSDも東芝選んどけば問題ないよ
optane買う予算あるならそっちがいいけど >>388
オリジナルを破棄した時点で、バックアップが存在しても公文書として扱われなくなるっていう運用の話だぞw >>388
元データを削除したらバックアップ内の同一データは
削除待ちのトランザクションの状態ってことだろ
つまりゴミ 原因がサムスンのパーツならHP,DELLだけじゃなくLENOVOだって抱えてそうだし、サーバーだけじゃなくてストレージメーカーも色々アカン気がする。 >>375
数少ない氷河期世代に責任押し付けて、50代はのうのうと過ごすよ その辺の中小企業でも、気の効いた担当なら稼働時期をずらしたり敢えて別メーカーにしたりするわな こういうのって実はチャイナ製のパーツ使ってたとかあったりすんの？ わざわざカネ掛けて素人以下の会社に大事なデータ預けるとはおめでたいこった >>53
同じものだと同じバグがあるから解決にならないのでは？ >>78
readだけなら元のデータはそのままでいいんだろうけど
SSDにデータを移動させてるのか？
writeの時のバグでデータ書込みしたのを読めなくなってるのか？ >>96
ファイルを間違って削除したとか
アプリのバグでデータ壊れたとかは復旧できる >>101
サーバとストレージの区別は判りますか？ >>147
サーバの処理性能と比べて遅くて処理時間がかかり過ぎる >>310
記憶媒体の管理を自社の従業員がやるとスキル不足や人件費がかかる問題がある
自社の本業に従事しない人に人件費がかかる 最悪でもバックあっ部から2日で戻せよw
どんな設計になってたのか詳細は日経コンピュータの「動かないコンピュータ」待ち >>412
jip-baseの設計なんかはいちいちお客さんの承認を取ってないと思うけど。
提供してるのはサービスであって、インフラ周りはお任せでしょ。
仮想マシンの仕様とかはもちろん顧客とすりあわせしてるだろうけど、
バックアップとかHAはオプションで提供してたようだし。
問題はjip-baseが思ってたよりポンコツで売り文句通りのサービスを提供
できてなかったこと。 >>388
inodeが消されたら、ファイルのアイコンは無意味だもんな >>418
SLAが４時間ダウンまでだからなぁ
もう何日たったの？！て感じ
被害受けた方は損害賠償できるんでないかな >>249
九十九がhpのSSD爆安で販売してた。
中身はサムスンという噂があった。
関係あるのかなあ。
(一介のpcユーザー) >>389
EMCが安いって言う人初めて見た。
箱も高けりゃ、何かってば請求される作業費がこれが高くてなぁ。 >>422
NASはともかくSANでNetAppって？？？ってなるわな 大事なデータを金を払って訳のわからない他人に任せるなんてどうかしてる
金払って人質出すのと同じだって言ったら原始人って叩かれたなー >>420
読み込み可能に戻してもデータの不整合で復旧不可になってるから復旧が遅れてる
不整合の原因がどっちにあるかわからんけどもほぼ使用者側の作りによるものだろうから
EMCが被る負債はほぼないかと >>417
>>407みたいなケースしか対応できないのが問題なんよ >>426
麻痺してしまうのが怖い。
生命と信用と全財産をいつの間にか委ねてしまっている。 >>428
なにもしていないと、それすら復旧できない
コストとかどのくらいのリスクを許容するかによる バックアップにはコストが掛かる
対物無制限と無保険位違う >>210
中抜き出来ないし、天下り作れないじゃん >>427
emcはないかも知れないけど、jip-baseはそういう訳にはいかんでしょ
実際にもう訴訟の話しでてきてるね 逗子市
重要情報
2019年12月12日13:00現在
2019年12月4日午前11時頃に発生した委託業者のクラウドサービスの不具合により、
現在においても一部システムの使用ができない状況になっています。
具体的には、以下の不具合が生じています。
・一部のメールで送受信ができません
・後期高齢者医療保険料の納付書の再発行や納付状況の確認など
・介護認定申請にかかる結果通知遅延の可能性があります
現在委託業者において復旧作業を行なっておりますが、復旧のめどは立っておりません。
なお、委託事業者に確認したところ、本障害は外部からの攻撃などによるものではなく、
この不具合による個人情報などの流出、漏洩はありません。
ご迷惑をお掛けし、大変申し訳ございません。
問い合わせ 情報政策課情報政策係
: 東京都中野区
東京都練馬区
東京都八王子市
東京都日の出町
東京都奥多摩町
神奈川県平塚市教育研究所
神奈川県逗子市
千葉県浦安市
千葉県富里市
埼玉県桶川市
大阪府和泉市
奈良県三宅町
奈良県御杖村
三重県亀山市
三重県朝日町
愛知県岩倉市
愛知県津島市
愛知県若狭町
愛知県蟹江町
愛知県東浦町
愛知県美浜町 >>359
浦安もかｗ
コリャ、大変ねー
原因を作ったメーカーが特定されて叩かれる展開を希望 >>31
自動設定にしてると気付いた時にはぶっ壊れたデータを
上書きしてて全滅のケースも
今回のは同じ製品を使ってたらバックアップも同時に死ぬ 浦安市
システム障害により市の業務に支障がでています（12月10日午後7時）
12月4日（水曜日）午前11時ごろ発生したシステム障害について、
12月10日（火曜日）午後7時現在、全面復旧には至っておりません。
本市では、住民票の交付や印鑑登録証明の発行などについては支障がありませんが、
公共施設予約システムの利用障害や、外部とのメールの送受信ができないため、
市ホームページにおける各課へのお問い合わせについても利用できない状態となっております。
また、各課のシステムの一部でも障害が発生しており、窓口業務の遅延や、書類の即日交付ができないなど、支障が出ています。
現在、復旧作業中ですが、全面復旧までは時間を要する状況です。
市民のみなさまには、ご迷惑・ご不便をおかけし申し訳ございません。
システムが復旧次第、ホームページなどでお知らせいたします。 クラウドって特定の場所にデータが存在するモノなの
なんか俺の理解とだいぶ違うな もう諦めたほうがいい
ここまで長引いて結果正常なデータが
復旧出来ると思うか?
無理ゲーだわ(笑) >>444
仮想化とかごにょごにょやってるけど
基本はただのクライアントサーバ方式だよ 普通に考えると復旧無理だね
でも復旧した事にするw
役人なんてそんなもん >>444
地域分散もクラスタリングも有料オプション
普通に使えばミラーRAID程度のもの >>448
復旧したことにしてその内容に間違いがないか目視チェック
残業代支払いと期末手当増額までがセットだぞ >>442
まぁ、今のままなら普通に消えそうだけどな
ただ、今出来る技術にすがるしかない状況になるはずなので
いつまでも(安いからって)引きずりそう
安かろう悪かろうなメーカーってのは変わらんしなぁ どーせこれもサムスンだろｗ
時限爆弾だからアレイ内のSSD同時に死亡、ホットスワップも当然時限爆弾だから同時に炸裂しているとｗ
ケンチャナヨした結果がコレだよｗｗｗｗｗｗ >>96
F系SEが金融系割賦会社にやってたわ…
指摘しても「Fが責任取るでしょ、其れを信じます」だったわ…
まー事故る頃にはリプレイスに丁度なるかな？ >>444
クラウドってネットワークを介した別の所にデータやサーバーが存在するものっていうだけだよ。
特定の業務のデータが分散されて別々の場所にあるっていうのは運用形態の違いでしかない
Webサービスと商品管理データが別の場所にあるという形態だってクラウド >>420
BCPどうなってんだろね。SLAがダウン4h未満だったって言う割には見合った対策を行っていたようには思えないんだけど。
共有ストレージが死ぬのは想定してなかったのかな。
取り合えず別のストレージ手配してストレージプールに追加して、そっちで暫定的にサービスを再開させる、とか考えないのかな。 >>455
普通に考えたら災対側のシステムで臨時復旧するけどな
災対側のシステム同じシステムだとしたらそっちもバグ汚染されてる可能性があるな 災対系を作るには作ったけど
運用面を含めて絵に描いた餅
あるあるだと思います 自治体クラウド推進してる総務省はダンマリ決め込んでるのかな。
何かしら反応があっても良さそうなもんだけど。 >>456
手抜きしてなければ仮想マシンのフルバックアップ位別のストレージに持ってそうだけど。 >>44
技術力は韓国が一番だからね
ジャップwww 中野区議会議員 いながきじゅん子
@i_junko
4日からの中野区のシステム障害でいまだホームページの閲覧やメールの送受信ができない。
一昨日の総務委員会を傍聴して、この件に関し、何だかまるで他人事みたいな答弁がとても気になった。
もっと危機感をもって業者さん任せにせず復旧に全力で取り組んで欲しい。
午後4:50 · 2019年12月12日·Twitter for iPhone 50自治体のシステム障害、ストレージメーカー(EMCジャパン)がコメント「ファームウエアを修正。現在は日本電子計算で業務復旧作業中」
https://asahi.5ch.net/test/read.cgi/newsplus/1576012963/l50
… 練馬区のシステム障害は、回復の見通しが立たないまま9日目に。
図書館のサイトは全くアクセスできないまま。
区民サービスの大幅な低下は言うまでもなく、庁内の事務処理も深刻なダメージ。委託会社のアナウンスも9日のまま。
情報化”“IT化”のあまりに貧相な現実
池尻成二@ikesans
- あなたのその無駄なストレージ1メガ消したら1円あげますキャンペーンしたら
ごっそり容量確保できそう 練馬区
区システムの障害および復旧状況について
トップページ区政情報広報お知らせ一覧（広報）区システムの障害および復旧状況について
更新日：2019年12月12日
この度は、区のシステムの大規模な障害により、多大なるご不便・ご迷惑をおかけしお詫び申し上げます。
12月4日（水曜）の午前11時頃から、区の20のシステムに障害が発生していましたが、
区公式ホームページの更新と区外部とのメールの送受信システムが8日（日曜）までに復旧いたしました。
現在、その他のシステムにつきましても復旧に向けて作業を進めておりますが、
完全復旧するまでには、もうしばらく時間がかかる見込みです。
今回のシステム障害は、区が利用している民間データセンターの機器障害によるもので、
記憶装置を管理するソフトウェアの故障が原因と特定しています。
なお、障害によるデータの流出・漏洩はありません。
障害が長期におよび真に申し訳ございません。
引き続き復旧を急ぐとともに、今後このような障害を引き起こさないよう対策を講じてまいります。
復旧のお知らせについては、こちらのページに随時更新していきます。
【未復旧のシステム】
図書館ホームページの閲覧、小中学校のホームページの閲覧、ねりまっぷ 等 クラウド本体に稲妻落ちてぶっ壊れてくれと思ってるだろうな 八王子
システム障害による納税業務への影響について（復旧作業完了のお知らせ）
更新日：令和元年12月12日
システム障害による納税業務への影響について（復旧作業完了のお知らせ）
納税課・保険収納課で利用している納税システムで発生しておりましたシステム障害につきまして、
令和元年12月12日に復旧作業が完了いたしました。
多大なるご不便・ご迷惑をお掛けいたしまして、大変申し訳ございませんでした。
なお、システム障害によるデータの流出・漏洩はございません。 >>465
言うても一体なにができるのかと
栄養ドリンクの差し入れくらいしかできんだろ
てか、お前も他人事みたいな書き込みしてないで差し入れでもしとけや
と思ったが議員は差し入れも出来んのか >>472
>なお、システム障害によるデータの流出・漏洩はございません。
データの喪失は？ >>460
それをやってなかったんだろ
いわせんな(笑) バックアップが飛んだのではなくそもそもバックアップの運用をしていないと見るべきだな
一部のデータは復旧できないまま終わりそうな雰囲気だがそれは運悪く物理的に壊れたストレージに存在したものだろう >>478
バックアップには何種類かあるんだよ
差分バックアップ
フルバックアップ
二重化
物理障害には二重化
論理障害には差分バックアップを使用する
フルバックアップはそのどちらにも使えるがバックアップのコストが高い
ついでに、復旧はロールバックを伴うから基本的に採用されることが無い
今回みたいにファームにバグがあって管理データが化けてしまう問題の場合、
差分バックアップも壊れるし二重化で二重書きされてしまう
こうなるとフルバックアップしか対応ができない 「論理物理の同時障害というレアケースに備えます」って顧客を説得できるSEはいないだろう
ファームウェアのバグなんてあってはならないから
あってはならないことに対する備えなんて逆に信用性を落としてしまう
まぁ原発事故と一緒だな 某大手メーカーのSEはヘラヘラしながら
「万が一ファームウェアの不良があった場合に備えときます」っつってしれっとフルバックアップを仕様に盛り込んで金取ってるけど
そういうドライな判断ができるのは元開発畑だったりするんだろね >>481
それが唯一取れる現段階での最良解だと解ってるんだろう
それでもやるせない（全てを救えない）からヘラヘラ笑うしかできない つーか、少しまともなITドカタなら責任回避の為にそうする
しない=予算ヤバイ案件だからな >>483
それでもな、それでも何とかしたいと考えるんだよ
予算やばくても何とか自立アラート組み込んでみたりとか
でもな、納品段階で跳ねられるんだよ。金取ってないのに。
あぁこんなんで未来有るのかね？今の日本のITに
おまえら満足か？ 俺は、やだね･･･ >>480
これからは
「NTTデータさんがやってた自治体向けのサーバで同様な事故があったので」
って良い説得材料が手に入ったじゃないかw >>480
DRつって、遠隔地に置いた違う機種のストレージにバックアップを取るようにする、とかがこれの対策かなぁ バックアップのバックアップのバックアップが必要な時代 >>487
実際無関係なベンダーやSIは喜んでるだろうな セキュリティだ 個人情報保護だ と言えば無尽蔵に金払うバカばかりだからな今の顧客は
何せそういう、生産性を低下させる事しかできねーからな
今の情報システム部門とバカバブル役員どもは。 ジャニーズwebまだ直ってない…うちの職場、役所ですが最近システム障害でPC使えない状態が続いて、
仕事はできるようになったけどいまだにインターネット、メールが使用不可。
私の周りで続いてるなぁ、すごく気になるし不安…昨日のはまだ見れてないのに～！早い復旧を願います…！
まっちゃん@pinetreettc >>481
多分多くの客先で「それを削った見積もり再提出して」って言われ続けてるんだろうけど、それはそれで良い。
あとでトラブったときに「な、言っただろ？」ができる。 >>474
データセンタに押し掛けてこられても邪魔なだけだよなw 銀行がよく再見積ばかり乱発して悲惨な結果になってるなぁー
そりゃ派遣時給5000円でもまともな人が行かないわw 何らかの何かに関わる証拠が消滅した
なんてことがなけりゃいいんだが オールファラッシュはやっぱこえーな
トラブった時に全損があり得る、やっぱSAS HDD最強なのかも知れない >>56
これはないwwwwwww
エンタープライズ製品舐めすぎｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ >>407
それをバックアップだと思ってる利用者のなんと多いことか。 自前サーバをベンダーに任せて、
データ消失時は損害賠償取れるよう保守契約結ばせるのがベスト。
クラウドで無保証のサーバ建てるとか、死にたいのか。 これサーバ用ストレージの問題だけじゃなかったら大変だな
サーバはずっと起動してるから真っ先に問題が判明したけど、普通のPCに入ってるサムスン製SSDでも同じ問題抱えてたりしたら… >>505
データの内容までは補償されない
そこは保険 >>479
バックアップに関してのそもそもの考え方が間違ってるから出直してきな >>488
価格がべらぼうに上がるけどね
同一機種ならそこまで上がらんけど SSDもHDDも信用できない。バックアップはテープに取ろう
↓
サーバー故障した。バックアップから戻すしかない
↓
テープを噛みこんでぐしゃぐしゃに切れてしまった
こういうケースまで考えてバックアップしないと完璧ではない >>511
バックアップサーバたてて日次でローカルディスクにバックアップ取って
週次でLTOに書き出す、とかじゃないの？ >>488
対策にならんのよ
今回みたいにデータが化けると化けたデータで上書きされるから駄目
だからリモートサイト側に更に差分バックアップなりで論理バックアップを取る必要がある
そこまでやってるケースは稀 >>493
日本の顧客を舐めすぎや
何で強く推奨しなかったって言われて能無し扱いで出禁やで >>515
フル、差分、増分、スナップショット、ローカルクローン、リモートレプリケーション、世代管理、それぞれ理解してる？
今回はバックアップをストレージ筐体外に取得していたとしてもFASTCacheのバグでデータストア側が論理的に破損したため、そもそもバックアップから戻す先の器の復旧が最優先されているんだよ？ HCIのあるノードで今回みたいなこと発生したらどうなるの？ >>517
器の復旧に時間かかりすぎな気もするが
バックアップ側も論理的にデータぶっ壊れてんじゃないの？ HCIで今回みたいなバグおきたら障害点見つけだすまで大変そう >>519
RFやFTTなどの対ホスト障害性の設定以上のホストがクラッシュしたらそこにしかデータがないゲストは起動できない。
分散されている分、今回のストレージコントローラーのバグでの全断リスクは少なくなるけど、致命的なソフトウェアバグ踏んでしまったら似たようなもの。 >>521
それなりの規模のストレージ容量でdisk metadata corruptionなんて出たら復旧もキツイと思う。
バックアップからフルリストアするにもリストア先の容量確保しなければならないし、リストア→正常起動確認→アプリケーション側の整合確認など全システムでやらなければならない。
また、容量足らなければ既存のファイルシステム消して作り直さなければならない可能性もある。
そうなると壊れた領域の復旧を優先するか、フルリストアを優先するか、どっちをとっても茨の道。
ストレージ筐体間でレプリケーションしていたとしても壊れたメタデータごと上書きされて、さらに保持世代が足りなければレプリケーションも役に立たないし。
関係者は大変だと思うよ。 >>524
dellが代替機もしくは、増設シェルフを現場にもってくるべき案件だろ
某メーカーは、ハードウェアトラブルのときごっそり代替機もってきたぞ >>527
代替機横に置いたとしても復旧出来てないとしたらバックアップを同一製品間のレプリケーションで組んでて論理破壊もコピーされてしまったか、
バックアップデータ自身を同じストレージ内に保持してて丸ごとクラッシュしたか、
データはあっても仮想化環境上の管理サーバ・バックアップサーバごと死んでて復元に手間取っているか、
こういうストレージ全断した場合の復旧を想定してなかったんじゃないかな。
バックアップサーバ自身も仮想化される事が最近多いけど、管理サーバ含めてクラッシュすると戻しが非常に面倒になる。
本環境がどんな構成だったのか詳細は要件からは分からない
https://www.aspicjapan.org/nintei/files/2b01f2593d2c7304.pdf >>529
なんか判断遅すぎない？
契約不履行で委託料返還のうえ損害賠償も待ってそうなんだけど。 あまり詳しく無いが、自治体クラウドとか言う壮大な名称引っさげてる割に、複数拠点のデータセンタに分散とかじゃ無いって事かな。
データセンター別れてたら流石に使用してるストレージもサーバも導入時期もメーカーもバラバラだよね？
もし一拠点だったらその建物で火事があったら大丈夫じゃ無いよね。 >>529
jip-baseの設計がクソだったんだな >>529
再構築しても肝心のデータはどうすんだろ。
過去のバックアップデータ使うのかな >>531
311があったので拠点まるごと消滅の場合の設計自体はしてるよ
省庁からの通達だからな >>533
仕様を見るとOSレベルのイメージバックアップは週次で一世代、ファイルレベルは日時みたいだから何台動いていたか分からないけど一台ずつイメージ戻しして日次のデータを被せて、動作確認して最後にシステムとしての復旧確認してるんじゃないかな。
あくまでニュースと仕様とKBのバグの挙動からの推測だけども。 >>533
Oracleだったら過去のバックアップ＋差分（アーカイブログ）でなんとかする方法もある。
MySQLなら土下座するしか無いんじゃね？
知らんけど。 >>530
ストレージのファームウェア更新して直ったと思ったらデータが壊れてて、
直るかと思ったら時間かかり過ぎて、
復旧諦めてバックアップからのフルリストアに切り替えたけど長時間要してると推測。
並行していつから代替環境準備してたかはニュースからだと分からないね。 毎年HDDの故障率レポートだしてるデータの元になってるデータセンターは
HDDもいろんなメーカーのHDD使って冗長化した分も全部いっぺんに壊れるリスクを避けてるよな
全部同じところのファームウェア、しかも元を辿れば全部朝鮮製とか
バカすぎる 問題が発生したssdがサムスン製とかいう話は結局ガチなの？ なんかMr.Robotみたいな話だな
背後には中国のダークアーミーみたいなのが居たりして >>542
>>536と>>538で推測しかしてないけど、事実ベースで何が違うの？ >>535
じゃあ複数拠点は同時期に新設してストレージの型番も同じだったって事かな 東京都練馬区
@nerima_tokyo
【12月13日(金)現在】12月4日(水)の午前11時頃から発生しているシステム障害の復旧に向けて作業を行っておりますが、
全てのシステム(図書館情報システム、小中学校のホームページの閲覧、ねりまっぷ等)が復旧するまでにはもうしばらくかかる見込みです。
お詫び申し上げます。
午前9:02 · 2019年12月13日·Twitter Web App 商用のバックアップって1日1回は深夜にとってるもんじゃないの？ >>549
深夜の間にバックアップが完了して
次の朝からの業務に影響しないようにする必要がある
深夜も動いてたら何かうまくやる仕組みを考えないといけない >>546
もし今回の障害の原因が>>473ならば、今年の３月にパッチが出ていたってこと？ >>551
止められないとかゴネるから痛い目にあう
他社ストレージでもヤバい修正物件は定期的に出る >>527
大手のネームバリューで大金貰って仕事してんだから、
予備機ぐらいは自分で用意しとけと思う。
>>529
大手ITの冗長化なんて、実際の障害時に役に立たなかった経験ばかりだろ。
去年の台風の時も非常用発電機が動かなくて、バッテリー切れるのでサーバ落としに来てくれと電話かかってくるし、
ネットワークの予備系統系への自動切換えに失敗するわ、経路切り替えにも失敗するわでネットワークも切れたし。
運用開始前のテストでは問題なかったんですが、と後から言い訳されてもなぁ。。。
>>549
俺のとこだと、予備系へのスナップショットは分単位で取る。
ストレージのフルバックアップが１時間単位。
データの完全エクスポートとオフサイトへの完全ミラーが１日１回。 >>551
この環境はこれでも新しいバージョンで運用してた方だと思うよ。クソみたいな運用ポリシーのところでは「問題が起きてない」からと導入してから一度もアップデートかけないところがザラにある。
メーカーサポートが終了間際に慌ててアップデートかけたり、Windows XP終了騒動の時のような事を普通にサーバーサイドでもやってるよ。 >>553
そうですね
9月には日本語で情報提供されていたのだし、パッチをあてなくてもFast cacheを無効にするだけで避けられる不具合なのだから、放置していたとすると日本電子計算の過失は限りなく100%に近い感じですね 示唆メール 市に5回／弘前・情報流出
12/13(金) 12:01配信 Web東奥
弘前市職員の個人情報が漏えいしたとみられる問題について記者会見する堀川人事課長（右）
青森県弘前市職員の約2700人分の個人情報とみられるデータが東奥日報社に寄せられた問題を受け、
同市は13日朝から対応に追われた。
桜田宏市長は報道各社の取材に対し「職員の不安を払拭（ふっしょく）するために、厳正に対処したい。
まずは内部でしっかりと調査する」と語った。
市は市役所で緊急の記者会見を開き、対応状況を説明。個人情報流出を示唆するメールが市人事課に4回にわたって届き、
市秘書課にも一部職員の情報が記載されたメールが寄せられていたと明らかにした。
市の幹部職員らは報道各社の取材対応に追われ、午前10時の市議会一般質問開始前には議員控室に慌ただしく出入りした。
鎌田雅人副市長は、市議会一般質問冒頭で「（東奥日報に寄せられた）データが市のものかどうか確認作業を鋭意進めている」とし、
「今後データの確認・分析、データの保有者、アクセス記録、外部からの侵入形跡など多方面から調査を行う。調査がまとまり次第、議会に報告する」と述べた。
これに対し、工藤光志議員（木揚公明）が提出した緊急質問を求める動議が成立し、議会は議事整理のため一時休憩に入った。
午前11時からは市人事課の堀川慎一課長らが市役所内の記者室で記者会見を開き、経過などを説明した。 市人事課へのメールは11月18日から4回、市秘書課には今月12日にメールが寄せられたとした。
東奥日報にメールで寄せられたデータには、
2017年度時点とみられる市長部局、市教委、市立病院、弘前地区消防事務組合消防本部などの2747人（常勤、非常勤職員）の情報が記載されていた。
氏名や住所、所属先のほか、最終学歴、給料支給額など詳細な情報が網羅されている。 >>556
そうはいってもFAST前提の性能設計してると無効にするにしてもバージョンアップのスケジュールが年末とかに計画されてたりして、業務影響と天秤に掛けて結局後回し、で今回の最悪の結果に。そんな背景じゃないかな 東京都中野区（広報係）
@tokyo_nakano
中野区のシステムに障害が生じています。
メールの送受信は可能となりました。
介護保険や高齢者支援の手続きはできません。
また、中野区HPの復旧はもう少し時間がかかる見込みです。
長い間ご不便をおかけし、大変申し訳ございません。
午後6:09 · 2019年12月13日·Twitter for Android 情シスをまるごと外注してるところは悲惨だな
ちょい赤字程度なら情シスある方がなんぼかマシレベル 日本電子計算倒産まだー
ブロードリンクとチキンレース開催しろ ストレージサーバのエンジニアとか、DBの担当とかもそう
話聞いてるだけでハゲそう 2019/12/13 15:10
「別クラウドで再構築」、10日目突入の50自治体システム障害に進展
松浦 龍夫＝日経 xTECH／日経コンピュータ
2019年12月4日に日本電子計算の自治体向けIaaS「Jip-Base」および、
それを利用していた50自治体でシステム障害が発生した問題で2019年12月13日、
複数の自治体が本番環境とは別のクラウド環境によるシステムの再構築を進めていることが分かった。
その一つである大阪府和泉市は、「現在はバックアップ用システムで稼働しているが処理能力に限界があるため、業務に支障が出ている。
12月14日の土曜日に作業をして、週明けの12月16日から再開できる見込み」とコメントした。 これだけ長期の障害となると現場も緊張感がなくなってるだろうな。
うちのマイナーなサービスがぶっ壊れた時は毎日数回定時報告してたものだが
毎回客に「進捗なし」の報告するの辛かったわw 千葉県浦安市や愛知県東浦町も同様に別クラウド上での再構築の検討を始めており、
例えば浦安市ではまだ再開できていない要介護認定などの介護保険業務システムを別クラウドで再構築する方向で進めている。
いずれの自治体も「日本電子計算に本番環境とは別のクラウドの領域を用意してもらい、
そこに業務システムを立て直す」（和泉市）という。
日本電子計算は再構築に関し、「現状のお客様の個別システムの復旧状況についてはコメントできない」と回答した。
和泉市によると、日本電子計算と結んだ契約ではシステム障害から再開までの時間は4時間だったが、
障害発生からすでに10日目に達している。
「クラウド上では本番機とバックアップ機など2重化の構成にしていた」（東浦町）という複数の自治体の証言からすると、
なぜ日本電子計算のクラウド内部で冗長化機能が働かなかったかに注目が集まる。
しかし同社は、自治体にも対外的にも詳細な説明を行っていない。
ある自治体担当者によると、「障害の発生箇所であるストレージ装置も冗長化していたが、
冗長化の機能がうまく動かなかったとの説明しか日本電子計算から受けていない」という。 ガンマ線バーストに襲われた時の予行演習になったかな >>567
多分ストレージの障害自体の復旧は終わって、バックアップから書き戻してお客とデータの確認作業してるんじゃないか？
データ自体は客がチェックしないとどうしようもないし。 仮想化環境の制御コンソール自体が仮想化環境の中にあるわけだが
民主党不況時に整備されたシステムってみんなこんな感じなのか おいおいUnityやべーな
Unrealエンジン使うわ >>570
レストアしても読み出せず書き込みも出来なくなってんじゃないかな。
だから別の基盤に再構築始めてるのかと。 >>17
皆の心の中にある甘酸っぱいフレッシュ・メモリーを大切にな。 >>576
サーバー持ちたく無いっていう理由が多いけどサーバーくらい持てばいいんのに。
仮想環境無い頃と比べたら遥かに楽だろ。 >>577
100のシステムに100通りのハードウェアがあると運用コストがかかって仕方がないんだよ >>376
普通の会社は遠隔地の事業所間でバックアップ持ってるんだよ >>348
結果論でなくサービスインからEoLまでを完璧
に予測した神設計が必ずできるんなら貴方は正しい。 >>559
ストレージのキャッシュ不整合とか速度とか言ってないでダッシュでやらなきゃいけない案件だろ。
銀行の勘定系とかと違って、自治体のシステムなんて毎日夜止まるんだからいつでもできるし。
どっかの自治体のクソ小役人が「俺の納得する答え持ってくるまで止めさせない」とかホザいてパッチあてられなかったんじゃねーの？
コネアスペが権力持っちゃって、無茶苦茶
やるの自治体とか農協系に多いんだよな。 >>581
だから仮想化して運用コストを下げるんじゃね？ >>586
50自治体全部が同じ対応をするとは考えにくい
提案していたらいくつかは対処するようになったはず >>586
そういうクソ役人を説得できない奴が無能なんだろ。
放置した結果今回のような事態を招くのであれば、さすがに認めざるを
得ないだろ。共同利用で合意が取れない自治体のせいで作業ができない
ならそれを他の客と共有しておけばいい。
それをやっておけば、ある程度責任転嫁できるだろ。
っつかサービス仕様に入れとけよ。 >俺の納得する答え持ってくるまで止めさせない
とかそんな馬鹿いねーよｗ
今どきセキュリティ対策でパッチ当ては必須だ
やらないと旧自治省（総務省）様から呼び出されてボコボコにされるｗ
頭が悪いあり得ない嘘つくんじゃねーｗ 一昔前はこんな感じの事故は対岸の火事として笑ってたもんだがなー どうせ調子のいいことばっか言ってパッチを当てるときもサービスを止めずにできますとか言ってたんだろ。
で、実はストレージのファームウェアはサービス止めないと出来ないのに後から気づいたけと、当初の説明
を盾にされて拒否される、と。 システム発注する側も上を説得するのに使った材料をひっくり返えされたら、はいそうですか。とは言えねえだろ。 EMCジャパン「だから"フラッシュ"」って書いてあるじゃないですか❗ いろんなメーカーが売ってるけど、結局、同じ下請け工場で書いてるんだろうねえ >>576
流行り言葉だから、知事とか市長あたりが選挙の実績として入れろと言ってくる場合がある。
クラウド化してコスト削減しました！
災害時にも安全です！
とかな。
実際の費用は高かったり、安いのは初年度だけだったりするけど、
そこは有権者からは見えないからな。
業務端末のタブレット化とかも同じ流れだな。
キーボード無しでどうやって入力するんだよ？ って思うが、
市長あたりだとキーボード要らんから分からないんだろうな。 ■ このスレッドは過去ログ倉庫に格納されています
