東京証券取引所様の株式売買システム「arrowhead」で発生した障害の原因と対策について : 富士通
2020/10/19 21:03
katzchang
“特定事象発生時に自動切替が行われない設定になっておりました”
2020/10/19 21:15
EmanuelWilfer
ストレージ、NetApp FASだったのか。
2020/10/19 21:18
raimon49
＞なお、「ETERNUS NR1000」は他の開発・製造メーカーから供給された当社ブランドの製品（OEM製品）です。その出荷品質の責任は当社にあります。 / NetAppのOEM製品らしい。
2020/10/19 21:25
nmcli
当事者たちの胃が心配だ
2020/10/19 21:30
y10k
こういう稀な重大障害は大地震や巨大台風のようにベキ分布で発生するのかなあ？ ファットテールだからレアなイベントも無視できない程度の有意で発生し得るという。真の意味での対策なんて可能なんだろうか。
2020/10/19 21:30
kfujieda
あらまあNR1000だったか。ONTAPのバージョンアップが起因だったとは思いのほか残念な理由だったな。
2020/10/19 21:31
hirata_yasuyuki
「その出荷品質の責任は当社にあります。」
2020/10/19 21:37
yabu_kyu
NRだったんか！受け入れ検査を富士通でやってるという話は昔聞いたが、最近はどんな感じだったんやろ。「製品出荷時等の試験で検出できなかったことは当社の試験・確認が不十分であったことによるものです」おぉ…。
2020/10/19 21:37
tito1201
NetAppか
2020/10/19 21:37
oooooo4150
ETERNUSってOEMだったんだ。全シリーズそうなのかな
2020/10/19 21:40
triggerhappysundaymorning
当初は自動切り替え「する」しかなかったのがアップデートで「する|しない」選択できるようになって,しかもデフォルト設定は「しない」だったって事なのかな？ドンマイ事象やで.
2020/10/19 21:41
Amigomr
あちゃー。 "当該共有ディスク装置のオペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかったことによる"
2020/10/19 21:41
jtw
ONTAPあたりは鬼門。
2020/10/19 21:42
honehoney
OEMなので仕方ないけど、東証のと違って再発防止策等に漂う現場猫(上司猫)感は何なんだろう・・・ｗ >「各プロセスの有効性の監視や、部門間でのさらなる知見、ノウハウの共有を可能にする横断的な仕組みを導入」とか
2020/10/19 21:43
theatrical
昔upqと言うメーカーが景品表示法違反しといて、仕様はoemの製造メーカーから聞いてた内容を伝えただけだから自分たちは悪くない！と言っていたが、富士通は常識があるな
2020/10/19 21:44
beataraxia
導入時にはHAのテストやってクリアして、OSのバージョンアップ後にはHAのテストをしなかったのかな？
2020/10/19 21:44
mshkh
読むだけで胃が痛くなる感じ
2020/10/19 21:52
robamimim
よく見つけたなあ。お疲れ様です。
2020/10/19 21:53
diabah_blue
OS名称で検索すると、供給元はNetApp, Incみたいだ。
2020/10/19 21:54
lenore
良くちゃんと調べて発表したね
2020/10/19 21:58
ikedas
バージョンアップの仕様変更は玉ヒュン案件よね……。しかもマニュアルが追随されてないとさらに……。
2020/10/19 21:58
gyhfrtyh
メモリ障害で切り替わらないのが仕様？？完全にnetapp のバグでは？
2020/10/19 21:59
akulog
これは再発フラグなんでは…メール誤送信防止で送信前にダブルチェックします！（意味ない）と変わらんやん… "お客様システムの更なる安定稼働実現に向けたシステム再点検と品質保証体制の強化"
2020/10/19 22:02
TownBeginner
OEM製品だったのか。これ製造元も大変だったんだろうな。
2020/10/19 22:08
nacamula
NetAppのOEMか。だとすると、OEM先でできることに限界がありそう。
2020/10/19 22:12
michiki_jp
“その出荷品質の責任は当社にあります。” これを早い段階で言い切るのが良い。
2020/10/19 22:14
tydk27
弊社のNetAppくんはまだ死なないでおくれ。
2020/10/19 22:14
yuno001
NetAPPのクラスター機能はまだこなれてないのか。
2020/10/19 22:17
yahen
OSのアップデートで仕様変わってマニュアルも変更されてないのはかわいそうではあるな
2020/10/19 22:17
healthyprog
OEMなんやね
2020/10/19 22:19
six13
NetApp製品か。富士通純正のETERNUSが問題なら影響調査の嵐が吹き荒れるところだったから安堵してる基盤屋さんは多いだろうな。
2020/10/19 22:21
yokosuque
Arrowheadというだけあって水ものって話ではないか。
2020/10/19 22:24
kearai
netapp側は特に何もせずに逃げると予想
2020/10/19 22:27
yas-mal
マニュアルと仕様の齟齬が原因みたいに書いてあるけど、「今回は特定事象発生時に自動切替が行われない設定になっておりました」の理由がないのが釈然としない。(リンク先によると初期値は自動切替される側)
2020/10/19 22:28
soisoi
このマニュアル、富士通のマニュアルなのかネットアップなのか？どっちのマニュアルが更新されてなきったんだろう？
2020/10/19 22:34
JSONP
マニュアルが仕様変更に追従できてなかったと…単純な設定ミスじゃなかったのか。これは難しいわ
2020/10/19 22:36
dgwingtong
フェイルセーフの概念が無いのか？何の為にバックアップ切替OFFの設定があるのか、そしてそれがOFFである事に何年も気づかずに運用されていた事が怖い。他のシステムでもありそう。
2020/10/19 22:36
inugamix
“当該共有ディスク装置のオペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかった”
2020/10/19 22:38
oakbow
なかなか難しいが道義的責任はOEM製造元にあるかな。実際の納品物の東証への責任は富士通にあるし、取引所としての責任は東証にあるけど。しかし東証の記者会見を反映してるのか富士通も潔いなこれは。
2020/10/19 22:40
rhyaosh
富士通として売ってるけど、実はマニュアルは英語で現場の人はそんなに分かってないとかありそうだなぁ、、。とりあえず、お疲れ様でした。
2020/10/19 22:41
Iridium
この状態になってファイルオーバーが発生しなくても正常に動作する構成にしたいんだよ。常に両系が動作している状態が望ましい。
2020/10/19 22:43
monochrome_K2
これは厳しい見方かも知れないけど30秒以内に切替えるシステム要件のために敢えて標準設定から変更する積極的な理由は見つからず情状酌量の余地はないと思う
2020/10/19 22:49
kuzumimizuku
対応発表としては完璧すぎて「富士通こんなにまともだったっけ？」と思ってしまった(；´Д｀)OSの更新で処理が無効化される可能性、バージョンアップで仕様が密かに変わってるパターンは気づきにくいので怖い。
2020/10/19 22:49
kyuuuuuji
“ その出荷品質の責任は当社にあります。”これ言い切るだけで「カッコいい」と思うようになってしまった
2020/10/19 22:51
hanajibuu
マニュアル翻訳時のミスかね。
2020/10/19 22:52
maro218
富士通は担当者ごとの当たり外れが激しい印象だけど、同時に"ユーザーと一緒に地獄までつきあってくれる"という謎の信頼感があった。外資系ベンダはその点はドライ(どちらがいいかはおいといて)。
2020/10/19 22:53
at_yasu
マニュアルに未記載の仕様はわからん…仕方がないとはいえ…
2020/10/19 22:58
renos
“東京証券取引所様にて稼働中のOEM製品について、製品仕様とマニュアル記載内容の再レビューを実施します”oeeeeeeeeeeeeeeeeeeeeeeeeee!!!!!
2020/10/19 22:59
pochi-mk
ちゃんと根本原因にまで掘り下げてて良い。関係者の皆様お疲れ様でした。
2020/10/19 22:59
RYoMa_0923
こういう事象を見るとServerspecやらつこうて設定のテストしたほうがいいって感じるね
2020/10/19 23:00
sirobu
東証の報告と合わせるとVer1はOFFだと即時ではなく15秒後に切り替わってたがVer2以降はOFFは切り替わらないよう仕様が変更。コンフィグシートはVer1のデフォルトのOFFにしてたらVer2以降のデフォルトはONに変わってたてことか
2020/10/19 23:01
Karosu
“メモリ故障等に起因する特定事象が発生した場合、自動切替が行われない仕様となっておりました”
2020/10/19 23:01
adwhing
当事者の人…生きてくれ…
2020/10/19 23:06
moons
んんん
2020/10/19 23:07
dominion525
ちゃんと言い切っているのすごい。責任回避と捏造ばっかり見てたからなおさら>“「ETERNUS NR1000」は他の開発・製造メーカーから供給された当社ブランドの製品（OEM製品）です。その出荷品質の責任は当社にあります。”
2020/10/19 23:12
Falky
常時自動切り替えされるはずが、実際には特定の設定値の影響で自動切り替えが無効になる仕様だったと。あくまで「自動切り替えをオフにする」みたいな設定値ではなく、別目的の設定値が影響する仕様だったと理解
2020/10/19 23:15
fhvbwx
OEM製品だと間違ったマニュアルはFが作った可能性がある
2020/10/19 23:21
amatou310
ディスクのOSバージョンアップっていつの話だよと思ったらJPXの報告によれば2回も更改してて、その間の仕様変更の話なのね。マニュアル上差分がなければ設定値は踏襲するしテストケースにも入らないだろうね。
2020/10/19 23:21
indication
うん、これはツライ。機械翻訳で全く逆のことを掴まされたパターンもあるからなぁ。WsHttpBindingのMessageSecurityあたりを思い出す…
2020/10/19 23:22
northlight
NetAppの問題か富士通の問題か。もちろん責任は富士通なんだけど、気になるな。
2020/10/19 23:24
greenbow
なるほど… “オペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかったことによるものです”
2020/10/19 23:32
diveintounlimit
東証側は会見で「障害は起こり得る前提で議論する」と言っていて安心感がめちゃくちゃ増した。
2020/10/19 23:32
wazpk6no
スマホ表示に対応してたらなお良し
2020/10/19 23:35
Mu_KuP
やっぱり筐体内二重化部の引き継ぎ失敗やん…おまけにOEM製品マニュアル作成時のミスも重なったとか。／Nutanixのせいにしてた一部の人達は一体なんだったんかね。
2020/10/19 23:40
quwachy
オープンソースのコード組み込むときはマニュアルと実装がズレてること普通にあるから必ずチェックするけどOEMだとチェックしないんだ。
2020/10/19 23:41
messzylinder
東証が一日止まったというのに、その後の対応が東証も富士通も真摯で、そのことで無闇に追求されることなく鎮静化したベストプラクティスだと思う
2020/10/19 23:46
fusionstar
東証は「サービスの品質に対する責任は我々にある」って言って富士通は「機器の品質に対する責任は我々にある」って言う。 両者とも真摯で泣けてくるくらい。
2020/10/19 23:46
hobbiel55
まあ、メモリ障害は実際に発生させて試験と言うのが難しいからなあ。試験用に障害を好きに発生できるメモリ モジュールとかあったら売れるかも。
2020/10/19 23:55
strawberryhunter
テスト不十分だとは認めているものの、メモリ故障ってどうやってテストするの？放射性物質をメモリの上に置けばいいのかな。
2020/10/20 00:09
zu2
“マニュアルの記載と実際の仕様の齟齬が生じた原因は、当該共有ディスク装置のオペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかったことによる”
2020/10/20 00:11
rjj
これ、英語版はどこ？
2020/10/20 00:15
nomitori
製造元が悪いと言いたいのを唇を噛んでこらえている感が好き
2020/10/20 00:20
apple19940820
マニュアルなんだ
2020/10/20 00:21
u_eichi
この事故、東証も富士通も「責任を持って」対応してるの、とても印象が良い。
2020/10/20 00:23
manFromTomorrow
再発防止策がマニュアル再レビューっていうのはテクノロジーの敗北を感じちゃうよね…
2020/10/20 00:23
sthya
何回か出ている。”製品仕様が変更された際に、マニュアルの記載が変更されていなかったことによるものです”が業務上の要因かな？NetAppは、ググると米国企業か。 NTAP (NASDAQ)←ここかな？
2020/10/20 00:24
ys0000
“ETERNUS NR1000”まさかのNetAppかよ／半壊のゾンビ状態が一番きついのはわかるので、誠実に対応していたというところが好感持てていい。災い転じて福となる的な。
2020/10/20 00:25
ryunosinfx
やはり人間がインターフェイスになって組織間出荷をしてしまうなら自動受入全網羅テストが存在しない以上、マニュアルの正確さと訓練がやはり大事・・・そうじゃなかったらカオスモンキーに鍛えてもらうしか無いが
2020/10/20 00:30
neco22b
なるほどねえ。メモリ障害はシステム構築担当レベルだと事前テストはハードル高すぎるな。製品品質管理部門の領域？
2020/10/20 00:30
kxkx5150
東証、富士通どちらも真摯な対応。ミスの押し付け=日本企業って感じだったから、久しぶりに輝いていた昔の日本企業を思い出させてくれた。
2020/10/20 00:34
nerimarina
“製品仕様が変更された際に、マニュアルの記載が変更されていなかったことによるものです。” お腹痛い…
2020/10/20 00:34
t_trad
「弊社の責任です」「いえいえ弊社の」今のこの国で、責任のなすり合いの逆が見られるとは
2020/10/20 00:43
hiro14aki
“ETERNUS NR1000”
2020/10/20 00:44
mayumayu_nimolove
当事者の人生きてくれって、人の命より重いのか今回の出来事。
2020/10/20 00:55
lli
報告が簡単すぎてよくわからない。日経コンピュータあたりで詳報されるのだろうか。
2020/10/20 01:07
Lumin
ようやっとる。担当される方々が報われますように
2020/10/20 01:10
Palantir
切り替わったからセーフだった例も定期的に知りたい。切替失敗は失敗時にしか報告出ないから多く見える
2020/10/20 01:15
lont_in
謝罪できてえらい！ONTAPのバージョニングは鬼門だよねアプデの際に検証パターン多すぎて断念したことある。
2020/10/20 01:17
sekaiiti
これを見る限り、NetAppのONTAPの製品マニュアルにおいてOSverup(7-modeからcDOTかな？)での仕様変更が明記されておらず、富士通が見落としたということかな。これは少し富士通が可哀想だが、実機の設定は確認してなかったの？
2020/10/20 01:18
Ashburton
要するにストレージ側の切り替え機能が働かなかったと。でも待って、サーバー側にストレージの障害発生時に切り替える仕組みは無かったってこと？？？
2020/10/20 01:28
yogasa
NRはボチボチ使ってるけど、SANと比べて値段で決めてるのでこんな信頼性求められるところで使う製品なのかという印象。
2020/10/20 01:33
tourism55
NetAppかーーい、という感想になる界隈の人結構いるのでは
2020/10/20 01:35
T-miura
netapp大変なん？メジャーバージョンはやったことないな、、、。（社内の開発用仮想基盤のやつはいじくって遊んでた）
2020/10/20 01:57
oktnzm
活線挿抜してテストしないとね(´・ω・`) 真摯は真摯だが逃げ場ないしね。
2020/10/20 02:00
pmakino
ソフトのバージョンアップ時に勝手に設定変更してはいけない、変更が必要なら利用者によーく伝えなければならない。クリティカルなシステムの構成要素では重要な原則だよね。
2020/10/20 02:04
rgfx
これで、「機器の品質に対する責任は我々にある」って言いきれる富士通、東証との信頼関係がすごいよな。／この手の試験用に「通電1時間後から一部化けた値を返すモジュール」を積んだ毒入りメモリとか出ないかな…
2020/10/20 02:32
toritori0318
"マニュアルにはメモリ故障等に起因する特定事象が発生した場合は必ず自動切替が行われる旨の記載があり" / "設定によってはメモリ故障等に起因する特定事象が発生した場合自動切替が行われない仕様となっており"
2020/10/20 02:43
mohno
「実際の製品では、設定によっては、メモリ故障等に起因する特定事象が発生した場合、自動切替が行われない仕様」「オペレーティングシステムのバージョンアップにより製品仕様が変更」/↓それがNetAppのOEMだと。
2020/10/20 03:41
Wafer
東証社長にああいわれたら富士通もこう応えざるをえない
2020/10/20 03:45
letsspeak
マニュアルも悪いけど15秒後に切り替えのフラグを切替なしに変えちゃうアプデ極悪やろ。まあ確かにOFFってそういう意味だけど高い製品なんだし買った会社に周知する余裕くらい無いもんか
2020/10/20 03:45
togusa5
はてなにいるパソコンの大先生たち、NetAppの提案設計構築やった事も、ベガスのNetApp Insight行った事も無さそう
2020/10/20 03:52
orangehalf
バージョンアップ時の仕様変更がマニュアルに反映されなかった原因がNetAppから情報提供が無かったのか富士通の確認不足かはわからないけど、メモリ故障のテスト難しいし東証のシステム担当者が気づくのは厳しそう
2020/10/20 04:08
ms6145vv
っクッソぼったくってんだから、SIerは止めちゃいかんよシステム。ミッションクリティカルとか品質がうたい文句なんでしょ？客はそれを信じて金出してんだから。
2020/10/20 04:12
kz78
まあコレで「悪いのはOEM元」って言い出したら「じゃあOEM元から買うわ」ってなりかねんからな…
2020/10/20 05:18
jt_noSke
仕様を変えたらちゃんとマニュアルに記載しようということですな
2020/10/20 05:50
KoshianX
よくわからんがデフォルト値が変更されてたってことなのかな? だとすると導入後にアップデートしてるってことだよなあ。アップデート後のテストをしてなかったってことかな。マイナーアップデートなら油断もするか
2020/10/20 06:03
ledsun
OSバージョンアップ時に設定時の解釈が変わってそれがマニュアルに記載されていないとか、本当にエスパーしないとわかんないだろ。どうやって、こんな原因わかったんだよ・・・。
2020/10/20 06:23
ShigeakiYazaki
(マニュアル or 設定) or 試験
2020/10/20 07:03
hogetahogeko
『当社ブランドの製品（OEM製品）です。その出荷品質の責任は当社にあります。製品仕様が変更された際に、マニュアルの記載が変更されていなかった』
2020/10/20 07:04
ot2sy39
後からの仕様変更でデフォルト設定が変わっていたが気づかなかったってことか。これを逃さず気づけというのはつらいなー。
2020/10/20 07:09
RCHeLEyl
ずいぶんと誠実でまともな筋の通った応対だ。
2020/10/20 07:19
s025236
こういう仕組みだとAll or Nothingの方が良いと思うので異常があったので停止しました翌日からちゃんと稼働しますって仕組みで問題ないと思うのだけど叩かれすぎでは？
2020/10/20 07:30
mkusunok
こんな理由だったとするとフェイルオーバーのテストをちゃんとやったのか、なぜテストで検出できなかったのか分からないんだけど
2020/10/20 07:37
ducky19999
無理だよそんなの把握するの
2020/10/20 07:38
NOV1975
根本原因はこの仕様変更をテストして捕捉できなかったことではあるよね。もっとも、「バージョンアップによる仕様への影響なし」をOEM元が明言してたりすると不幸だが。
2020/10/20 07:41
nijigenjin
富士通が原因
2020/10/20 07:47
ya--mada
うーん、NASのフェールオーバー失敗で東証が1日コケるってのは解せないんだよー。ショボくね？/ontap8以降って幅広過ぎない？ www.fujitsu.com メモリ試験をSIでやるのは厳
2020/10/20 07:49
vhthlh
これで富士通が叩かれるのはさすがにかわいそう。今回かなり頑張ってると思うよ。
2020/10/20 07:49
sionsou
富士通と東芝の差がこれよな。
2020/10/20 07:52
dnsystem
エターナスってNetAppのOEMだったんだ
2020/10/20 07:52
circled
富士通のシステム運用を担当していた時、フェイルオーバーはするんだけど、フェイルオーバー後にシステムが「これは正常環境じゃないから切り戻すぞ」と自動切り戻しを仕掛け続けて、結局落ちるって不具合あったよ。
2020/10/20 07:53
koubyint
コレは泣ける。。
2020/10/20 07:53
nack1024
OEM言い過ぎ
2020/10/20 07:55
asuiahuei
これで、バージョンアップの度に、マニュアルにかかれてないことまで検証しろってなったら現場は大変だな。
2020/10/20 07:55
call_me_nots
“マニュアルの記載と実際の仕様の齟齬が生じた原因は、当該共有ディスク装置のオペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかったことによる”
2020/10/20 07:57
homarara
アローヘッドという名前を聞くたびに、サイレントヒルの三角頭が思い浮かぶ。
2020/10/20 07:57
semimaru
正常に自動切り替えしなかった、と。テストしたのかな。
2020/10/20 07:58
h5y1m141
NetAppって久しぶりに見たなぁ。もうはるか昔のこと＆自分は直接担当じゃなかったけどNetApp使ったそれなりの規模の環境運用凄く大変だったイメージある。
2020/10/20 07:58
kazukiti
対処も事前の確認も無理だったかもしれないけど、「絶対に」ストップさせちゃダメな設備なんですよ。矛盾してるかもしれんが。
2020/10/20 07:58
iasna
『出荷品質の責任は当社にあります。』富士通の矜持
2020/10/20 08:00
b4takashi
"他の開発・製造メーカーから供給された当社ブランドの製品（OEM製品）です。その出荷品質の責任は当社にあります。" これをちゃんと言えたの凄い
2020/10/20 08:00
minoton
リリース時にはテストしてるんだろうから、ONTAPアップグレードして挙動が変わった？ ／ テストしてなかったっぽい。さすがにメモリ故障はできないか
2020/10/20 08:05
koji28
間違いを認めてからがスタートだよね(´・ω・`)スタートできない人&組織がどれだけいることか…
2020/10/20 08:08
birds9328
なんというか、お疲れ様です…
2020/10/20 08:09
greenT
いやOSバージョンアップに追随したファームウェアの更新ができてなくてマニュアルのせいにしたでしょこれ。表向きはマニュアルミスでもいいから今から裏で網羅評価しとけよ
2020/10/20 08:11
x100jp
富士通でこういうのあると、下請は杓子定規に延々テスト繰り返させられそう。
2020/10/20 08:15
caynan
この文面だけ見ると単にリグレッションテストをサボっていただけに見えるのだが、好意的な人たちは中の人なの？ 文章が真摯とか言って論点そらしてちゃダメでしょ…
2020/10/20 08:23
oguratesu
富士通が腐りきってなかったことに驚き。
2020/10/20 08:24
su_zu_ki_1010
マニュアルに載っていないことは検知できない…マニュアル記載漏れが発生したのは実装担当とマニュアル担当の連携漏れとかかな？マニュアルって結構業務で作るので自戒しないと。
2020/10/20 08:25
ducktoon
マニュアルレビューに点検って、また再発しそう
2020/10/20 08:25
shoh8
おお、責任明記
2020/10/20 08:25
uchiten
富士通子会社のH/W設定漏れによる障害をアプリ側のせいにされ一週間以上デスマーチになったが富士通子会社は一切謝罪しなかったという経験がある。
2020/10/20 08:26
slash_01
理由が如何にもメーカーっぽいな。分からんではない。
2020/10/20 08:28
aox
株とかそういうお客さんには真摯なんですね
2020/10/20 08:28
te2u
切り替わらないことが仕様で、それがマニュアルに反映されていないことが原因だったということ？
2020/10/20 08:33
yuzuk45
障害対応としては上げなんじゃないの個人的には大嫌いだけどｗ
2020/10/20 08:34
kazutanaka
メモリ障害発生時のフェイルオーバー機能の非互換な仕様変更、マニュアル記載漏れ、試験漏れ。ヒューマンエラーでした。
2020/10/20 08:41
pratto
「真摯な対応。昔の日本企業を思い起こさせる」って、そんな真摯な対応をした昔の日本企業なんてあったか？ねえよ大爆笑
2020/10/20 08:41
kitano__ow
真摯な姿勢かどうかでしか評価できないやつって中身ちゃっと見てないんじゃない？こういうやつに限って土下座とか誠意みせろとか言うねん。中身より態度ね。JPXの報告も見てると、起きた経緯はけっこう微妙やぞ
2020/10/20 08:41
uunfo
ここまで潔いともっとやばい何かを隠してるようにも思う／金額からしたら「責任は自社にあります」だけで褒められる案件じゃないよな
2020/10/20 08:45
bml
グダグダで責任のなすりつけ合いよりはいいよな。富士通なのに。これも東証がなすりつけたらベンダーが悪いで揉めてただろうな。
2020/10/20 08:46
shin0O
よう調べたわ
2020/10/20 08:56
TakamoriTarou
うーん…なんつうか残念な感じ。原因はマニュアルじゃ無く検証漏れだと思うけど。バグはマニュアル記載無いわけでその時もそう言うつもり? つうか、止まったら東証が死ぬような所に使うクラスの製品なのかなあこれ
2020/10/20 08:57
uturi
OSのバージョンアップでデフォルトの設定が変わったけど説明書は更新されなかったから気付かなかった、ということか。これに気付くのは難しいな……。
2020/10/20 08:57
daishi_n
少なくとも15年前の大規模障害のグダグダから東証と富士通が自分の領分を認識して適切な責任の範囲で仕事をするようになったこと、改善を回すための仕組み作りができてることはよかったよ。
2020/10/20 08:59
GARAPON
雨降って地固まる
2020/10/20 09:00
orbital_velocity
ONTAPを触ったことがある人と無い人とで温度差が出る案件だと思う
2020/10/20 09:03
tastelessandodorless
あわせて読みたい:www.jpx.co.jp / 東証猫「マニュアルに書いてあるから大丈夫」富士通猫「設定してあるから大丈夫」\ﾖｼ!（AA略/ だったということか
2020/10/20 09:07
mobius118_7
OEM元のNetApp社の仕様変更が原因だけど誰も検証しなかった。納品時のFWなら富士通が悪いが、FW更新した結果なら保守を自社に切り替えた東証にも責任あるな
2020/10/20 09:12
keidge
FのNASって言っていたからONTAPかなあと思っていたが、やはりそうだったのか。
2020/10/20 09:12
takaBSD
みんな甘いなあ。 もう何十年も、富士通をはじめとするオールドタイプの大企業が、公共のシステムをほぼ独占的に受注してきた。 それなのに報告書出しただけで「偉い」の？ これじゃいつまでも富士通やNTTデータの天下
2020/10/20 09:29
wataken44
これはつらいやつ
2020/10/20 09:30
tettekete37564
金融庁がぐだぐだなドコモ口座やゆうちょには立ち入り検査せずまともな態勢と対応した東証にだけ立ち入り検査する違和感 www3.nhk.or.jp
2020/10/20 09:30
tockri
メモリがたまたま壊れるテスト…なんかスイッチ押したら壊れるメモリとか売ってたらいいのにね。
2020/10/20 09:32
ignis09
メモリ故障（とその検証が難しいこと）は本質じゃなくない？ 該当verのONTAPの設定によってはHA上手くいかないって言ってるように読めるんだけど。
2020/10/20 09:35
alchemy-k
品質管理やテストの部門の重要性が、これで、当社でも理解してもらえるといいなぁ
2020/10/20 09:40
hiroomi
“OEM製品の評価プロセスを改善し、確実な再発防止に努めます”塩漬けで使うのが困難ぽさそう。
2020/10/20 09:43
ayagane
OEM供給だとこういうことが起きるんだな。
2020/10/20 09:43
ayakohiroe
最初に結論と謝罪をもってくるの頭いい。鏡。
2020/10/20 09:56
c4JXAdDE
毎日数兆円のお金がうごく市場なのだから、しっかりしてくれ。
2020/10/20 09:57
stealthinu
うわ… 当事者じゃないのに読んでるだけで胃から込み上げてくるものが。これ当事者の人、激詰めされたんだろうなあと思うと…
2020/10/20 10:01
daybeforeyesterday
うーむ
2020/10/20 10:03
findup
例えば（あり得ないけど）このシステムにAWSやらAzureやら使われたとして、もしクラウド側のトラブルでこのシステムが停止したとき、クラウドベンダはこんな詳細な内容を開示してくれるのだろうか？
2020/10/20 10:04
BoiledEgg
富士通が出したリリース、客用なんだろうけど東証よりわかりにくいのはちょっと辛いわね
2020/10/20 10:04
HF_frt1623
JPX側 www.jpx.co.jp を見ると、いつから設定値変わったか分かりやすい。10年前に設定した値が5年前から挙動が変わったのにマニュアル更新されてないのに気づくのはとても難しそう
2020/10/20 10:05
icloudy
これを機会に基幹業務からの M$ 製品追放の流れを加速させて欲しい.
2020/10/20 10:06
shiopon01
ちゃんとしてるな。レビュー担当してる人たちは今頃地獄だろうけど
2020/10/20 10:08
yoshis1210
これまではNetAppから提出された資料をF側が精査してマニュアルに反映するだけの一方通行な流れで、前バージョンからの仕様変更についてまとめた資料すらなかった感じか。機器の重要性を考えるとそこは甘かったね。
2020/10/20 10:10
Gim
やっぱりNetAppのOEMだったか。共有ディスクって書かれていたから、そうじゃないかとは思っていた。海外ベンダってデフォルト値を変更してもドキュメントに記載しないよね。ADDDC有効とか酷い目にあった。
2020/10/20 10:10
nadybungo
障害報告のお手本
2020/10/20 10:14
itbook
ストレージはNetAppのOEM製品なんだね。
2020/10/20 10:14
sin81z
客が紳士ならベンダーも紳士になれるんだ
2020/10/20 10:15
karukaru7
わかり良い
2020/10/20 10:24
shikiarai
マニュアルを盲信したら死ぬという何気に初歩的なこと
2020/10/20 10:24
legnum
2015年の2代目からマニュアルと実際の挙動に差異があったのか。2019年の3代目リプレースで気づくのほぼ不可能だな
2020/10/20 10:26
bilanciaa
資本家だけじゃなく我々にもこの1%でも真摯さを向けてもらえまいか
2020/10/20 10:42
kinaco68
責任を取れる会社って素晴らしい。最近の政府の体たらくを見てるから尚更感動する
2020/10/20 10:44
satomi_hanten
NetApp確定報か。
2020/10/20 10:44
nextmedia
“自動切替が行われない仕様となっておりました。今回は特定事象発生時に自動切替が行われない設定になっておりました。”
2020/10/20 10:45
mobits
メモリ障害の試験はいきなりメモリぶっこぬけばええやん。シャーシ開放検知のスイッチは手で押さえとけばええんやで。あとは宇宙線あててビット化け発生させるとか(なおどうやって)
2020/10/20 10:46
corming
機械を相手にしている以上、いつかまた起こってしまいそうだけど即座に復旧できればそこまで問題にはならなそう。
2020/10/20 10:47
soyokazeZZ
システムだけアップデートしてマニュアルがそのままなんてよくありそう
2020/10/20 10:54
FutureIsWhatWeAre
アローヘッドといえばサイレントヒルよりR-TYPEだろ
2020/10/20 11:02
havanap
そんくらいで全部止まるんだなあ
2020/10/20 11:10
azumi_s
“当該共有ディスク装置のオペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかった”ああ…あるあるだぁ…。
2020/10/20 11:12
knok
最初に東証が「責任は我々にある」と言い切ったから富士通もそういえたのかなあ
2020/10/20 11:14
kuippa
「（OEM製品）です。その出荷品質の責任は当社にあります」 会見でも言ってたけど、わざわざ言明するの男前だが株主代表訴訟とかくらっってその後大丈夫なんかな。
2020/10/20 11:16
seiyunews
わざわざOEMって書くのがちょっと
2020/10/20 11:28
quick_past
相手を信じ切った運用はやめましょうという話にしか思えない 人は必ずミスをする
2020/10/20 11:30
gachapining
arrows の面誉れよ…
2020/10/20 11:32
kagehiens
アップデート時のテストはだれがやったの？／導入後のアップデートじゃなくて出荷時のバージョンがOEM開始後に変わったのにマニュアルが追随できていなかったのか、でもこれマニュアル改版されていても見たかなぁ…？
2020/10/20 11:39
equilibrista
“マニュアルの記載と実際の仕様の齟齬が生じた原因は、当該共有ディスク装置のオペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかったことによる”
2020/10/20 11:45
moshimoshimo812
なんか7payとかドコモ口座とかのしょうもない対応を見てきてるから、相対的にめちゃめちゃ好感
2020/10/20 11:50
hdkINO33
“なお、「ETERNUS NR1000」は他の開発・製造メーカーから供給された当社ブランドの製品（OEM製品）です。その出荷品質の責任は当社にあります。” / パラメーター値の意味が変わってたら自動テストも意味あるまいよ
2020/10/20 11:54
Dragoonriders
マニュアルねえ。メモリ故障って言ってるけどこりゃSSD読み出し不可になったんだろう。フェールオーバーが設定次第とか信頼性重要なところでは怖い。意図的に壊れた状態を作ってテストしないといけないんだろうなー。
2020/10/20 11:59
tsucchi1022
メモリ障害はテストしづらい(そもそもできる？)ってのはあるし、これは辛すぎるやつだ。。。
2020/10/20 12:03
paradisemaker
こういうメモリ障害は AWS とかクラウドサービス事業者はどうしてるんだろう
2020/10/20 12:04
klaftwerk
お腹痛くなる文章だ
2020/10/20 12:10
estragon
筐体障害じゃなく、筐体内で冗長化されているコントローラー障害のフェイルオーバー。更改前後の製品バージョンアップでパラメタの意味が逆になったが、マニュアル反映されてなかったとのこと。こりゃ無理だ
2020/10/20 12:14
noface
>メモリぶっこぬけばええやん これ本当にやっているところあるのかな？通電しているシステムで、実際に抜いたメモリや、システムボードをそのまま使うのか。
2020/10/20 12:17
robokichi
バージョンアップ前は15秒後にフェールオーバーだったのが、バージョンアップでフェールオーバーしないに設定の意味が変わったぽい
2020/10/20 12:36
redmagic1417
へー、ハードウェアの設計レベルで死活監視がうまく行かない故障のしかたしたのかなと予想していたが、コントローラブルな故障だったのか。個人的な感想としてはこういう原因のほうが希望が持てる。
2020/10/20 12:36
rryu
NASのOSの前バージョンとの互換モードがデフォルトでは有効なのでマニュアル通りカーネルパニックでもフェイルオーバーするが明示的にオフにするとしなくなるというということの模様。
2020/10/20 12:36
w1234567
ETERNUSってOEMだったんだ、はじめて知った
2020/10/20 12:40
sakuragani
波動砲撃てそうなお名前だ。
2020/10/20 12:52
nobububu
NetAppか。責任は当社云々は東証の態度に合わせたもので、伝えたいことは、OEMですよということかな
2020/10/20 12:56
mouki0911
お互いにウチの責任と言い合って、周りが責めにくい状況を作る高度な手法
2020/10/20 13:11
pukarix
システムは壊れるものだから。その前提で生活していればそんなに困るものではないよ。
2020/10/20 13:20
urtz
他の開発製造メーカーはなぜそんな大事な仕様変更を周知せず行ったのか。未知の同様の事例探しが始まりそう。
2020/10/20 13:38
Suddenly-I-See
お前のせいだ、じゃなく、自分たちの責任とお互いが言っていてとてもよい。
2020/10/20 13:40
atahara
今回の障害対応は富士通も真摯で素晴らしい。見習いたい。
2020/10/20 13:45
ln_north
まぁ、文句を言いたい気持ちはわかりつつも、文句を言うなら使うなよ、という気持ち。バージョンアップ起因だったんだ、大変そう。
2020/10/20 13:50
richard_raw
“その出荷品質の責任は当社にあります。” 真摯だ……。
2020/10/20 13:57
Windfola
OSバージョンアップの技術ノート辺りには仕様変更の記載があって受入テストはそれ（設定変更）で通過しちゃったけど、ユーザマニュアルへの記載漏れまでは気づかなかった奴かなあ。
2020/10/20 14:47
abantam-9
マニュアルを１００％信じず、自分で必ず検証を行うことですな
2020/10/20 16:00
showii
テストはしたけど見つけられなかったということね・・・
2020/10/20 16:30
solidstatesociety
矢面
2020/10/20 16:33
daisukeeHTN
"..原因は、当該共有ディスク装置のオペレーティングシステムのバージョンアップにより製品仕様が変更された際に、マニュアルの記載が変更されていなかったこと"
2020/10/20 16:39
aceraceae
予想したとおりの間抜けな原因だった。こういうのがいちばんありがちなんだろうな。
2020/10/20 16:43
T2YAkun
東京証券取引所様の株式売買システム「arrowhead」で発生した障害の原因と対策について : 富士通
2020/10/20 17:33
life_meister
Netapp。お世話になってたなあ。
2020/10/20 18:19
yoiIT
“実際の製品では、設定によっては、メモリ故障等に起因する特定事象が発生した場合、自動切替が行われない仕様となっておりました。今回は特定事象発生時に自動切替が行われない設定になっておりました。”
2020/10/20 18:36
sabinezu
マニュアルベースでテストしてるの？仕様書の事？マニュアル作った人つらいね。
2020/10/20 18:39
rxjun
NRだったか。流れ弾ならぬarrowheadなだけに流れ矢があちこちに飛んでそうだ。うちmうわなにをするやm
2020/10/20 19:12
ginga0118
久々に真摯な対応を見た気がした。これだとまったく炎上しない事も。
2020/10/20 19:46
sawarabi0130
東証「サービスの品質に対する責任は我々にある」富士通「機器の品質に対する責任は我々にある」MS「仕様です」
2020/10/20 22:13
curion
OEMなのね
2020/10/20 22:33
hylom
ドキュメントの不備は本当に大厄災を起こすんですよね……
2020/10/20 22:39
vamostokyo
なんで賞賛コメントが人気なのかさっぱり分からん。こんな製品納入されたら恐ろしすぎる。
2020/10/20 23:11
sukiyaki_seiya
同情的な声が多いが、取引所運営もその取引所システムの提供もそれぞれJPXと富士通の寡占状態である。競争原理がない現状において、失敗に対する批判と監視はより厳しいものである必要がある。
2020/10/21 00:18
beerbeerkun
「マニュアルの記載が変更されていなかったこと」主語が不明だけどnetapp、富士通どっちなんかね
2020/10/21 10:00
houyhnhm
ETERNUSは製品として幅広いので（テープ装置もあるよ）全てがOEMではないんだけど、お知らせ出てる／OEMなんで、OS仕様が変更された時にマニュアルを変更するのは富士通の責務。