2022/04/13 16:36
raimon49
大変だ……。
2022/04/13 16:39
tsutsumi154
損失ないって強弁できるのすげえな 利用できないって時点で損失だと思うが
2022/04/13 16:42
wata_d
おつかれさまです…🥺
2022/04/13 17:04
kenzy_n
止まらないサービスは無い
2022/04/13 17:05
door-s-dev
一気にある時点に戻すなら一発でできるけど、他の客のデータは更新されてくからそこに影響出ないように削除されたデータだけ戻さないといけないパターン。つらい
2022/04/13 18:17
kusigahama
"コンプライアンス上の理由などから恒久的にデータを削除する必要がある場合などに利用する「恒久的削除」" "スクリプトが、間違った実行モードで、間違ったIDリストのもとに実行されてしまいました。" ひえー
2022/04/13 18:22
diabah_blue
「サービス停止の影響を受けたユーザーの45％程度にまで機能の復旧が完了しています。すべてのお客様に対するサービス復旧は、今後2週間以内を見込んでおります。」大惨事じゃん…。
2022/04/13 18:28
muamqm
長く生きていると、こういう記事を時々見るようになるんだな……。明日は我が身か、恐ろしや……。
2022/04/13 18:46
gomer-pyle
切り戻しができない対応だったんだろうか。お疲れさまです。被害を受けてる人も。
2022/04/13 18:50
negima1976
明日は我が身と思って見ている
2022/04/13 19:24
greenbow
なるほど… “無効化の対象となっているアプリのIDを提供する代わりに、アプリの停止を実行するクラウドサイト全体のIDを提供してしまいました。”
2022/04/13 19:29
fai_fx
バックアップが残ってるので復旧するだけ…とも読めるけど、その場合恒久的削除が機能していなかったとも思えたり。30日後に完全に消えるのかな。
2022/04/13 19:50
augsUK
恒久的削除を間違ったIDに適用したと。恒久的削除をしたのにバックアップを残しておくシステムでよかったね。
2022/04/13 20:04
ya--mada
削除作業が一番恐ろしいを地でいってますね。削除対象の選定から実作業まで一貫した慎重なプロセスが必須。
2022/04/13 20:20
Crone
何よりもまずがんばれ。落ち着いたらゆっくり振り返って、ミスを誘発した原因や環境を分析して教えてほしい。この業界、本当に他山の石が大事だから。
2022/04/13 20:29
kotas
削除スクリプトにdry-runモードがあっても、依頼者と実行者が違う本ケースでは無力か… 影響度の大きい作業依頼はレビュー必須とか、体制でカバーするしか…
2022/04/13 20:54
nowandzen
株価が
2022/04/13 20:54
gfx
2つのミスが重なって顧客のアプリを停止&データを物理削除してしまったと。震えるしかない…。
2022/04/13 21:00
rizmhate
大災害…
2022/04/13 21:06
hazeblog
おお…………
2022/04/13 21:08
spark7
報告の頻度は細かいな。status.atlassian.com
2022/04/13 21:09
kazkun
読むと大惨事発生なのがよく分かるが、説明責任をしっかり果たしていて、なんか安心感あった。自分が影響を受けてないからかもしれないが。
2022/04/13 21:13
tettekete37564
わーお
2022/04/13 21:17
catryoshka
こういうレポートを読むと背筋凍りますね…
2022/04/13 21:41
tagomoris
うひー、大変だな
2022/04/13 21:50
joker1007
うわー……きっついなー……。読んでるだけで動悸がしてくるレベル。
2022/04/13 21:53
koyancya
ひええ……
2022/04/13 22:03
hirata_yasuyuki
id:tsutsumi154 は「データ損失」って書いてあるのが読めないの?
2022/04/13 22:08
jgoamakf
イレギュラー作業だったようだ。
2022/04/13 22:11
zorio
経緯を読んでるだけで胃が痛い。
2022/04/13 22:16
toritori0318
これはつらい…
2022/04/13 22:19
azumi_s
胃がキリキリする…。バックアップあってよかったねとしか。
2022/04/13 22:19
lli
復元できるようでまだ救いはあるが時間は既に9日以上経ってる。ここから更に2週間だと自分なら他社製品に乗り換えかな。
2022/04/13 22:25
kei_0000
恐ろしい。システム運用における情報伝達は、99回はOKでも、残りの１回がNGかつ運が悪ければ、この顧客データ削除のようなトラブルが起こりうる。特に緊急対応の時は結構危険。明日は我が身としたい。
2022/04/13 22:32
stefafafan
つらい……
2022/04/13 22:32
mayumayu_nimolove
アトラシアン終わった…
2022/04/13 22:48
sasasin_net
アトラシアンの。プロダクト横断に吹っ飛んでる理由と、全顧客ではない理由と、リカバリに難航している理由が、正直に記述されてそうに読めた。
2022/04/13 22:57
ai_gaminglife
こわひ
2022/04/13 23:13
harumomo2006
今の仕事でメインで使ってるんですけど
2022/04/13 23:24
sekirei-9
発表が割と遅かったのは褒められない。
2022/04/13 23:46
legnum
これ「2週間待てないしxx 日のバックアップでいいから1日で戻して」は選べないのかなそれだと厳しいなー。客がクラウド移行期限の延期を迫ったら飲まざるを得ないレベル
2022/04/13 23:47
kfly8
きっつい・・・ 超ハイテク技術のエッジケースとかでなく、身近でありえそうな間違いが重なってるだけに、余計にそう感じる。
2022/04/13 23:53
cl-gaku
うへえ
2022/04/13 23:55
Chisei
バックアップ大切
2022/04/14 00:22
t_nkjm
このレベルの障害でこの発表の遅さ。。
2022/04/14 00:28
nghrk
アドベントカレンダー
2022/04/14 01:20
hate1229
完全にアトラシアンの過失なのに全然お詫びの文章に見えないのは気のせいか？？
2022/04/14 01:50
wwolf
oh…
2022/04/14 02:05
rgfx
ロシアでSlackのログが消えた（経済制裁により無料アカウントに戻った）（=職場のコミュニケーション文脈を支えるログが消えた）のをながめてたら、それ以上にエグいのが消えていたでござる
2022/04/14 02:18
shikiarai
発表までに8日もかかるのか……内容がえぐいのはわかるけど報告担当用意しないと
2022/04/14 04:16
mafmoff
“万が一内容に相違がある場合は、原文が優先されます。” この一文、わりと無責任だと思う。
2022/04/14 04:44
amatou310
すげー…
2022/04/14 05:03
solidstatesociety
Jiraされた
2022/04/14 06:44
dekasasaki
うちは平気だった。
2022/04/14 06:57
yamaimo_san
復旧対応にJira使ってるのかな
2022/04/14 07:46
l83DK
アトラシアン製品はオンプレ版の販売をやめるのやめてください
2022/04/14 08:01
yujiorama
停止した理由や、復旧の状況も記載されてる
2022/04/14 08:12
homarara
ファーストサーバを思い出すな。クラウドはある日突然すべてが吹っ飛ぶことがあるから、「消えても対応できる」体制は必須なんだよああ。うちの顧客でそんな体制できてる所無いけど。
2022/04/14 08:26
shoh8
こええ、本番触りたくねえ
2022/04/14 08:28
sekiryo
会社名も知らないぐらいの専門外なのでほーんと読んでいたが約400社のお客様のサイトが不適切に削除されてしまいましたとか見てヒェッとなった。復旧まで2週間とか酷いことになってるな。
2022/04/14 08:41
ojun2020
申し開き方がステキ
2022/04/14 08:46
rxh
怖いわ…
2022/04/14 09:14
gengo_k
Asana使おうぜ。
2022/04/14 09:26
equinox79
あーこれは辛い。
2022/04/14 09:36
hatest
スナップショット取得時点に復旧するということは、完全に復旧できるということではないよね？
2022/04/14 10:04
shields-pikes
ゾッとするわ。バックアップがあって良かったな、と。恒久的削除の時に、同時にバックアップも削除する仕組みは危険だな。フェイルセーフとして最低でも数日間は残しておくべきだし、規約や契約にもそう書くべき。
2022/04/14 10:05
hoimin-densetsu
説明がわかりやすく、オープンで好感がもてた。こういう大事故が聞いたことないマイクロソフトなどの大手クラウド業者は本当にすごい。み〇ほの件など原因が未だにわからないが、アジア圏は隠ぺい体質なのだろうか。
2022/04/14 10:05
yetch
トラブルの分かりやすい状況説明をオープンに行うのってすごい。
2022/04/14 10:34
proverb
メルカリやBASEもそうだけど、障害発生時に要因と対処について正確かつ分かりやすくレポートを出してくれると技術者組織として信頼できるなと感じる。
2022/04/14 10:41
o108minmin
担当者の方々は健やかに過ごしてほしい
2022/04/14 10:54
yu_fuk
このような事象に備えて、データのバックアップをベンダ側だけでなくユーザ側でもできるようになればいいと思う。サービスから退避先へのアクセス・認証・頻度、バックアップ対象絞り込み等課題はありそうだけど。
2022/04/14 11:30
te2u
今回のような現象の復旧は想定できないよなあ。
2022/04/14 11:36
ayakohiroe
結局人的ミスはなくならない
2022/04/14 11:45
ultimatebreak
本番環境でやらかしちゃった人 Advent Calendar 2022大賞候補
2022/04/14 12:05
momonga_dash
顧客サイト単位で完全削除したけど、DBインスタンス単位でもスナップショット取ってるので、そこから削除した顧客サイトのデータだけをちまちま抽出中なのかな？抽出は完全自動化されてないんだね。
2022/04/14 12:30
lethli
発表自体は障害初期段階からされていて、細かくアップデートされている confluence.status.atlassian.com
2022/04/14 14:03
toaruR
さーーと脚が冷えていくやつ＼(^o^)／
2022/04/14 15:15
sharaku3eyes
あらま
2022/04/14 16:37
kxkx5150
ゾワッと寒気がくるね..
2022/04/14 19:06
blueskies
怖すぎる…中の人、お疲れさまです…