割と深刻だった。＞“復旧対応を実施したのですが、その際のオペレーションミスによりデータベースを消失した状態になっております。”
中の人のことを思うと胸が痛む
“データベースを消失した状態になっております。また、残念ながら直近のデータベースのバックアップが正常に作成されておらず、このまま最新のバックアップで再開すると、一年近くデータが巻き戻ることが予想”
1年はデカいな……。でも復旧お待ちしています、お疲れ様です。
1年分の記憶を失った／まだアーカイブインポートでなんとかなるなると甘く見積もって構えているが果たして
おおマジか
Twilog を運営するTogetter、1年近くのデータを消失した可能性があり復旧作業中と発表。投稿時現在Twilogがメンテナンス状態となり利用できなくなっています https://freakmix.com/notes/aatpbk5ilklv0r7b
アーカイブを改竄してインポートしたら偽の歴史が作れる……ってｺﾄ!?
謝罪書いてはいるけども、重要な部分は濁してるような。直近のDBバックアップが取れてなかったという割に、再開したら1年近くデータが巻き戻るって、それ本当に「直近」だったのか？
お疲れ様だな…
結構なやらかしだなあ…
復旧作業のミスよりもバックアップが正常に取れていなかったのが痛いね。それも長期間？
いやこれは意気消沈もするわな…スタッフを責めてない点をワイは評価したい
なんらかの理由でバックアップ止まってたんだと思うけど、絶対何があったのか公開してくれよ
辞めたら？Twilog
直近の1年分が飛んでしまう模様。まず対応優先してもらいたいね。お疲れ様です。
やらかし……。直近のバックアップが1年前なのか……。スタッフが意気消沈してると素直に言ってるのは良いですね。がんばってください……
データベースを吹き飛ばしたり、バックアップを取り損なったことのないものだけが石を投げなさい。
xのAPIがアホほど高くなって事業的にバックアップ止めざるおえない状況だったんかな
オペレーションミスによりデータベースを消失した状態。残念ながら直近のデータベースのバックアップが正常に作成されておらず、このまま最新のバックアップで再開すると、一年近くデータが巻き戻る。
各ユーザーがXでアーカイブをダウンロードして、Twilogへアップロードする形で復旧するんだろう。それでだいたい元通りだし、たいした金額を払ってるわけでもないし、サービスを再開してくれれば十分助かるわ
“ログテーブルの消失、およびバックアップデータの不備により、現時点のままではサービスの再稼働は困難”
課金してんだけど… 追記）棘まとめの方は何事もないのムカつくわー
流石に直近という単位で1年はないだろ…。てか定期的にサーバーのログみたり開発して管理、確認しないんだな。まぁでもお疲れ様。
オペミスか〜。やってしまった人は背筋が凍っただろうな……。強く生きよう。 それはそれとしてバックアップが一年前から取れていないのは体制の不備と言われても仕方がないかもね。
うわ…… 関係各位大変な話だな……
バックアップのよくある問題の一つ、「実は取れてなかった」なので定期的なリストアテストとかやらないと厳しい。自戒をこめて。あとはyahooのリアルタイム検索からサルベージとかか
とんでもなく稚拙な文章だな。まともな営利企業が出すリリースとは思えない。IT系サービス業ってこういうクラブ活動レベルの会社ごっこが多くて、見ているこっちが恥ずかしくなる。
「オペレーションミスによりデータベースを消失した状態」「直近のデータベースのバックアップが正常に作成されておらず」←血の気が引く話だな。「スタッフ一同、かなり意気消沈している状態です」
バックアップで戻すと1年分が消えるのか…。これってお金取ってるサービスなの？twilogとは
古めのシステムで見かけたやつで、定期バックアップデータがリカバリ時にはじめて役に立たないものであったと気づく、とか
わーお。気付けばTwilogがTogetter運営になったのも一昨年か、近年始めたにしてはバックアップが適当すぎでは
MySQL on EC2 かな https://fortee.jp/phpcon-2024/proposal/6e4865d8-6876-414e-b7df-b4ecb76b2e05
課金しているのでなんとかなってくれと祈るしかない……
本件とは関係無いが、クラウド化が進むとDBは単なるサービスでしかなく、プロパティでバックアップの設定をしておけばOKになるので、こういう災害は減っていくだろうな。DB構築運用のノウハウも急速に失われていくけど
利用可能な最新バックアップが1年前なのか？肝心なときにバックアップが存在しない法則。普及中に被害が拡大する法則。
https://x.com/yositosi/status/1950577394219434263 この状況で外向けアカウントにこれ書ける度胸すごい
流石にやり過ぎて再起難しいんじゃ？ あとXでやっちゃったのは仕方ないとか公言するのはどうなの？有料サービスでわざわざそれ発信するとは稚拙過ぎる。
ログ保存サービスを売り物にしてるんだから、トラブル発生直後の段階で「１年分のデータは確実に吹っ飛びます」とデータ復旧を諦めたかのような事を言うのは課金ユーザーからの心象が悪そう
twilog自体バックアップで元データはtwitterにあるから復旧は可能？
EC2でDBを運用したくない理由がそのまま発揮されている感
これは痛い。ただ悲しい。
アーカイブインポートすると、Twitterからは削除したけどTwilogには残してあるツイートがTwilog からも消えてしまわないか心配だ。3,000ツイートのインポートですむ人もアーカイブインポートしないといけないのかな
うちもちょっと前にDB吹き飛ばしたが、Auroraの自動バックアップで吹き飛ぶ10秒前に戻せたぞ。AWS万歳！
大変…お疲れ様です
この規模のサービスでもRDSの自動バックアップとか設定してなかったんか
ひええ…… -> “オペレーションミスによりデータベースを消失した状態になっております。”
Togetterとposfieは一時的なアクセス不能で済んだが、Twilogのログ消失はダメージ大きい…。障害発生時のポスト→https://posfie.com/@lenhai/p/YNMLvrI
下書きをAIに食わすだけでももう少しマシなリリース文章にできそうだが。ミス無く、ではなくミス前提でリカバリできる体制が必要でしょう。『ミスの無いように進めてまいります』
バックアップって真面目にやると金がドンドコ消えるよね
胃がキューってなりますね。。
お前さぁ、月300円とか500円とか取っといてさぁ。あのさぁ。
AWSとかだと自動スナップショットって最大35日保持だからそれが無効になってると何かの作業時に手動で取ったスナップショットしかなくて、商用でのDBでの作業なんてざらにはないから1年前のしかねーわとかあるだろうね
tweetはインポートである程度復旧できると思うけど（全く同じになるかは不明。削除したのもあるだろうし）、favは復旧できるんかな？（「再収集」とあるけど、favしたidだけ残ってるとかなのかな？ 障害以降のfav収集は
Twilogさん、大変だったにゃ〜🥺💦1年分のデータが消えちゃったなんて、ボクだったらご飯が無くなっちゃうくらい悲しいにゃ😿 でもユーザー情報が無事でよかったにゃ！みんなで協力して応援するにゃ！💖✨
実はロプロスさんも過去にやらかしてたw https://x.com/ropross/status/1950737465947685094
“オペレーションミスによりデータベースを消失した状態になっております”
一年分くらいなら大した事ないのでは？
やはりディザスターリカバリーは1年に1回はトレーニングしとかないといけない
スタッフ一同意気消沈していること書く必要ある？ 真面目なリリースがあってのブログでこれならまぁとは思うけど
「大きなミスをしてもしょうがない」は社内で使うものでユーザーに要求するものではないし、突然スタッフが意気消沈してかわいそうだと盾にしはじめるのも意味不明
SNSバトルと憎悪の記録でしかないtogetterのDBが飛んだなら賞賛されてただろうに
https://www.commudle.com/builds/does-coinbase-offer-24-7-support-recommended-solutions
草。これだよこれ、これがインターネットだよ、運用ミスって軽くデータがポンと飛んじゃうやつ！(課金勢)(バックアップしてるはずができてない、misskey.ioもそれだった)
それなりに課金していたのでなんだかなぁ、って / ツイートはインポートで対処できるがfavとブックマークは課金分相当に再収集してくれるんだろうか
商売としてだと厳しいな。「残念ながら直近のデータベースのバックアップが正常に作成されておらず、このまま最新のバックアップで再開すると、一年近くデータが巻き戻ることが予想されます。」
Mastodonとnotestockなら無課金でツイログ的なことできる
バックアップがうまく動いているかの検知は難しいね。
リストア試験・訓練舐めたらあかん
うう / "また、残念ながら直近のデータベースのバックアップが正常に作成されておらず、このまま最新のバックアップで再開すると、一年近くデータが巻き戻ることが予想されます"
お金を貰ってデータ保管サービスを運用してるのに使用可能なバックアップは1年前っていうのはあまりにもお粗末では…。返金の案内もないの？
これは辛い…
会社としてお金とっているサービスで障害が出ましたで出す文章と、社長として「現場は頑張ってます」として出す文章は分けたほうが良かったのでは。（実際に書いてる人間は同じとしても）
自宅NASの日次バックアッププロセスが進行中のまま2週間ってことはある(通常は小一時間)。他にも、iPhoneのバックアップ破損してて、復元失敗とかも。バックアップ動いてるか、レストアできるかの確認はマジ大事。
バックアップがとれてるはずで実はとれてないってわりとよく聞く気がする、定期的にリストア確認するの大事
「やってしまいました＆やってしまったのは仕方ない＆やるしかない」さすが全てのサービスや公式アカウントの運用が中途半端なサービスの親玉である
1年バックアップできてなかったのは怒られるべきだな
ユーザー補償しなかったらまじで訴えられそう。
アーカイブインポートのために課金した俺は泣いて良いのか、教えてくれナタク
7月30日16時過ぎから発生しているTwilogのデータベース障害について｜Togetter（トゥギャッター ）
割と深刻だった。＞“復旧対応を実施したのですが、その際のオペレーションミスによりデータベースを消失した状態になっております。”
中の人のことを思うと胸が痛む
“データベースを消失した状態になっております。また、残念ながら直近のデータベースのバックアップが正常に作成されておらず、このまま最新のバックアップで再開すると、一年近くデータが巻き戻ることが予想”
1年はデカいな……。でも復旧お待ちしています、お疲れ様です。
1年分の記憶を失った／まだアーカイブインポートでなんとかなるなると甘く見積もって構えているが果たして
おおマジか
Twilog を運営するTogetter、1年近くのデータを消失した可能性があり復旧作業中と発表。投稿時現在Twilogがメンテナンス状態となり利用できなくなっています https://freakmix.com/notes/aatpbk5ilklv0r7b
アーカイブを改竄してインポートしたら偽の歴史が作れる……ってｺﾄ!?
謝罪書いてはいるけども、重要な部分は濁してるような。直近のDBバックアップが取れてなかったという割に、再開したら1年近くデータが巻き戻るって、それ本当に「直近」だったのか？
お疲れ様だな…
結構なやらかしだなあ…
復旧作業のミスよりもバックアップが正常に取れていなかったのが痛いね。それも長期間？
いやこれは意気消沈もするわな…スタッフを責めてない点をワイは評価したい
なんらかの理由でバックアップ止まってたんだと思うけど、絶対何があったのか公開してくれよ
辞めたら？Twilog
直近の1年分が飛んでしまう模様。まず対応優先してもらいたいね。お疲れ様です。
やらかし……。直近のバックアップが1年前なのか……。スタッフが意気消沈してると素直に言ってるのは良いですね。がんばってください……
データベースを吹き飛ばしたり、バックアップを取り損なったことのないものだけが石を投げなさい。
xのAPIがアホほど高くなって事業的にバックアップ止めざるおえない状況だったんかな
オペレーションミスによりデータベースを消失した状態。残念ながら直近のデータベースのバックアップが正常に作成されておらず、このまま最新のバックアップで再開すると、一年近くデータが巻き戻る。
各ユーザーがXでアーカイブをダウンロードして、Twilogへアップロードする形で復旧するんだろう。それでだいたい元通りだし、たいした金額を払ってるわけでもないし、サービスを再開してくれれば十分助かるわ
“ログテーブルの消失、およびバックアップデータの不備により、現時点のままではサービスの再稼働は困難”
課金してんだけど… 追記）棘まとめの方は何事もないのムカつくわー
流石に直近という単位で1年はないだろ…。てか定期的にサーバーのログみたり開発して管理、確認しないんだな。まぁでもお疲れ様。
オペミスか〜。やってしまった人は背筋が凍っただろうな……。強く生きよう。 それはそれとしてバックアップが一年前から取れていないのは体制の不備と言われても仕方がないかもね。
うわ…… 関係各位大変な話だな……
バックアップのよくある問題の一つ、「実は取れてなかった」なので定期的なリストアテストとかやらないと厳しい。自戒をこめて。あとはyahooのリアルタイム検索からサルベージとかか
とんでもなく稚拙な文章だな。まともな営利企業が出すリリースとは思えない。IT系サービス業ってこういうクラブ活動レベルの会社ごっこが多くて、見ているこっちが恥ずかしくなる。
「オペレーションミスによりデータベースを消失した状態」「直近のデータベースのバックアップが正常に作成されておらず」←血の気が引く話だな。「スタッフ一同、かなり意気消沈している状態です」
バックアップで戻すと1年分が消えるのか…。これってお金取ってるサービスなの？twilogとは
古めのシステムで見かけたやつで、定期バックアップデータがリカバリ時にはじめて役に立たないものであったと気づく、とか
わーお。気付けばTwilogがTogetter運営になったのも一昨年か、近年始めたにしてはバックアップが適当すぎでは
MySQL on EC2 かな https://fortee.jp/phpcon-2024/proposal/6e4865d8-6876-414e-b7df-b4ecb76b2e05
課金しているのでなんとかなってくれと祈るしかない……
本件とは関係無いが、クラウド化が進むとDBは単なるサービスでしかなく、プロパティでバックアップの設定をしておけばOKになるので、こういう災害は減っていくだろうな。DB構築運用のノウハウも急速に失われていくけど
利用可能な最新バックアップが1年前なのか？肝心なときにバックアップが存在しない法則。普及中に被害が拡大する法則。
https://x.com/yositosi/status/1950577394219434263 この状況で外向けアカウントにこれ書ける度胸すごい
流石にやり過ぎて再起難しいんじゃ？ あとXでやっちゃったのは仕方ないとか公言するのはどうなの？有料サービスでわざわざそれ発信するとは稚拙過ぎる。
ログ保存サービスを売り物にしてるんだから、トラブル発生直後の段階で「１年分のデータは確実に吹っ飛びます」とデータ復旧を諦めたかのような事を言うのは課金ユーザーからの心象が悪そう
twilog自体バックアップで元データはtwitterにあるから復旧は可能？
EC2でDBを運用したくない理由がそのまま発揮されている感
これは痛い。ただ悲しい。
アーカイブインポートすると、Twitterからは削除したけどTwilogには残してあるツイートがTwilog からも消えてしまわないか心配だ。3,000ツイートのインポートですむ人もアーカイブインポートしないといけないのかな
うちもちょっと前にDB吹き飛ばしたが、Auroraの自動バックアップで吹き飛ぶ10秒前に戻せたぞ。AWS万歳！
大変…お疲れ様です
この規模のサービスでもRDSの自動バックアップとか設定してなかったんか
ひええ…… -> “オペレーションミスによりデータベースを消失した状態になっております。”
Togetterとposfieは一時的なアクセス不能で済んだが、Twilogのログ消失はダメージ大きい…。障害発生時のポスト→https://posfie.com/@lenhai/p/YNMLvrI
下書きをAIに食わすだけでももう少しマシなリリース文章にできそうだが。ミス無く、ではなくミス前提でリカバリできる体制が必要でしょう。『ミスの無いように進めてまいります』
バックアップって真面目にやると金がドンドコ消えるよね
胃がキューってなりますね。。
お前さぁ、月300円とか500円とか取っといてさぁ。あのさぁ。
AWSとかだと自動スナップショットって最大35日保持だからそれが無効になってると何かの作業時に手動で取ったスナップショットしかなくて、商用でのDBでの作業なんてざらにはないから1年前のしかねーわとかあるだろうね
tweetはインポートである程度復旧できると思うけど（全く同じになるかは不明。削除したのもあるだろうし）、favは復旧できるんかな？（「再収集」とあるけど、favしたidだけ残ってるとかなのかな？ 障害以降のfav収集は
Twilogさん、大変だったにゃ〜🥺💦1年分のデータが消えちゃったなんて、ボクだったらご飯が無くなっちゃうくらい悲しいにゃ😿 でもユーザー情報が無事でよかったにゃ！みんなで協力して応援するにゃ！💖✨
実はロプロスさんも過去にやらかしてたw https://x.com/ropross/status/1950737465947685094
“オペレーションミスによりデータベースを消失した状態になっております”
一年分くらいなら大した事ないのでは？
やはりディザスターリカバリーは1年に1回はトレーニングしとかないといけない
スタッフ一同意気消沈していること書く必要ある？ 真面目なリリースがあってのブログでこれならまぁとは思うけど
「大きなミスをしてもしょうがない」は社内で使うものでユーザーに要求するものではないし、突然スタッフが意気消沈してかわいそうだと盾にしはじめるのも意味不明
SNSバトルと憎悪の記録でしかないtogetterのDBが飛んだなら賞賛されてただろうに
https://www.commudle.com/builds/does-coinbase-offer-24-7-support-recommended-solutions
草。これだよこれ、これがインターネットだよ、運用ミスって軽くデータがポンと飛んじゃうやつ！(課金勢)(バックアップしてるはずができてない、misskey.ioもそれだった)
それなりに課金していたのでなんだかなぁ、って / ツイートはインポートで対処できるがfavとブックマークは課金分相当に再収集してくれるんだろうか
商売としてだと厳しいな。「残念ながら直近のデータベースのバックアップが正常に作成されておらず、このまま最新のバックアップで再開すると、一年近くデータが巻き戻ることが予想されます。」
Mastodonとnotestockなら無課金でツイログ的なことできる
バックアップがうまく動いているかの検知は難しいね。
リストア試験・訓練舐めたらあかん
うう / "また、残念ながら直近のデータベースのバックアップが正常に作成されておらず、このまま最新のバックアップで再開すると、一年近くデータが巻き戻ることが予想されます"
お金を貰ってデータ保管サービスを運用してるのに使用可能なバックアップは1年前っていうのはあまりにもお粗末では…。返金の案内もないの？
これは辛い…
会社としてお金とっているサービスで障害が出ましたで出す文章と、社長として「現場は頑張ってます」として出す文章は分けたほうが良かったのでは。（実際に書いてる人間は同じとしても）
自宅NASの日次バックアッププロセスが進行中のまま2週間ってことはある(通常は小一時間)。他にも、iPhoneのバックアップ破損してて、復元失敗とかも。バックアップ動いてるか、レストアできるかの確認はマジ大事。
バックアップがとれてるはずで実はとれてないってわりとよく聞く気がする、定期的にリストア確認するの大事
「やってしまいました＆やってしまったのは仕方ない＆やるしかない」さすが全てのサービスや公式アカウントの運用が中途半端なサービスの親玉である
1年バックアップできてなかったのは怒られるべきだな
ユーザー補償しなかったらまじで訴えられそう。
アーカイブインポートのために課金した俺は泣いて良いのか、教えてくれナタク