Turning the Postal System into a Generic Digital Communication Mechanism https://conferences.sigcomm.org/sigcomm/2004/papers/p402-wang.pdf SIGCOMM '04: Proceedings of the 2004 conference on Applications, technologies, architectures, and protocols for computer communications Pages 159 - 166
24TBのHDDが安くなったと話題になる→「これ持って新幹線に乗ればかなり速い速度でやり取り出来る」と閃く人が登場「結局手渡しが1番速い」「速いけど遅延がすごいぞ」
https://www.publickey1.jp/blog/24/awsaws_snowmobile.html https://aws.amazon.com/jp/blogs/news/aws-snowmobile-move-exabytes-of-data-to-the-cloud-in-weeks/
24TBの容量やり取りするってどんな職業だろう
回線開通前のDCにデータ入れるとかだとこの手段を取るしかないしね。
現実的には24tbを別の何かから入れる及び出す時間がかかるので遅いです/当たり前だけど物理的に運ぶユースケース自体はあるよ。速度に期待してこれやつやつは居ないってだけで。
id:centersky アニメとか映画の映像界隈や、ゲームとかのグラフィックとかだと、割と普通にテラバイトのデータのやり取りが発生するぞ。だいたいは東京だから、車で行ったりする。
重いので持ち運び考えると3本以上は無理。先週まてでやっと5本買えたわ
24TBもどうするのか
書き込み時間がなぁ
原価厨みたいなもん
HDDは読み込みや書き込みに時間がかかるから、いくら大容量が運搬出来ても、データ吸い出しで半日くらい掛かるので実測は遅いんだよねぇ
バイク便使うほどの急ぎじゃないしってことで送料節約のため通勤定期券範囲から近い所にDVD-Rを電車で納品する役になったことはある
Turning the Postal System into a Generic Digital Communication Mechanism https://conferences.sigcomm.org/sigcomm/2004/papers/p402-wang.pdf SIGCOMM '04: Proceedings of the 2004 conference on Applications, technologies, architectures, and protocols for computer communications Pages 159 - 166
Snowmobileはサ終してしまいましたね……
映画がフィルムからDLP上映になってから暫く、ロードショーのハードディスクを地方の映画館に届ける仕事があった。いまは配信に改まっているだろうけど
HDDに20TB近いデータを書き込むとか1日じゃ終わらないんじゃないかな。
通信回線を圧迫する時間やレジュームなどを考え出すと、多少遅くても外部HDDに入れて移動というのはある程度大きなサイズになってくると現実的に取られる手法になる。焦点が転送遅延<転送成否になってくる。
https://cpplover.blogspot.com/2013/02/fedex.html
高校の先生に言われた言葉いいね。光より速いってそれ新幹線の「のぞみ」より「ひかり」の方が速いって話じゃないか。ポストした人が大好きな言葉と言いたくなるのわかる。
ヤシマ作戦みたいに全部の回線を独り占めすればもっと早いんじゃない?
映像制作業界では10年前時点でもネットワークより記録メディアをバイク便で送るケースが多かった
これ、先月は45000円前後で、更にヨドバシビッグで売られていたので10%ポイントバックというボーナスタイムだった。使った感じはかなり熱を持つので、NASに入れるなら冷却がんばらないといけない感じ。
まぁすでに中身入ってるHDDをそのまま渡すんだったら有効なのか
「SHIROBAKO」で見た
いざという時にドデカ容量の物理メディアを持っておくと良いのかもしれない?
24TBのHDDを複数個持って行けばかなり速い。128個くらいスーツケースで行けそう。
転送中にMD5検証はできる
交通網もネットワーク
昔地球シミュレータにデータ送るときに実際HDD持って新幹線乗ってたやん
たし🦀ただ、ラストマンマイル(?)がhdd自身の速度の遅さ🦆
オフラインなのでセキュリティも万全だな
HDDで、24TBリードライト転送する時間も入れないと
HAMR(熱アシスト磁気記録)って新技術が導入されて、2000円/TBを下回った期待の新製品。新幹線で持ち運ぶ前に、これだけ容量が大きいとHDDの全領域への書き込みに1日以上かかるのよね。
扉を開けたら新幹線のホームがある環境、newdaysとかベルマートかな(2回目)
どれだけの量運んでも実際にケーブル繋げてからが本番なので…
バイク便でMOやらCD-Rやら送ってたことならある。てことは1GBもないデータだったんだよな、ムック1冊分とか。今だとどんな感じなんだろ。ADSL時代かな?
富岳でもやれるよ。途中までネットワークだけど
20年以上も前、実際にやったことがあります。新幹線がとまったことも考えていました。私は運んでいませんけど。
転送するより早いってことか
AWSがスノーモービルを超えるスノートレインを提供しそう
オフ交換復活?
大容量データはストレージごと運ぶのが速いって話はずっと前からあるけど、10Gbpsの光回線が来てるならSATAHDDは6Gbpsなので普通に通信した方が速い
Amazonはこれをスノーボールっていうやつで(略)
4kディスプレイにデフラグ表示して延々見てたい、
まとめにもいっとるけど、セーブ、ロードの時間を勘定に入れたら効率はかなり下がるのでは。
amazonが物理的にデータを搬送するサービス(Snowball)をやってて終了しちゃったんだよな、と思ったら、持ち込みできるようになっていたのか→ https://www.itmedia.co.jp/news/articles/2412/03/news096.html
通信で送るより明らかに早いってDVD焼いて持ってったことあるなあ、懐かしい
全データ到着を待たずに書き込めるんだから絶対に光ファイバーの方が早い。だいたい新幹線に何TBドライブを積むかは任意なのに光ファイバーは1本なのもよくわからん。何回線でもバルクしたらいいじゃん。
AWSバックボーンを使おう
レイテンシーの概念のない者の末路はいつも悲惨だ。恐ろしい恐ろしい。
そんな盛り上がりをよそに、最重要データのバックアップが入ったLTOテープメディアを乗せたトラックたちは日々粛々と首都圏から各地へ走ってゆくのであった
リニアが開通したら、どうなんの? というかリニアの中の一両を小型のストレージにしてしまうとか。
あたしゃ磁気テープ持って海外行きましたよ。読めなかった時の悲しみと言ったら。
会社の回線が100Mbpsなのでありがたい(涙)
実際早い。10gの帯域保証回線持ってるとこ少ないしバックアップ用途で回線占有なんかできないからね
データを分割してNVMeにコピー、ハンドキャリーが最強なのかな
一方、記憶屋ジョニーの脳は最大で320GB……
ジークアクスのニャアンの仕事。
都内から都内で、バイク便使うのが、一番メリットありそう
大容量データだと、物理的移動・手渡しの方が早いってことなの?確かに専用線が要るような極秘データならそうか。ミッションインポシブルでも、お約束で指令は原始的で物理的だもんな。
ただし、相手先で接続できるものとする
前職で某インフラ系に装置納品してたけどデータが膨大になるので直接電車で回収に行ってたなあ
PC製造の現場で実際に行われていることですね。専用回線より速い。インターネットなんかお話になりません。
その24TBにファイルを転送する時間を考えたらそこまで速くなさそう
記憶屋ジョニー(JM)で、脳を拡張して情報を運べるようにしているが、容量は320Gだったはず。
運ぶだけの仕事がしたいってコメントあったけどああいうCMT運ぶような仕事は高度な知識と技術を持った単価の高いエンジニアしか任せてもらえない
こういう話好き。これがメタ認知
そういえばnasの導入を考えていたんだった。ちょうど良い記事ありがとう
RFC 1149の亜種ですな
以前、職場でも大容量の転送問題が話題になったとき物理運搬が意外と速いという話が出たっけ。
コンテナトラックに記憶装置積んだ奴がAWSにあったはずだが、あれはなくなったんだっけ(笑)/コメントを見て。Snowballか。
シーゲートの緑のライン(BarraCuda)は1日8時間の週5日想定なので、NAS利用には赤ライン(ironwolf)をお勧めします。https://pc.watch.impress.co.jp/docs/topic/special/2017179.html 読書言うけど、実運用上は読みだけやろ
昔、丸善がユーザ情報のバックアップメディアを紛失して、自分のデータも含まれてるのかサポートに問い合わせしたの思い出した。
クラウドの時代に?中身は何だよ。このHDDを持ち運ぶとして、その元データはどこに保存してんだよ。コピーの時間は?現実的にそんな運用してる会社はあるのか?(あるだろうな)昔は楽しかったかもしれんが話が古臭い。
運ぶために書き込んだり、運んだあとに読み出す時間も考えないと…
三菱にいたとき、プログラムを間違って書き込んだECUを運ぶのに手の空いてる社員を50人くらい動員して新幹線で運んだよ。
その昔、バイク便というサービスがあってな。MOディスクという四角いカセットに書き込んだ情報を電話一本で…