XFSとVDO圧縮を組み合わせたミッドレンジのLinuxマシンが、M1 Max MacBookよりも中核的な操作を5〜10倍高速に完了。キャッシュ済みのpnpmインストールはLinuxで10秒未満、macOSでは35秒。クリーンアップはLinuxで6秒、macOSでは31秒
“Macで削除に35秒かかった操作が、より遅いSSDを搭載したLinuxマシンで7.5秒で完了。ボトルネックはCPUではない。ファイルシステムなのだ。XFSとVDO組み合わせがAIエージェントには最適だ。ext4の1/3、APFSの1/2の容量で速い”
VDO存在そのものを知らんかった…macOSは論外として、ストレージサイズに困っていないうちはext4でもとりあえず十分良さそうだな
なるほどなぁ。AI時代にAppleはどういう選択をするんだろう？
APFSが小さいファイルが多いと不利なのはinline dataが無いからかと思ったが、調べたらメタデータがでかいみたいね。240Bのファイルを作ると12KBのメタデータができる。FSが複雑化したデメリットかあ。
アップルの反論も聴きたいところ。後発技術として何か事情でもないとこれ程差はつかないよな。手元のマシン性能の重要性は下がってて、そこで勝負するしかないアップルがここをどう考えるか
元のgithub見るとSpotlightインデックスを切ると大幅に改善した例もあるのでファイルシステム限定とも言えない可能性も。ただAppleに調査して欲しさはある。というわけでフィードバックしてみた。
macとLinux比較だとコンテナ周りのオーバーヘッドもないかなぁ。まぁ、Linuxだとスムーズに動くよね
NTFSとかだとどうなるんだろう
AI開発機ということで言えばMacOSでないとダメな理由は確かにないけど、Linuxに乗り換えるのはめんどいなあ
AIに聞いたらNTFSはもっとダメみたい。数十万ファイルを操作するとメタデータ管理でロック競合が起きて致命的に遅くなると。ハードリンク更新も遅く、さらにDefenderがトドメを。ReFSかWSL2上でext4,XFS使えってさ
テオ氏：アップルのファイルシステムは遅すぎる——AIコーディングを全てLinuxに移行し、ストレージを3分の1に削減 — BigGo ファイナンス
XFSとVDO圧縮を組み合わせたミッドレンジのLinuxマシンが、M1 Max MacBookよりも中核的な操作を5〜10倍高速に完了。キャッシュ済みのpnpmインストールはLinuxで10秒未満、macOSでは35秒。クリーンアップはLinuxで6秒、macOSでは31秒
“Macで削除に35秒かかった操作が、より遅いSSDを搭載したLinuxマシンで7.5秒で完了。ボトルネックはCPUではない。ファイルシステムなのだ。XFSとVDO組み合わせがAIエージェントには最適だ。ext4の1/3、APFSの1/2の容量で速い”
VDO存在そのものを知らんかった…macOSは論外として、ストレージサイズに困っていないうちはext4でもとりあえず十分良さそうだな
なるほどなぁ。AI時代にAppleはどういう選択をするんだろう？
APFSが小さいファイルが多いと不利なのはinline dataが無いからかと思ったが、調べたらメタデータがでかいみたいね。240Bのファイルを作ると12KBのメタデータができる。FSが複雑化したデメリットかあ。
アップルの反論も聴きたいところ。後発技術として何か事情でもないとこれ程差はつかないよな。手元のマシン性能の重要性は下がってて、そこで勝負するしかないアップルがここをどう考えるか
元のgithub見るとSpotlightインデックスを切ると大幅に改善した例もあるのでファイルシステム限定とも言えない可能性も。ただAppleに調査して欲しさはある。というわけでフィードバックしてみた。
macとLinux比較だとコンテナ周りのオーバーヘッドもないかなぁ。まぁ、Linuxだとスムーズに動くよね
NTFSとかだとどうなるんだろう
AI開発機ということで言えばMacOSでないとダメな理由は確かにないけど、Linuxに乗り換えるのはめんどいなあ
AIに聞いたらNTFSはもっとダメみたい。数十万ファイルを操作するとメタデータ管理でロック競合が起きて致命的に遅くなると。ハードリンク更新も遅く、さらにDefenderがトドメを。ReFSかWSL2上でext4,XFS使えってさ