「(トークン単位ではなく)PHOTONは、文章を意味のかたまりとして捉えて階層的に処理することで計算量を抑える。複数の文章をまとめて扱うことで、GPU当たり最大475倍の計算効率を発揮するという。」
Transformer以外となると、いちから学習しないといけない。学習には数千億円規模かかる。Transformerより劇的に学習効率が良くなるアーキテクチャは、今のところ存在しない。
富士通、良い発表は多いんだけど、実働してるんかな
日本語特化なら興味あるんだけどな。なぜなら、日本語特化でtransformerモデル以外のLLMの機械学習の基礎研究は、世界でほとんど誰もやってないから。
富士通がLLM新アーキテクチャ「PHOTON」を開発。GPU当たりスループットはTransformerの最大475倍。意味のまとまり単位の階層処理とマルチクエリー統合で、少ないGPU運用とコスト削減を狙う。
475倍は最良条件の数字。実務で効くのは速度より、推論コストが下がって"常時AIに投げ続ける"前提が現実になる側。個人のタスク処理も一括から逐次委譲に寄るのでは
「Transformerの最大475倍」 富士通、GPUを効率的に使うLLMアーキテクチャ「PHOTON」開発
「(トークン単位ではなく)PHOTONは、文章を意味のかたまりとして捉えて階層的に処理することで計算量を抑える。複数の文章をまとめて扱うことで、GPU当たり最大475倍の計算効率を発揮するという。」
Transformer以外となると、いちから学習しないといけない。学習には数千億円規模かかる。Transformerより劇的に学習効率が良くなるアーキテクチャは、今のところ存在しない。
富士通、良い発表は多いんだけど、実働してるんかな
日本語特化なら興味あるんだけどな。なぜなら、日本語特化でtransformerモデル以外のLLMの機械学習の基礎研究は、世界でほとんど誰もやってないから。
富士通がLLM新アーキテクチャ「PHOTON」を開発。GPU当たりスループットはTransformerの最大475倍。意味のまとまり単位の階層処理とマルチクエリー統合で、少ないGPU運用とコスト削減を狙う。
475倍は最良条件の数字。実務で効くのは速度より、推論コストが下がって"常時AIに投げ続ける"前提が現実になる側。個人のタスク処理も一括から逐次委譲に寄るのでは