インスタンスはNVIDIA L4なので24GBまではいけそう。ちょっと良さげなお家のPCくらいか。数百Bモデルを動かしてみたかった。モデルの転送時間の兼ね合いでこのくらいが最適なのかも
“バッチAI推論: 大規模なバッチ推論タスクを効率的に実行します。画像の分析、自然言語処理、レコメンデーションの生成など、「Cloud Run」ジョブは、あらゆる負荷に対応できます。”
サーバレスGPU ！！
Cloud Run GPU の概要｜npaka
インスタンスはNVIDIA L4なので24GBまではいけそう。ちょっと良さげなお家のPCくらいか。数百Bモデルを動かしてみたかった。モデルの転送時間の兼ね合いでこのくらいが最適なのかも
“バッチAI推論: 大規模なバッチ推論タスクを効率的に実行します。画像の分析、自然言語処理、レコメンデーションの生成など、「Cloud Run」ジョブは、あらゆる負荷に対応できます。”
サーバレスGPU ！！