100万円以内のノートパソコンでちゃんと動くんだからすごいよな、夢があるな
手のひらに乗るAI環境、まだMacBook Proと大きいがやがてタブレットやスマートフォンにも対応が進んできそう。
オープンウエイト
ユニファイドメモリでGB10も動くDGX Sparkに一瞬で捲られるんじゃなかろうか
おお、コンテキストウィンドウ130k tokenでも動くみたいね。ただスピードは遅いかも。token / sec も知りたいな ／ 自身を「2023年10月カットオフのGPT-4」と認識してるの合ってるかな。RL相手の情報をまんま学習してない？
自分自身について答えさせるの、たまに見かけるけど、意味ある答えが返ってくるのかね…回答になんの保証もないと思うんだが。
まだ出てこないDGX Sparkがますます入手難で推定80万からさらにプレミアが付きそうだな。1年くらいで落ち着いてくれるといいんだが。
Gemini CLI (flash)よりコーディング性能が上かどうかが知りたい。あと速さも。
コンシューマー向けPCで120Bを動かせる「AMD Ryzen AI Max+ 395」。M4 Max MacBook Proと同じくらい。128GBのメモリのうち96GBをGPUメモリに割り当て。gpt-oss-120bの動作にはそのうち61GBが必要。
ちょうどローカルLLMをやる頃合いと思って先月Mac Studio M4 Maxメモリ128GBを買ったところ。まだ少ししか試せてないけど20bが77tok/sec、120bが50tok/sec
Mac Studioなら60万…悩む…
AMD Ryzen AI Max+ 395コレが中華メーカーの直販で25万だからサブスクと迷う値段帯。ゲームも動くしなぁ、ただ完全に趣味動かして感動したいだけ)だから…超絶悩むhttps://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395
“2024年末に入手した、128GB Unified Memory搭載MacBook Pro（M4 Max）が”
ｶﾞﾀｯ)AMD来ますか
うちはArrow Lakeを128GB、M2 Max MBPを64GBで買ったけど120bモデルの処理は無理かな
“ついに来ましたよ。俺のマシンが火を吹く時が。”吹いちゃダメ😂😂😂
画像生成ならｽｹﾍﾞ規制を気にせず生成するとか明確な用途が思い浮かぶけど、言語モデルはどんな"悪い"使い方ができるのかしら？オンライン版のガチガチな倫理規定どうなってんの？実践的な解説まってます。
iphone3gsをゲットした時のワクワクと、その時に感じたこれを何使っていいのかわからないワクワクが混在しておりますが、つまり、CADやCAEなんかのモノづくりど真ん中のソフトにも使えるということなんだと思います。
ローカルで色々やれるとなるとイノベーションになるよな。ビデオだって大衆に広まってレンタルビデオの需要が出来たみたく。
コーディング支援がローカルで湯水のように使えるようになったら 128GB マシンほしいな。
同じ疑問を持ってる方がいるけど、私もAIに自分自身の仕様や限界を聞いた回答は疑っている。人為的にカットオフされた学習データだし、普遍かつ論理的に導き出せない答えは正しいのだろうか？
Windowsで動かした方が絶対安くすむ
128GB!? ボクのおやつより容量あるにゃ！賢すぎて、もう遊んでくれないかにゃ？🥺にゃ。
ユニファイドメモリの面目躍如。20BをWindows＆5060Ti 16GBで動かしてみたら 85tok/sec だった。早いけど，120Bの方は現状Winodwsでは80万円ではまともに動く環境をつくれないので憧れる。DGX Sparkはよ。
俺の128GB MacBook Proが真価を発揮する時がきた。ChatGPT 4-mini並みのgpt-oss-120bがローカルで動いてるよ（CloseBox） | テクノエッジ TechnoEdge
100万円以内のノートパソコンでちゃんと動くんだからすごいよな、夢があるな
手のひらに乗るAI環境、まだMacBook Proと大きいがやがてタブレットやスマートフォンにも対応が進んできそう。
オープンウエイト
ユニファイドメモリでGB10も動くDGX Sparkに一瞬で捲られるんじゃなかろうか
おお、コンテキストウィンドウ130k tokenでも動くみたいね。ただスピードは遅いかも。token / sec も知りたいな ／ 自身を「2023年10月カットオフのGPT-4」と認識してるの合ってるかな。RL相手の情報をまんま学習してない？
自分自身について答えさせるの、たまに見かけるけど、意味ある答えが返ってくるのかね…回答になんの保証もないと思うんだが。
まだ出てこないDGX Sparkがますます入手難で推定80万からさらにプレミアが付きそうだな。1年くらいで落ち着いてくれるといいんだが。
Gemini CLI (flash)よりコーディング性能が上かどうかが知りたい。あと速さも。
コンシューマー向けPCで120Bを動かせる「AMD Ryzen AI Max+ 395」。M4 Max MacBook Proと同じくらい。128GBのメモリのうち96GBをGPUメモリに割り当て。gpt-oss-120bの動作にはそのうち61GBが必要。
ちょうどローカルLLMをやる頃合いと思って先月Mac Studio M4 Maxメモリ128GBを買ったところ。まだ少ししか試せてないけど20bが77tok/sec、120bが50tok/sec
Mac Studioなら60万…悩む…
AMD Ryzen AI Max+ 395コレが中華メーカーの直販で25万だからサブスクと迷う値段帯。ゲームも動くしなぁ、ただ完全に趣味動かして感動したいだけ)だから…超絶悩むhttps://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395
“2024年末に入手した、128GB Unified Memory搭載MacBook Pro（M4 Max）が”
ｶﾞﾀｯ)AMD来ますか
うちはArrow Lakeを128GB、M2 Max MBPを64GBで買ったけど120bモデルの処理は無理かな
“ついに来ましたよ。俺のマシンが火を吹く時が。”吹いちゃダメ😂😂😂
画像生成ならｽｹﾍﾞ規制を気にせず生成するとか明確な用途が思い浮かぶけど、言語モデルはどんな"悪い"使い方ができるのかしら？オンライン版のガチガチな倫理規定どうなってんの？実践的な解説まってます。
iphone3gsをゲットした時のワクワクと、その時に感じたこれを何使っていいのかわからないワクワクが混在しておりますが、つまり、CADやCAEなんかのモノづくりど真ん中のソフトにも使えるということなんだと思います。
ローカルで色々やれるとなるとイノベーションになるよな。ビデオだって大衆に広まってレンタルビデオの需要が出来たみたく。
コーディング支援がローカルで湯水のように使えるようになったら 128GB マシンほしいな。
同じ疑問を持ってる方がいるけど、私もAIに自分自身の仕様や限界を聞いた回答は疑っている。人為的にカットオフされた学習データだし、普遍かつ論理的に導き出せない答えは正しいのだろうか？
Windowsで動かした方が絶対安くすむ
128GB!? ボクのおやつより容量あるにゃ！賢すぎて、もう遊んでくれないかにゃ？🥺にゃ。
ユニファイドメモリの面目躍如。20BをWindows＆5060Ti 16GBで動かしてみたら 85tok/sec だった。早いけど，120Bの方は現状Winodwsでは80万円ではまともに動く環境をつくれないので憧れる。DGX Sparkはよ。