【特集】 眠っているIntelのNPUをLLMで叩き起こしてみた

NPUがついにタダの飾りを卒業したか AnythingLLM有能すぎる

"Core Ultraシリーズ2（Arrow Lake）のNPU「Intel AI Boost」は、ほとんど使い道がない。ノートPCであれば、「Windows スタジオ エフェクト」という背景ぼかし処理に活用できるのだが、この機能は特定のモデルでしか有効化できず"

人がコードを書かない(と界隈が盛り上がってる)ご時世になんですが、コード補完ぐらいには使えたりしないかな

Ryzen AI 7 350搭載のノートパソコン、Lemonadeさんの真価を発揮するにはメモリが足りない。ほかにNPUの有意義な使い道はないものか……

きっとまともな使い道はあるんだろうけど、人類はまだそれに気が付いていないので、抜本的に性能が向上するまではマーケティング用の飾りで終わる可能性が高い。MacにもNPU(Neural Engine)が載ってるけど微動だにしない。

copilot pc 使ってると、結構NPU使ってて驚く。Teamsのカメラ補正とか代表的だけど、画面内の文字認識とかめっちゃ便利。win+qはもう手放せない。

そもそもPCのNPUなんかカメラの背景ボケくらいしかつかわんだろう。アプリはGPU使うし。と思っていたら、ブコメを見て驚いた。そうか、最近は結構使うのか。

結局メモリとバスでデータ行き来するのがボトルネックで使いこなし難しいんだろうなと。元々CNNでメモリ局所性あること前提のものだろうし

AIが生成AIの話題ばかりで認識AIの用途もあるでよっていうのと、生成AIも省メモリ化が進むと良いなあというのと。