ailia LLM NPU（QNN）ベンチマーク

QNN バックエンドの使い方は ailia LLM NPU（QNN）ガイド を参照してください。

測定条件

Gemma 4 を 2 機種で測定した結果です。Snapdragon 8+ Gen 1（SM8475 / Hexagon v69）は E2B の FP16 モデル、Snapdragon 7s Gen 3（SM7635 / Hexagon v73）は E2B / E4B の Int16 モデルを使用しています。いずれも QAIRT 2.47、コンテキスト長 8192、AR-256 / AR-1 構成です。

CPU は同じ端末上で、同一の Q4_0 GGUF を標準の llama.cpp 経路で実行した値です（デコーダワーカー 8、コンテキスト 8192）。出荷構成は OpenMP 無効のビルドで、表の「CPU」がこれにあたります。「CPU（OpenMP）」は GGML_OPENMP=ON / OMP_NUM_THREADS=2 でビルドした比較用の構成です。

Decode スループット

81 トークン入力・1,000 トークン生成時のスループットです。

SM7635 の E2B では NPU の Decode が CPU より 1.10 倍（OpenMP ビルド比では 1.53 倍）高速です。一方、SM8475 の E2B（0.81 倍）と SM7635 の E4B（0.93 倍）では CPU を下回ります。Decode は 1 トークンずつ処理するため重みの読み出しが支配的になり、NPU の並列演算性能を活かしにくいためです。

Prefill スループット

入力トークン数を 64〜2,048 まで変えたときのスループット（tokens/s）です。2 トークンのウォームアップ後、評価を伴わない SetPrompt を 2 回呼んで KV キャッシュを消去し、各入力長で 1 トークンだけ生成しています。

• Prefill のスループットは 実入力トークン数 / 最初の生成呼び出し時間 です。
• 2,048 トークン入力では、SM8475 の E2B で CPU より約 4.21 倍高速（OpenMP ビルド比 5.87 倍高速）、SM7635 の E2B で約 2.20 倍高速（同 2.32 倍高速）、E4B で約 1.29 倍高速（同 1.44 倍高速）です。
• 64 トークンのような短い入力では、固定長の AR-256 グラフでパディングが大きくなるため NPU が不利になります。

Prefill 中の CPU 使用率

2,048 トークン Prefill における、最初の生成呼び出し前後のプロセス CPU 時間です。8 コアすべてを使い切った状態を 100% として表しています。アプリケーションプロセスの使用率であり、端末全体の使用率ではありません。

NPU では Prefill 中の CPU 使用率が 3% 前後に収まるため、アプリケーション側の処理に CPU を残せます。CPU 実行では 8 コアをほぼ使い切るため、発熱と他処理への影響が大きくなります。

VLM（画像入力）の応答時間

同一の 768x768 画像 10 枚、各 100 トークン出力での中央値です。TTFT は画像エンコーダを含むプロンプト設定と最初の生成呼び出しの合計で、モデルのオープンは含みません。

画像入力の TTFT は、SM8475 の E2B で約 12.7 倍、SM7635 の E2B で約 11.4 倍、E4B で約 7.7 倍高速です。CPU と NPU はいずれも同じ 768x768 の画素と 256 個の画像埋め込みを処理しています。

音声入力の応答時間

FLEURS の 10 録音（5 言語 各 2 件、自然な EOS まで生成し上限 256 トークン）の中央値です。TTFT は音声エンコーダを含むプロンプト設定と最初の生成呼び出しの合計で、モデルのオープンは含みません。

音声入力の TTFT は、SM8475 の E2B で約 9.2 倍、SM7635 の E2B で約 6.8 倍、E4B で約 7.3 倍高速です。

メモリ使用量

E2B は SM7635（Hexagon v73）で、LLM / VLM / ALM の各構成を 8 トークン生成で実行したときのメモリ使用量です（単位 MiB、コンテキスト長 8192）。CPU は Q4_0 GGUF と BF16 の mmproj、NPU は Int16 の QNN Model を使用しています。モデルは mmap で読み込むため、実際に確保した作業メモリである匿名メモリ（RssAnon）と、ページキャッシュとして再利用できるファイルマッピング（RssFile）を分けて記載します。ピークはプロセスの最大常駐サイズ（VmHWM）です。

• 匿名メモリは NPU が CPU の 4 分の 1 前後です（LLM 0.25 倍、VLM 0.27 倍、ALM 0.23 倍）。ピーク常駐でも 0.36〜0.45 倍に収まります。
• CPU はモデルを開いた時点で全重みを展開するため 4,690.4 MiB を確保しますが、NPU は 98.4 MiB で開き、最初の生成でコンパイル済みのコンテキストを読み込みます。モデルを開いてから最初の生成までの占有は 1/48 程度です。
• モデルを破棄すると CPU / NPU とも 87 MiB 前後まで戻ります。mallopt(M_PURGE, 0) を呼ぶと 23 MiB 前後になります。
• NPU の値はプロセスから見えた分であり、DSP 内部で完結する領域は含みません。また 8 トークン生成のため、長文で増加する KV キャッシュは含みません。

E4B は同じ端末で、81 トークン入力・100 トークン出力の LLM を 1 回ずつ実行した参考測定です（単位 MiB）。RssAnon と RssFile の内訳は取得しておらず、実行中の PSS を併記します。E2B の表とは条件が異なります。

E4B でも NPU のピークは CPU の約 3 分の 1 です。この測定は端末が Thermal Status 1 の状態で、Android のページ回収の影響を受けています。