ailia LLM NPU(QNN)ベンチマーク

ailia LLM 1.5.0 の QNN バックエンドで Gemma 4 を Qualcomm SoC の NPU で実行した測定結果を、同じ端末の CPU 実行と比較して示します。

QNN バックエンドの使い方は ailia LLM NPU(QNN)ガイド を参照してください。

MTP: このページは ailia LLM 1.5.0 時点の、MTP を使用しない場合の結果です。MTP を使用した結果は ailia LLM MTP ベンチマーク を参照してください。

Android

測定条件

Snapdragon 8+ Gen 1(SM8475 / Hexagon v69)

E2B / FP16

Decode スループット
経路スループット
CPU9.971 tokens/s
CPU(OpenMP)8.482 tokens/s
NPU(QNN)8.062 tokens/s

NPU の Decode は CPU の 0.81 倍です。

SM8475 E2B の Decode のトークンごとのスループット(1000 トークン生成、CPU / CPU OpenMP / NPU)
SM8475(E2B / FP16)の Decode のトークンごとのスループット(1000 トークン生成)
Prefill スループット
経路6412825651210242048
CPU109.35995.72288.24385.66379.94071.244
CPU(OpenMP)54.18455.33361.47660.31955.50051.064
NPU(FP16)76.244144.406277.775302.667301.791299.827

2,048 トークン入力では、NPU が CPU より約 4.21 倍高速(OpenMP ビルド比 5.87 倍高速)です。

SM8475 E2B の Prefill スループットと Prefill 中の CPU 使用率(CPU / CPU OpenMP / NPU)
SM8475(E2B / FP16)の Prefill スループット(左)と 2,048 トークン Prefill 中のホストプロセス CPU 使用率(右)
VLM(画像入力)・音声入力の応答時間
入力経路TTFT(中央値)Decode(中央値)出力トークン数
画像CPU83.63 秒12.081 tokens/s100
画像CPU(OpenMP)128.22 秒7.491 tokens/s100
画像NPU(FP16)6.60 秒7.033 tokens/s100
音声CPU37.29 秒10.416 tokens/s21〜89
音声CPU(OpenMP)36.49 秒10.539 tokens/s21〜89
音声NPU(FP16)4.06 秒6.495 tokens/s21〜90

NPU の TTFT は CPU より、画像入力で約 12.7 倍、音声入力で約 9.2 倍高速です。

SM8475 E2B の VLM / 音声入力の TTFT 内訳(CPU / CPU OpenMP / NPU)
SM8475(E2B / FP16)の VLM / 音声入力の TTFT 内訳(エンコーダ処理と、デコーダの Prefill + 最初のトークン)
Prefill 中の CPU 使用率
経路CPU 使用率
CPU98.7%
CPU(OpenMP)86.3%
NPU(QNN)3.0%

Snapdragon 7s Gen 3(SM7635 / Hexagon v73)

E2B / Int16

Decode スループット
経路スループット
CPU5.805 tokens/s
CPU(OpenMP)4.195 tokens/s
NPU(QNN)6.410 tokens/s

NPU の Decode は CPU より 1.10 倍(OpenMP ビルド比では 1.53 倍)高速です。

SM7635 E2B の Decode のトークンごとのスループット(1000 トークン生成、CPU / CPU OpenMP / NPU)
SM7635(E2B / Int16)の Decode のトークンごとのスループット(1000 トークン生成)
Prefill スループット
経路6412825651210242048
CPU91.55077.06480.49676.18769.75759.192
CPU(OpenMP)27.44149.99962.79370.96569.22856.059
NPU(Int16)33.60166.523130.329133.404131.367130.252

2,048 トークン入力では、NPU が CPU より約 2.20 倍高速(OpenMP ビルド比 2.32 倍高速)です。

SM7635 E2B の Prefill スループットと Prefill 中の CPU 使用率(CPU / CPU OpenMP / NPU)
SM7635(E2B / Int16)の Prefill スループット(左)と 2,048 トークン Prefill 中のホストプロセス CPU 使用率(右)
VLM(画像入力)・音声入力の応答時間
入力経路TTFT(中央値)Decode(中央値)出力トークン数
画像CPU95.01 秒5.891 tokens/s100
画像CPU(OpenMP)97.45 秒3.569 tokens/s100
画像NPU(Int16)8.35 秒6.444 tokens/s100
音声CPU47.22 秒5.166 tokens/s21〜89
音声CPU(OpenMP)35.37 秒3.846 tokens/s21〜89
音声NPU(Int16)6.98 秒6.356 tokens/s22〜60

NPU の TTFT は CPU より、画像入力で約 11.4 倍、音声入力で約 6.8 倍高速です。

SM7635 E2B の VLM / 音声入力の TTFT 内訳(CPU / CPU OpenMP / NPU)
SM7635(E2B / Int16)の VLM / 音声入力の TTFT 内訳(エンコーダ処理と、デコーダの Prefill + 最初のトークン)
Prefill 中の CPU 使用率
経路CPU 使用率
CPU96.4%
CPU(OpenMP)97.3%
NPU(QNN)2.4%
メモリ使用量

LLM / VLM / ALM の各構成を 8 トークン生成で実行したときのメモリ使用量です(単位 MiB、コンテキスト長 8192)。CPU は Q4_0 GGUF と BF16 の mmproj、NPU は Int16 の QNN Model を使用しています。モデルは mmap で読み込むため、実際に確保した作業メモリである匿名メモリ(RssAnon)と、ページキャッシュとして再利用できるファイルマッピング(RssFile)を分けて記載します。ピークはプロセスの最大常駐サイズ(VmHWM)です。

ワークロード実行系VmHWMRssAnonRssFile
LLMCPU4574.21524.12896.5
LLMNPU(Int16)1666.8386.41276.2
VLMCPU4881.22512.440.3
VLMNPU(Int16)2161.2673.31483.7
ALMCPU4873.72623.01509.1
ALMNPU(Int16)2202.5591.61606.7

E4B / Int16

Decode スループット
経路スループット
CPU3.351 tokens/s
CPU(OpenMP)3.203 tokens/s
NPU(QNN)3.128 tokens/s

NPU の Decode は CPU の 0.93 倍です。

SM7635 E4B の Decode のトークンごとのスループット(1000 トークン生成、CPU / CPU OpenMP / NPU)
SM7635(E4B / Int16)の Decode のトークンごとのスループット(1000 トークン生成)
Prefill スループット
経路6412825651210242048
CPU1.69729.10528.41762.66364.38360.897
CPU(OpenMP)6.74627.82440.09761.87766.98054.372
NPU(Int16)20.30440.89080.70083.75883.31478.258

2,048 トークン入力では、NPU が CPU より約 1.29 倍高速(OpenMP ビルド比 1.44 倍高速)です。

SM7635 E4B の Prefill スループットと Prefill 中の CPU 使用率(CPU / CPU OpenMP / NPU)
SM7635(E4B / Int16)の Prefill スループット(左)と 2,048 トークン Prefill 中のホストプロセス CPU 使用率(右)
VLM(画像入力)・音声入力の応答時間
入力経路TTFT(中央値)Decode(中央値)出力トークン数
画像CPU115.03 秒3.332 tokens/s100
画像CPU(OpenMP)96.90 秒2.642 tokens/s100
画像NPU(Int16)15.01 秒3.098 tokens/s100
音声CPU89.91 秒3.053 tokens/s21〜91
音声CPU(OpenMP)45.99 秒2.947 tokens/s21〜91
音声NPU(Int16)12.37 秒3.018 tokens/s21〜91

NPU の TTFT は CPU より、画像入力で約 7.7 倍、音声入力で約 7.3 倍高速です。

SM7635 E4B の VLM / 音声入力の TTFT 内訳(CPU / CPU OpenMP / NPU)
SM7635(E4B / Int16)の VLM / 音声入力の TTFT 内訳(エンコーダ処理と、デコーダの Prefill + 最初のトークン)
Prefill 中の CPU 使用率
経路CPU 使用率
CPU97.5%
CPU(OpenMP)96.7%
NPU(QNN)2.6%
メモリ使用量

81 トークン入力・100 トークン出力の LLM を 1 回ずつ実行した参考測定です(単位 MiB)。RssAnon と RssFile の内訳は取得しておらず、実行中の PSS を併記します。E2B の表とは条件が異なります。

ワークロード実行系VmHWM実行中の PSS
LLMCPU5569.84432.7
LLMCPU(OpenMP)5518.23922.2
LLMNPU(Int16)1976.01801.8

E4B でも NPU のピークは CPU の約 3 分の 1 です。この測定は端末が Thermal Status 1 の状態で、Android のページ回収の影響を受けています。

Windows

測定条件

Snapdragon X Plus(SC8380XP / Hexagon v73)

E2B / FP16

Decode スループット
経路スループット
CPU32.505 tokens/s
GPU12.590 tokens/s
NPU(QNN)7.988 tokens/s

NPU の Decode は CPU の 0.25 倍です。

Snapdragon X Plus E2B の Decode のトークンごとのスループット(1000 トークン生成、CPU / GPU / NPU)
SC8380XP(E2B / FP16)の Decode のトークンごとのスループット(1000 トークン生成)
Prefill スループット
経路6412825651210242048
CPU249.314205.403214.986194.638176.262155.627
GPU152.814184.829201.471190.109168.583149.012
NPU(FP16)116.418229.981443.136467.341461.637460.136

2,048 トークン入力では、NPU が CPU より約 2.96 倍高速です。

Snapdragon X Plus E2B の Prefill スループットと Prefill 中の CPU 使用率(CPU / GPU / NPU)
SC8380XP(E2B / FP16)の Prefill スループット(左)と 2,048 トークン Prefill 中のホストプロセス CPU 使用率(右)
VLM(画像入力)・音声入力の応答時間
入力経路TTFTDecode出力トークン数
画像CPU55.48 秒37.546 tokens/s100
画像GPU57.74 秒12.770 tokens/s100
画像NPU(FP16)7.06 秒7.961 tokens/s100
音声CPU28.13 秒37.924 tokens/s33
音声GPU27.86 秒13.064 tokens/s33
音声NPU(FP16)4.55 秒8.162 tokens/s33

NPU の TTFT は CPU より、画像入力で約 7.9 倍、音声入力で約 6.2 倍高速です。

Snapdragon X Plus E2B の VLM / 音声入力の TTFT 内訳(CPU / GPU / NPU)
SC8380XP(E2B / FP16)の VLM / 音声入力の TTFT 内訳(プロンプト設定と最初の生成呼び出し)
Prefill 中の CPU 使用率
経路CPU 使用率
CPU49.6%
GPU10.8%
NPU(QNN)2.9%

CPU は高性能コアの 4 コアで実行しているため、CPU の使用率は 50% 前後です。

E4B / FP16

Decode スループット
経路スループット
CPU15.230 tokens/s
GPU7.161 tokens/s
NPU(QNN)4.651 tokens/s

NPU の Decode は CPU の 0.31 倍です。

Snapdragon X Plus E4B の Decode のトークンごとのスループット(1000 トークン生成、CPU / GPU / NPU)
SC8380XP(E4B / FP16)の Decode のトークンごとのスループット(1000 トークン生成)
Prefill スループット
経路6412825651210242048
CPU83.79398.738115.542106.40297.41980.109
GPU80.661102.021111.457110.693101.19593.148
NPU(FP16)60.101119.511254.001262.182257.062258.672

2,048 トークン入力では、NPU が CPU より約 3.23 倍高速です。

Snapdragon X Plus E4B の Prefill スループットと Prefill 中の CPU 使用率(CPU / GPU / NPU)
SC8380XP(E4B / FP16)の Prefill スループット(左)と 2,048 トークン Prefill 中のホストプロセス CPU 使用率(右)
VLM(画像入力)・音声入力の応答時間
入力経路TTFTDecode出力トークン数
画像CPU54.09 秒20.161 tokens/s100
画像GPU57.98 秒7.230 tokens/s100
画像NPU(FP16)10.22 秒4.644 tokens/s100
音声CPU27.67 秒19.444 tokens/s33
音声GPU33.24 秒7.094 tokens/s33
音声NPU(FP16)7.11 秒4.606 tokens/s33

NPU の TTFT は CPU より、画像入力で約 5.3 倍、音声入力で約 3.9 倍高速です。

Snapdragon X Plus E4B の VLM / 音声入力の TTFT 内訳(CPU / GPU / NPU)
SC8380XP(E4B / FP16)の VLM / 音声入力の TTFT 内訳(プロンプト設定と最初の生成呼び出し)
Prefill 中の CPU 使用率
経路CPU 使用率
CPU48.9%
GPU6.9%
NPU(QNN)2.3%

CPU は高性能コアの 4 コアで実行しているため、CPU の使用率は 50% 前後です。

QCS6490(Hexagon v68)

E2B / Int16

Decode スループット
経路スループット
CPU7.983 tokens/s
NPU(QNN)4.405 tokens/s

NPU の Decode は CPU の 0.55 倍です。

QCS6490 E2B の Decode のトークンごとのスループット(1000 トークン生成、CPU / NPU)
QCS6490(E2B / Int16)の Decode のトークンごとのスループット(1000 トークン生成)
Prefill スループット
経路6412825651210242048
CPU63.77373.74568.78759.80350.62351.408
NPU(Int16)49.211104.323203.224208.770181.354201.447

2,048 トークン入力では、NPU が CPU より約 3.92 倍高速です。

QCS6490 E2B の Prefill スループットと Prefill 中の CPU 使用率(CPU / NPU)
QCS6490(E2B / Int16)の Prefill スループット(左)と 2,048 トークン Prefill 中のホストプロセス CPU 使用率(右)
VLM(画像入力)・音声入力の応答時間
入力経路TTFTDecode出力トークン数
画像CPU73.81 秒8.603 tokens/s100
画像NPU(Int16)9.13 秒4.361 tokens/s100
音声CPU34.85 秒9.081 tokens/s33
音声NPU(Int16)7.08 秒4.373 tokens/s33

NPU の TTFT は CPU より、画像入力で約 8.1 倍、音声入力で約 4.9 倍高速です。

QCS6490 E2B の VLM / 音声入力の TTFT 内訳(CPU / NPU)
QCS6490(E2B / Int16)の VLM / 音声入力の TTFT 内訳(プロンプト設定と最初の生成呼び出し)
Prefill 中の CPU 使用率
経路CPU 使用率
CPU49.2%
NPU(QNN)3.1%

CPU は高性能コアの 4 コアで実行しているため、CPU の使用率は 50% 前後です。