ailia LLM MTP ベンチマーク

MTP の仕組みと使い方は ailia LLM MTP ガイド を参照してください。

• Android
  • Snapdragon 8+ Gen 1（SM8475）：E2B
  • Snapdragon 7s Gen 3（SM7635）：E2B / E4B
• Windows
  • Snapdragon X Plus（SC8380XP）：E2B / E4B
  • QCS6490：E2B

Android

測定条件

• NPU：v1.5.1 の MTP 対応モデル（W4）、QAIRT 2.47、コンテキスト長 8192、AR-256（Prefill）/ AR-4（検証）/ AR-1 構成です。
• CPU：llama.cpp で実行しています（スレッド数 4）。本体は GGUF（E2B は Q4_K_M、E4B は QAT Q4_0）、Assistant は Q4_0 の GGUF です。
• MTP：「MTP あり」は Assistant を開いた値（ドラフト長 3）です。受理率は、Assistant の候補が本体の検証で採用された割合です。
• 測定方法：greedy で、各条件 2 回の中央値です。Decode は 81 トークン入力・1,000 トークン生成、Prefill は 64〜2,048 トークン入力・1 トークン生成です。
• 画像・音声入力：画像は 768x768 の 1 枚（100 トークン出力）、音声は英語音声 1 件の書き起こし（32 トークン出力）です。TTFT はエンコーダを含み、モデルのオープンは含みません。
• CPU 使用率：Decode 中のプロセス CPU 使用率で、8 コアすべてを使い切った状態を 100% とします。CPU は 4 スレッドで動作するため 50% 前後になります。

Snapdragon 8+ Gen 1（SM8475 / Hexagon v69）

E2B / FP16

Decode スループット

Prefill スループット

VLM（画像入力）・音声入力の応答時間

NPU（MTP あり）の TTFT は CPU（MTP なし）の 1/4.8（画像）、1/4.8（音声）です。NPU の Decode は MTP により、画像入力で 1.95 倍、音声入力で 3.38 倍になりました。

CPU 使用率

Snapdragon 7s Gen 3（SM7635 / Hexagon v73）

E2B / Int16

Decode スループット

Prefill スループット

VLM（画像入力）・音声入力の応答時間

NPU（MTP あり）の TTFT は CPU（MTP なし）の 1/2.3（画像）、1/1.9（音声）です。NPU の Decode は MTP により、画像入力で 1.45 倍、音声入力で 2.57 倍になりました。

CPU 使用率

E4B / Int16

Decode スループット

Prefill スループット

VLM（画像入力）・音声入力の応答時間

NPU（MTP あり）の TTFT は CPU（MTP なし）の 1/6.6（画像）、1/4.0（音声）です。NPU の Decode は MTP により、画像入力で 1.03 倍、音声入力で 1.81 倍になりました。

CPU 使用率

Windows

測定条件

• OS：SC8380XP は Windows 11 Pro、QCS6490 は Windows 11 IoT Enterprise LTSC です。
• NPU：v1.5.1 の MTP 対応モデル（SC8380XP は FP16 / W4、QCS6490 は Int16）、QAIRT 2.47、コンテキスト長 8192 です。
• CPU / GPU：CPU は llama.cpp で実行しています（OpenMP 無効、高性能コアの 4 コア）。本体は QAT Q4_0、Assistant は Q4_0 の GGUF です。GPU は SC8380XP の Adreno X1-45 で llama.cpp の OpenCL バックエンドを使用しています（QCS6490 は未測定）。
• 測定方法：greedy で、各構成 1 回の測定です。Decode・Prefill・受理率の条件は Android と同じです。
• 画像・音声入力：画像は 768x768 の 1 枚（100 トークン出力）、音声は英語音声 1 件の書き起こし（33 トークン出力）です。エンコーダは CPU・GPU の構成では CPU、NPU の構成では NPU で実行しています。
• CPU 使用率：Decode 中のプロセス CPU 使用率で、8 コアすべてを使い切った状態を 100% とします。CPU は高性能コアの 4 コアだけを使用するため 50% 前後になります。

Snapdragon X Plus（SC8380XP / Hexagon v73）

E2B / FP16

Decode スループット

Decode は CPU が最も高速です。GPU は MTP ありで Decode が低下しました。

Prefill スループット

128 トークン以上の入力では NPU が最も高速で、2,048 トークン入力では CPU（MTP なし）の 3.29 倍です。MTP の有無で NPU の Prefill はほぼ同じです。

VLM（画像入力）・音声入力の応答時間

NPU の TTFT は CPU（MTP なし）の 1/13.0（画像）、1/6.9（音声）です。NPU の Decode は MTP により、画像入力で 1.62 倍、音声入力で 2.67 倍になりました。

CPU 使用率

CPU は高性能コアの 4 コアで実行しているため、CPU の使用率は 50% 前後です。

E4B / FP16

Decode スループット

Decode は CPU が最も高速です。GPU は MTP ありで Decode が低下しました。

Prefill スループット

128 トークン以上の入力では NPU が最も高速で、2,048 トークン入力では CPU（MTP なし）の 3.20 倍です。MTP の有無で NPU の Prefill はほぼ同じです。

VLM（画像入力）・音声入力の応答時間

NPU の TTFT は CPU（MTP なし）の 1/9.7（画像）、1/5.6（音声）です。NPU の Decode は MTP により、画像入力で 1.86 倍、音声入力で 3.05 倍になりました。

CPU 使用率

CPU は高性能コアの 4 コアで実行しているため、CPU の使用率は 50% 前後です。

QCS6490（Hexagon v68）

E2B / Int16

Decode スループット

Decode は CPU が最も高速です。MTP により CPU が 1.52 倍、NPU が 1.65 倍になりました。

Prefill スループット

128 トークン以上の入力では NPU が最も高速で、2,048 トークン入力では CPU（MTP なし）の 3.96 倍です。MTP の有無で NPU の Prefill はほぼ同じです。

VLM（画像入力）・音声入力の応答時間

NPU の TTFT は CPU（MTP なし）の 1/10.2（画像）、1/5.8（音声）です。MTP により、NPU の Decode は画像入力で 1.77 倍、音声入力で 2.82 倍、CPU の Decode は画像入力で 1.82 倍、音声入力で 3.09 倍になりました。

CPU 使用率

CPU は高性能コアの 4 コアで実行しているため、CPU の使用率は 50% 前後です。