動作確認済み環境
| 項目 | 環境 |
| ボード / SoC | Advantech AOM-2721 / Qualcomm QCS6490 |
| Yocto | 4.0.22(Kirkstone)ベース |
| OS | QCOM Robotics Reference Distro with ROS 1.3-ver.1.1 |
| OS ID | qcom-robotics-ros2-humble |
| Linuxカーネル | 6.6.52-yl01301-ga97804e47e26 |
| CPUアーキテクチャ | aarch64 |
| glibc | 2.35 |
| Python | 3.10.15 |
| QNNランタイム | QAIRT 2.47.0.260601 / Hexagon v68 |
Linux ARM64版は、glibc 2.35以下・GLIBCXX_3.4.29以下を要求する構成でビルドしています。検証環境のシステムC++ランタイムで実行できます。
以下では公開QCS6490モデルを使ってテキストを生成します。 BSPにはCDSPファームウェア、FastRPCのlibcdsprpc.so、CDSPデバイスへのアクセス権が必要です。 有効なailia LLMライセンスをセットアップ手順に従って配置してください。
1. 必要なファイルを取得する(ホストPC)
ailia LLM SDKパッケージを展開し、次のファイルをダウンロードしてください。
パッケージのcpp/prebuilt/linux/arm64-v8a/には、ビルド済みサンプルと実行に必要なailia LLM、QNNプラグイン、GGML・llamaの共有ライブラリが含まれます。 サンプルをビルドする必要はありません。QualcommのQNNライブラリはQAIRT SDKからコピーします。 QAIRT SDKも展開して次を実行します。
export LLM_PACKAGE=/path/to/ailia_llm_package
export QNN_SDK_PATH=/path/to/qairt/2.47.0.260601
export DEPLOY="$PWD/llm-qnn-yocto"
mkdir -p "$DEPLOY"
cp -a "$LLM_PACKAGE/cpp/prebuilt/linux/arm64-v8a/." "$DEPLOY/"
curl -L --fail -o "$DEPLOY/gemma4-e2b-qcs6490-int16-mtp.qnn" \
https://storage.googleapis.com/ailia-models/gemma/qnn/v1.5.1/gemma4-e2b-qcs6490-int16-mtp.qnn
cp "$QNN_SDK_PATH/lib/aarch64-oe-linux-gcc11.2/libQnnHtp.so" "$DEPLOY/"
cp "$QNN_SDK_PATH/lib/aarch64-oe-linux-gcc11.2/libQnnSystem.so" "$DEPLOY/"
cp "$QNN_SDK_PATH/lib/aarch64-oe-linux-gcc11.2/libQnnHtpV68Stub.so" "$DEPLOY/"
cp "$QNN_SDK_PATH/lib/hexagon-v68/unsigned/libQnnHtpV68Skel.so" "$DEPLOY/"
scp -r "$DEPLOY" root@169.254.239.42:/home/root/
2. C++サンプルを実行する(実機)
QNNライブラリとv68 skelをlibailia_llm_qnn.soの横に配置します。サンプルとライブラリは自身のフォルダから依存ライブラリを読み込むため、LD_LIBRARY_PATHの設定は不要です。 C++ランタイムはシステムのlibstdc++(GLIBCXX_3.4.29以上)を使用します。 モデルの拡張子からQNNが選択され、テキスト生成はHTP / NPUを使用します。 サンプルは2ターンの会話を実行し、応答を表示します。
cd /home/root/llm-qnn-yocto
chmod +x ./ailia_llm_sample
./ailia_llm_sample --model ./gemma4-e2b-qcs6490-int16-mtp.qnn
3. Pythonから実行する(実機)
Pythonパッケージをインストールする
Python 3とpip3を使用します。BSPにpip3がない場合は先に用意します。
curl -L --fail -o get-pip.py https://bootstrap.pypa.io/get-pip.py
python3 get-pip.py
SDKパッケージを実機にも展開し、bootstrap.pyでネイティブライブラリをコピーしてからインストールします。
cd /path/to/ailia_llm_package/python
python3 bootstrap.py
pip3 install .
公開版を使用する場合は、代わりにpip3 install ailia_llmを実行します。
QNNライブラリをインストール先にコピーする
pip3 showのLocationの下にあるailia_llm/linux/arm64-v8a/へ、QNNライブラリとv68 skelをコピーします。 配置後にPythonを起動してください。GLIBCXX_3.4.29以上のシステムのC++ランタイムを使用するため、追加のLD_LIBRARY_PATH設定は不要です。
pip3 show ailia_llm
SITE_PACKAGES=$(pip3 show ailia_llm | sed -n 's/^Location: //p')
LLM_NATIVE="$SITE_PACKAGES/ailia_llm/linux/arm64-v8a"
cd /home/root/llm-qnn-yocto
test -f "$LLM_NATIVE/libailia_llm_qnn.so"
cp libQnnHtp.so libQnnSystem.so libQnnHtpV68Stub.so libQnnHtpV68Skel.so "$LLM_NATIVE/"
アプリケーションからローカルモデルを開く
Pythonからは、既存のopen()にダウンロード済みの.qnnファイルのパスを渡します。 以下はモデルの読み込みから応答生成までの例です。 get_qnn_model_name()で実機のモデル識別名を取得します。 open()にダウンロード済みのモデルを渡し、generate()で応答を順次表示します。 このテキスト生成例ではマルチモーダルprojectorやMTP assistantは使用しません。
import ailia_llm
llm = ailia_llm.AiliaLLM()
try:
print("QNN model:", llm.get_qnn_model_name())
llm.open("./gemma4-e2b-qcs6490-int16-mtp.qnn", n_ctx=8192)
messages = [{"role": "user", "content": "What is the capital of Japan? Answer briefly."}]
for text in llm.generate(messages):
print(text, end="", flush=True)
print()
finally:
llm.close()
エラーの切り分け
| エラー | 確認事項 |
| GLIBCXX_x.x.xx not found | GLIBCXX_3.4.29以上(GCC 11以上)のシステムC++ランタイムが必要です。 |
| QNNプラグインを読み込めない | libailia_llm_qnn.soと同じビルドのailia LLM・GGML・llama共有ライブラリをまとめて配置します。 |
| QNNの初期化に失敗する | QAIRT 2.47のYocto用ライブラリ、FastRPC、CDSPファームウェア、権限、v68 skelを確認します。 |