ailia LLMの機能

本ページでは、CとC#で共通に使用できる機能を解説します。

GGUFの読み込み

GGUFファイルを読み込んでチャットを行うことが可能です。

GPUの活用

iOSとmacOSではMetal、WindowsではVulkanを使用したGPU推論が可能です。

画像入力（VLM）

画像対応モデルと対応するmmprojを読み込み、画像について質問できます。 画像ファイル、エンコード済み画像バッファ、Raw RGBに対応します。 プロジェクタを開いた後、画像capabilityを確認してください。呼び出し例は APIの使用方法を参照してください。

音声入力

音声対応モデルと対応するmmprojを使用して、音声からテキストを生成できます。 WAV/MP3/FLACのファイルまたはエンコード済みバッファを入力します。 プロジェクタを開いた後に音声capabilityを確認してください。画像専用モデルでは利用できません。 Raw PCM・音声合成には対応していません。詳細はAPI使用方法を参照してください。

Android QNNでは音声入りmmproj .qnn の事前コンパイル済みlinear graphを使用します。 encoder全体をNPUで実行する方式ではなく、CPU処理も含まれます。

Android QNN

事前コンパイル済みのSoC専用Text .qnn と、VLM/ALM用の対応するmmproj .qnn を読み込めます。端末に元のGGUFを置く必要はありません。QNN対応ビルドで 端末用モデル名を取得し、同じSoC・モデルのpackageを選びます。詳細は APIの使用方法を参照してください。

Tool Use（Function Calling）

Gemma 4など、チャットテンプレートがツール呼び出しに対応しているモデルでは、OpenAI互換のツール定義を渡して モデルにツール（関数）を呼び出させることができます。ツール呼び出しの出力はgrammarで構文が保証され、 生の出力をOpenAI互換のassistantメッセージ（content / reasoning_content / tool_calls）に変換できます。 生成完了後に構造化されたassistant JSONを取得して履歴に追加し、ツールの実行結果は role "tool" のメッセージのcontentとして履歴に追加します。