ailiaLLM.AiliaLLMModel の継承関係図

ailiaLLM.AiliaLLMModel 連携図

公開メンバ関数
string	GetErrorDetail ()
	最後のエラーの詳細を取得します。 [詳解]

bool	Create ()
	インスタンスを作成します。 [詳解]

bool	SetNumThreads (uint n_threads)
	Openの前にCPUスレッド数を設定します。 [詳解]

bool	SetBackend (uint backend_idx)
	Openの前にCPU、GPUまたはHTP（QNN）バックエンドを選択します。 [詳解]

bool	Open (string model_path, uint n_ctx=0)
	モデルファイルを開きます。 [詳解]

bool	OpenMtpModel (string model_path, uint n_draft)
	MTPドラフトモデルを開き、生成をドラフト・本体検証経路に切り替えます。 [詳解]

bool	OpenMultimodalProjector (string mmproj_path)
	マルチモーダルプロジェクタファイルを開きます。 [詳解]

bool	GetMultimodalCapabilities (ref bool vision_support, ref bool audio_support)
	マルチモーダル機能がサポートされているかを確認します。 [詳解]

virtual void	Close ()
	インスタンスを破棄します。 [詳解]

virtual void	Dispose ()
	リソースを解放します。 [詳解]

bool	SetSamplingParam (uint top_k, float top_p, float temp, uint dist)
	サンプリングパラメータを設定します。 [詳解]

bool	SetThinking (bool enable)
	Thinking（推論過程の出力）を有効または無効にします。 [詳解]

bool	SetPrompt (List< AiliaLLMChatMessage > messages)
	プロンプトを設定します。 [詳解]

bool	SetPromptJson (string messagesJson)
	構造化されたJSON形式の会話履歴を設定します。 [詳解]

string	GetResponseJson ()
	差分テキストを収集せずに、保持されたassistant応答をJSONで取得します。 [詳解]

bool	SetTools (string tools_json)
	利用可能なツールをJSONで設定します。 [詳解]

bool	SetMultimodalPrompt (List< AiliaLLMMultimodalChatMessage > messages)
	マルチモーダルプロンプトを設定します。 [詳解]

bool	Generate (ref bool done)
	生成を実行します。 [詳解]

string	GetDeltaText ()
	生成結果のテキストを取得します。 [詳解]

bool	ContextFull ()
	コンテキスト長の上限に達したかどうかを取得します。 [詳解]

uint	PromptTokenCount ()
	プロンプトのトークンの数を取得します。 [詳解]

uint	GeneratedTokenCount ()
	生成したトークンの数を取得します。 [詳解]

静的公開メンバ関数
static List< AiliaLLMBackendInfo >	GetBackendList ()
	利用可能なバックエンドの一覧を取得します。 [詳解]

static string	GetQNNModelName ()
	モデルを作成せずにデバイスのQNN成果物名を取得します。 [詳解]

限定公開メンバ関数
virtual void	Dispose (bool disposing)

関数詳解

◆ Close()

virtual void ailiaLLM.AiliaLLMModel.Close ( )

inlinevirtual

インスタンスを破棄します。

インスタンスを破棄し、初期化します。

注釈: QNNを使用する場合は、Createを呼び出したスレッドで呼び出してください。 QNN使用時に解放だけをUIスレッドなどの別スレッドへ移すと、その後、別のスレッドでQNNを使用する際に QnnDevice_create failed: code 14001が発生することがあります。

     {
         if (net != IntPtr.Zero){
             AiliaLLM.ailiaLLMDestroy(net);
             net = IntPtr.Zero;
         }
     }

◆ ContextFull()

bool ailiaLLM.AiliaLLMModel.ContextFull ( )

inline

コンテキスト長の上限に達したかどうかを取得します。

戻り値: 上限に達した場合はtrue、達していない場合はfalse。

     {
         return context_full;
     }

◆ Create()

bool ailiaLLM.AiliaLLMModel.Create ( )

inline

インスタンスを作成します。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

注釈: QNNを使用する場合は、この関数を呼び出したスレッドでCloseまたはDisposeを呼び出して解放してください。

                         {
         if (net != IntPtr.Zero){
             Close();
         }
  
         int status = AiliaLLM.ailiaLLMCreate(ref net);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMCreate failed " + status);
             }
             return false;
         }
  
         return true;
     }

◆ Dispose() [1/2]

virtual void ailiaLLM.AiliaLLMModel.Dispose ( )

inlinevirtual

リソースを解放します。

注釈: QNNを使用する場合は、Createを呼び出したスレッドで呼び出してください。 QNN使用時は、ファイナライザーが同じスレッドでの実行を保証しないため、GCに頼らずCloseまたはDisposeで明示的に解放してください。

     {
         Dispose(true);
     }

◆ Dispose() [2/2]

virtual void ailiaLLM.AiliaLLMModel.Dispose ( bool disposing )

inlineprotectedvirtual

     {
         if (disposing){
             // release managed resource
         }
         Close(); // release unmanaged resource
     }

◆ Generate()

bool ailiaLLM.AiliaLLMModel.Generate ( ref bool done )

inline

生成を実行します。

引数

done	生成が終了したかどうか。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

     {
         uint done_uint = 0;
         int status = AiliaLLM.ailiaLLMGenerate(net, ref done_uint);
         context_full = false;
         done = (done_uint == 1);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGenerate failed " + status);
             }
             if (status == AiliaLLM.AILIA_LLM_STATUS_CONTEXT_FULL){
                 context_full = true;
             }
             return false;
         }
         return true;
     }

◆ GeneratedTokenCount()

uint ailiaLLM.AiliaLLMModel.GeneratedTokenCount ( )

inline

生成したトークンの数を取得します。

戻り値: 生成したトークン数。失敗時は0。

                                      {
         if (net == IntPtr.Zero){
             return 0;
         }
         uint count = 0;
         int status = AiliaLLM.ailiaLLMGetGeneratedTokenCount(net, ref count);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetGeneratedTokenCount failed " + status);
             }
             return 0;
         }
         return count;
     }

◆ GetBackendList()

static List<AiliaLLMBackendInfo> ailiaLLM.AiliaLLMModel.GetBackendList ( )

inlinestatic

利用可能なバックエンドの一覧を取得します。

戻り値: バックエンド名、デバイス名、選択用インデックスの一覧

例外

InvalidOperationException バックエンド情報の取得に失敗した場合

モデルの作成前にも呼び出せます。選択する場合はCreateの後、Openの前に一覧のidxをSetBackendに渡してください。

                                                              {
         uint count = 0;
         int status = AiliaLLM.ailiaLLMGetBackendCount(ref count);
         if (status != AiliaLLM.AILIA_LLM_STATUS_SUCCESS) {
             throw new InvalidOperationException("Failed to get backend count. Status: " + status);
         }
  
         var backends = new List<AiliaLLMBackendInfo>();
         for (uint i = 0; i < count; i++) {
             IntPtr backendName = IntPtr.Zero;
             status = AiliaLLM.ailiaLLMGetBackendName(ref backendName, i);
             if (status != AiliaLLM.AILIA_LLM_STATUS_SUCCESS || backendName == IntPtr.Zero) {
                 throw new InvalidOperationException("Failed to get backend name at index " + i + ". Status: " + status);
             }
  
             IntPtr deviceName = IntPtr.Zero;
             status = AiliaLLM.ailiaLLMGetBackendDeviceName(ref deviceName, i);
             if (status != AiliaLLM.AILIA_LLM_STATUS_SUCCESS || deviceName == IntPtr.Zero) {
                 throw new InvalidOperationException("Failed to get backend device name at index " + i + ". Status: " + status);
             }
  
             backends.Add(new AiliaLLMBackendInfo {
                 backend_name = Marshal.PtrToStringAnsi(backendName),
                 device_name = Marshal.PtrToStringAnsi(deviceName),
                 idx = i
             });
         }
         return backends;
     }

◆ GetDeltaText()

string ailiaLLM.AiliaLLMModel.GetDeltaText ( )

inline

生成結果のテキストを取得します。

戻り値: テキストを返します。

     {
         uint len = 0;
         int status = AiliaLLM.ailiaLLMGetDeltaTextSize(net, ref len);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetDeltaTextSize failed " + status);
             }
             return "";
         }
         byte[] text = new byte [len];
         GCHandle handle = GCHandle.Alloc(text, GCHandleType.Pinned);
         IntPtr output = handle.AddrOfPinnedObject();
         status = AiliaLLM.ailiaLLMGetDeltaText(net, output, len);
         handle.Free();
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetDeltaText failed " + status);
             }
             return "";
         }
         
         byte[] new_buf = new byte [buf.Length + len - 1];
         for (int i = 0; i < buf.Length; i++){
             new_buf[i] = buf[i];
         }
         for (int i = 0; i < len - 1; i++){ // NULLの削除
             new_buf[buf.Length + i] = text[i];
         }
         buf = new_buf;
  
         string decoded_text = System.Text.Encoding.UTF8.GetString(buf); // Unicode Decode Errorは発生しない
         string delta_text = "";
         if (decoded_text.Length > before_text.Length){
             delta_text = decoded_text.Substring(before_text.Length);
         }
         before_text = decoded_text;
         return delta_text;
     }

◆ GetErrorDetail()

string ailiaLLM.AiliaLLMModel.GetErrorDetail ( )

inline

最後のエラーの詳細を取得します。

戻り値: エラー詳細。詳細がない場合は空文字列。

                                    {
         IntPtr detail = AiliaLLM.ailiaLLMGetErrorDetail(net);
         return detail == IntPtr.Zero ? "" : Marshal.PtrToStringAnsi(detail);
     }

◆ GetMultimodalCapabilities()

bool ailiaLLM.AiliaLLMModel.GetMultimodalCapabilities	(	ref bool	vision_support,
		ref bool	audio_support
	)

inline

マルチモーダル機能がサポートされているかを確認します。

引数

vision_support	画像入力（VLM）をサポートしているか
audio_support	音声入力（ALM）をサポートしているか

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                                                           {
         uint vision_uint = 0;
         uint audio_uint = 0;
         int status = AiliaLLM.ailiaLLMGetMultimodalCapabilities(net, ref vision_uint, ref audio_uint);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetMultimodalCapabilities failed " + status);
             }
             return false;
         }
         vision_support = (vision_uint == 1);
         audio_support = (audio_uint == 1);
         return true;
     }

◆ GetQNNModelName()

static string ailiaLLM.AiliaLLMModel.GetQNNModelName ( )

inlinestatic

モデルを作成せずにデバイスのQNN成果物名を取得します。

戻り値: QNN成果物名

例外

InvalidOperationException QNN非対応時、または未対応デバイスの場合

QNNはAndroid arm64とWindows ARM64に対応します。

                                            {
         IntPtr name = IntPtr.Zero;
         int status = AiliaLLM.ailiaLLMGetQNNModelName(ref name);
         if (status != AiliaLLM.AILIA_LLM_STATUS_SUCCESS || name == IntPtr.Zero) {
             throw new InvalidOperationException("Failed to get QNN model name. Status: " + status);
         }
         // Model names are ASCII. Copy the library-owned string; never free it.
         return Marshal.PtrToStringAnsi(name);
     }

◆ GetResponseJson()

string ailiaLLM.AiliaLLMModel.GetResponseJson ( )

inline

差分テキストを収集せずに、保持されたassistant応答をJSONで取得します。

戻り値: JSON形式のassistant応答。エラー時は空文字列。

                                     {
         uint size = 0;
         int status = AiliaLLM.ailiaLLMGetResponseJsonSize(net, ref size);
         if (status != 0) { if (logging) Debug.Log("GetResponseJsonSize failed " + status); return ""; }
         var bytes = new byte[size];
         var handle = GCHandle.Alloc(bytes, GCHandleType.Pinned);
         try { status = AiliaLLM.ailiaLLMGetResponseJson(net, handle.AddrOfPinnedObject(), size); }
         finally { handle.Free(); }
         if (status != 0) { if (logging) Debug.Log("GetResponseJson failed " + status); return ""; }
         return System.Text.Encoding.UTF8.GetString(bytes, 0, (int)size - 1);
     }

◆ Open()

bool ailiaLLM.AiliaLLMModel.Open	(	string	model_path,
		uint	n_ctx = `0`
	)

inline

モデルファイルを開きます。

引数

model_path	モデルファイルへのパス。
n_ctx	コンテキスト長（0でモデルのデフォルト）

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                        {
         if (net == IntPtr.Zero){
             return false;
         }
  
         int status = 0;
         
         status = AiliaLLM.ailiaLLMOpenModelFile(net, model_path, n_ctx);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMOpenModelFile failed " + status);
             }
             return false;
         }
  
         return true;
     }

◆ OpenMtpModel()

bool ailiaLLM.AiliaLLMModel.OpenMtpModel	(	string	model_path,
		uint	n_draft
	)

inline

MTPドラフトモデルを開き、生成をドラフト・本体検証経路に切り替えます。

引数

model_path	対応するGemma 4 assistant GGUF、またはQNN本体用assistant .qnnへのパス。
n_draft	ドラフトトークン数（1以上）。QNNでは最大3。

戻り値: 成功した場合はtrue、失敗した場合はfalse。

Openの後、プロンプト設定前に一度呼び出します。CPU/GPU Gemma 4 GGUFとQNNのテキスト生成に対応します。

                                                               {
         if (net == IntPtr.Zero) return false;
         int status = AiliaLLM.ailiaLLMOpenMtpModelFile(net, model_path, n_draft);
         if (status != 0 && logging) Debug.Log("ailiaLLMOpenMtpModelFile failed " + status);
         return status == AiliaLLM.AILIA_LLM_STATUS_SUCCESS;
     }

◆ OpenMultimodalProjector()

bool ailiaLLM.AiliaLLMModel.OpenMultimodalProjector ( string mmproj_path )

inline

マルチモーダルプロジェクタファイルを開きます。

引数

mmproj_path MMPROJ GGUFまたは自己完結ailia QNN projector（.qnn）へのパス。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

画像入力（VLM）には画像対応、音声入力（ALM）には音声対応のprojectorが必要です。 QNN projectorはAndroid arm64とWindows ARM64に対応します。

                                                            {
         if (net == IntPtr.Zero){
             return false;
         }
  
         int status = AiliaLLM.ailiaLLMOpenMultimodalProjectorFile(net, mmproj_path);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMOpenMultimodalProjectorFile failed " + status);
             }
             return false;
         }
  
         return true;
     }

◆ PromptTokenCount()

uint ailiaLLM.AiliaLLMModel.PromptTokenCount ( )

inline

プロンプトのトークンの数を取得します。

戻り値: プロンプトのトークン数。失敗時は0。

                                   {
         if (net == IntPtr.Zero){
             return 0;
         }
         uint count = 0;
         int status = AiliaLLM.ailiaLLMGetPromptTokenCount(net, ref count);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetPromptTokenCount failed " + status);
             }
             return 0;
         }
         return count;
     }

◆ SetBackend()

bool ailiaLLM.AiliaLLMModel.SetBackend ( uint backend_idx )

inline

Openの前にCPU、GPUまたはHTP（QNN）バックエンドを選択します。

引数

backend_idx GetBackendListで取得したバックエンドのインデックス。

戻り値: 成功した場合はtrue、失敗した場合はfalse。

未選択の場合、.qnnはHTPを自動選択します。明示的なCPU/GPU選択では.qnnを、HTP選択ではGGUFを拒否します。

                                             {
         if (net == IntPtr.Zero){
             return false;
         }
         return AiliaLLM.ailiaLLMSetBackend(net, backend_idx) == AiliaLLM.AILIA_LLM_STATUS_SUCCESS;
     }

◆ SetMultimodalPrompt()

bool ailiaLLM.AiliaLLMModel.SetMultimodalPrompt ( List< AiliaLLMMultimodalChatMessage > messages )

inline

マルチモーダルプロンプトを設定します。

引数

messages マルチモーダルプロンプトメッセージ。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

     {
         List<GCHandle> handle_list = new List<GCHandle>();
         int len = messages.Count;
         byte[][] role_text_list = new byte [len][];
         byte[][] content_text_list = new byte [len][];
         AiliaLLM.AILIALLMMultimodalChatMessage [] message_list = new AiliaLLM.AILIALLMMultimodalChatMessage[len];
         
         // Prepare media data arrays
         List<byte[][]> media_type_lists = new List<byte[][]>();
         List<byte[][]> media_path_lists = new List<byte[][]>();
         List<AiliaLLM.AILIALLMMediaData[]> media_data_arrays = new List<AiliaLLM.AILIALLMMediaData[]>();
         
         for (int i = 0; i < len; i++){
             AiliaLLM.AILIALLMMultimodalChatMessage message = new AiliaLLM.AILIALLMMultimodalChatMessage();
  
             // Set role and content
             role_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].role+"\u0000");
             GCHandle role_handle = GCHandle.Alloc(role_text_list[i], GCHandleType.Pinned);
             IntPtr role_input = role_handle.AddrOfPinnedObject();
  
             content_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].content+"\u0000");
             GCHandle content_handle = GCHandle.Alloc(content_text_list[i], GCHandleType.Pinned);
             IntPtr content_input = content_handle.AddrOfPinnedObject();
  
             message.role = role_input;
             message.content = content_input;
  
             handle_list.Add(role_handle);
             handle_list.Add(content_handle);
  
             // Handle media data
             if (messages[i].media_data != null && messages[i].media_data.Count > 0){
                 int media_count = messages[i].media_data.Count;
                 message.media_count = (uint)media_count;
                 
                 byte[][] media_type_list = new byte[media_count][];
                 byte[][] media_path_list = new byte[media_count][];
                 AiliaLLM.AILIALLMMediaData[] media_array = new AiliaLLM.AILIALLMMediaData[media_count];
                 
                 for (int j = 0; j < media_count; j++){
                     AiliaLLM.AILIALLMMediaData media = new AiliaLLM.AILIALLMMediaData();
                     
                     // Media type
                     media_type_list[j] = System.Text.Encoding.UTF8.GetBytes(messages[i].media_data[j].media_type+"\u0000");
                     GCHandle type_handle = GCHandle.Alloc(media_type_list[j], GCHandleType.Pinned);
                     media.media_type = type_handle.AddrOfPinnedObject();
                     handle_list.Add(type_handle);
                     
                     // File path
                     if (!string.IsNullOrEmpty(messages[i].media_data[j].file_path)){
                         media_path_list[j] = System.Text.Encoding.UTF8.GetBytes(messages[i].media_data[j].file_path+"\u0000");
                         GCHandle path_handle = GCHandle.Alloc(media_path_list[j], GCHandleType.Pinned);
                         media.file_path = path_handle.AddrOfPinnedObject();
                         handle_list.Add(path_handle);
                     } else {
                         media.file_path = IntPtr.Zero;
                     }
                     
                     // Raw data
                     if (messages[i].media_data[j].data != null && messages[i].media_data[j].data.Length > 0){
                         GCHandle data_handle = GCHandle.Alloc(messages[i].media_data[j].data, GCHandleType.Pinned);
                         media.data = data_handle.AddrOfPinnedObject();
                         media.data_size = (uint)messages[i].media_data[j].data.Length;
                         handle_list.Add(data_handle);
                     } else {
                         media.data = IntPtr.Zero;
                         media.data_size = 0;
                     }
                     
                     media.width = messages[i].media_data[j].width;
                     media.height = messages[i].media_data[j].height;
                     
                     media_array[j] = media;
                 }
                 
                 media_type_lists.Add(media_type_list);
                 media_path_lists.Add(media_path_list);
                 media_data_arrays.Add(media_array);
                 
                 // Allocate and set media_data pointer
                 int media_size = Marshal.SizeOf(typeof(AiliaLLM.AILIALLMMediaData)) * media_count;
                 IntPtr media_ptr = Marshal.AllocHGlobal(media_size);
                 
                 for (int j = 0; j < media_count; j++){
                     IntPtr offset = new IntPtr(media_ptr.ToInt64() + j * Marshal.SizeOf(typeof(AiliaLLM.AILIALLMMediaData)));
                     Marshal.StructureToPtr(media_array[j], offset, false);
                 }
                 
                 message.media_data = media_ptr;
             } else {
                 message.media_count = 0;
                 message.media_data = IntPtr.Zero;
             }
             
             message_list[i] = message;
         }
  
         int size = Marshal.SizeOf(typeof(AiliaLLM.AILIALLMMultimodalChatMessage)) * message_list.Length;
         IntPtr ptr = Marshal.AllocHGlobal(size);
  
         int status = 0;
  
         try
         {
             for (int i = 0; i < message_list.Length; i++)
             {
                 IntPtr offset = new IntPtr(ptr.ToInt64() + i * Marshal.SizeOf(typeof(AiliaLLM.AILIALLMMultimodalChatMessage)));
                 Marshal.StructureToPtr(message_list[i], offset, false);
             }
  
             status = AiliaLLM.ailiaLLMSetMultimodalPrompt(net, ptr, (uint)len);
         }
         finally
         {
             // Free allocated memory
             Marshal.FreeHGlobal(ptr);
             for (int i = 0; i < message_list.Length; i++){
                 if (message_list[i].media_data != IntPtr.Zero){
                     Marshal.FreeHGlobal(message_list[i].media_data);
                 }
             }
         }
  
         for (int i = 0; i < handle_list.Count; i++){
             handle_list[i].Free();
         }
  
         context_full = false;
         buf = new byte[0];
         before_text = "";
  
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMSetMultimodalPrompt failed " + status);
             }
             if (status == AiliaLLM.AILIA_LLM_STATUS_CONTEXT_FULL){
                 context_full = true;
             }
             return false;
         }
  
         return true;
     }

◆ SetNumThreads()

bool ailiaLLM.AiliaLLMModel.SetNumThreads ( uint n_threads )

inline

Openの前にCPUスレッド数を設定します。

引数

n_threads スレッド数（0は自動設定）。

戻り値: 成功した場合はtrue、失敗した場合はfalse。

未指定の場合も0として扱います。Androidでは高効率コア（高性能側のbig/prime）の数を使用します。取得できない場合は既存のコア数判定を使用します。本体のDecode/Prefill、assistant、VLM/ALMのCPU推論スレッド数に同じ値を使用します。

                                              {
         if (net == IntPtr.Zero){
             return false;
         }
         return AiliaLLM.ailiaLLMSetNumThreads(net, n_threads) == AiliaLLM.AILIA_LLM_STATUS_SUCCESS;
     }

◆ SetPrompt()

bool ailiaLLM.AiliaLLMModel.SetPrompt ( List< AiliaLLMChatMessage > messages )

inline

プロンプトを設定します。

引数

messages プロンプトメッセージ。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

     {
         List<GCHandle> handle_list = new List<GCHandle>();
         int len = messages.Count;
         byte[][] role_text_list = new byte [len][];
         byte[][] conntent_text_list = new byte [len][];
         AiliaLLM.AILIAChatMessage [] message_list = new AiliaLLM.AILIAChatMessage[len];
         for (int i = 0; i< len; i++){
             AiliaLLM.AILIAChatMessage message = new AiliaLLM.AILIAChatMessage();
  
             role_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].role+"\u0000");
             GCHandle role_handle = GCHandle.Alloc(role_text_list[i], GCHandleType.Pinned);
             IntPtr role_input = role_handle.AddrOfPinnedObject();
  
             conntent_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].content+"\u0000");
             GCHandle content_handle = GCHandle.Alloc(conntent_text_list[i], GCHandleType.Pinned);
             IntPtr content_input = content_handle.AddrOfPinnedObject();
  
             message.role = role_input;
             message.content = content_input;
             message_list[i] = message;
  
             handle_list.Add(role_handle);
             handle_list.Add(content_handle);
         }
  
         int size = Marshal.SizeOf(typeof(AiliaLLM.AILIAChatMessage)) * message_list.Length;
         IntPtr ptr = Marshal.AllocHGlobal(size);
  
         int status = 0;
  
         try
         {
             for (int i = 0; i < message_list.Length; i++)
             {
                 IntPtr offset = new IntPtr(ptr.ToInt64() + i * Marshal.SizeOf(typeof(AiliaLLM.AILIAChatMessage)));
                 Marshal.StructureToPtr(message_list[i], offset, false);
             }
  
             status = AiliaLLM.ailiaLLMSetPrompt(net, ptr, (uint)len);
         }
         finally
         {
             Marshal.FreeHGlobal(ptr);
         }
  
         for (int i = 0; i < handle_list.Count; i++){
             handle_list[i].Free();
         }
  
         context_full = false;
         buf = new byte[0];
         before_text = "";
  
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMSetPrompt failed " + status);
             }
             if (status == AiliaLLM.AILIA_LLM_STATUS_CONTEXT_FULL){
                 context_full = true;
             }
             return false;
         }
  
         return true;
     }

◆ SetPromptJson()

bool ailiaLLM.AiliaLLMModel.SetPromptJson ( string messagesJson )

inline

構造化されたJSON形式の会話履歴を設定します。

引数

messagesJson JSON形式の会話履歴。

戻り値: 成功した場合はtrue、失敗した場合はfalse。

ツール使用時に必要です。メディア入力には対応projectorが必要です。

                                                    {
         if (messagesJson == null) return false;
         var bytes = System.Text.Encoding.UTF8.GetBytes(messagesJson + "\u0000");
         var handle = GCHandle.Alloc(bytes, GCHandleType.Pinned);
         int status;
         try { status = AiliaLLM.ailiaLLMSetPromptJson(net, handle.AddrOfPinnedObject()); }
         finally { handle.Free(); }
         context_full = status == AiliaLLM.AILIA_LLM_STATUS_CONTEXT_FULL;
         if (status != 0) { if (logging) Debug.Log("SetPromptJson failed " + status); return false; }
         buf = new byte[0]; before_text = "";
         return true;
     }

◆ SetSamplingParam()

bool ailiaLLM.AiliaLLMModel.SetSamplingParam	(	uint	top_k,
		float	top_p,
		float	temp,
		uint	dist
	)

inline

サンプリングパラメータを設定します。

引数

top_k	サンプリングする確率値の上位個数、デフォルト40
top_p	サンプリングする確率値の範囲、デフォルト0.9（0.9〜1.0）
temp	温度パラメータ、デフォルト0.4
dist	シード、デフォルト1234

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                                                 {
         int status = AiliaLLM.ailiaLLMSetSamplingParams(net, top_k, top_p, temp, dist);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMSetSamplingParams failed " + status);
             }
             return false;
         }
         return true;
     }

◆ SetThinking()

bool ailiaLLM.AiliaLLMModel.SetThinking ( bool enable )

inline

Thinking（推論過程の出力）を有効または無効にします。

引数

enable trueで有効、falseで無効（デフォルト：無効）

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

Thinkingモデル（Gemma4等）の推論過程の出力を制御します。SetPromptの前に実行する必要があります。

                                         {
         int status = AiliaLLM.ailiaLLMSetThinking(net, enable ? 1u : 0u);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMSetThinking failed " + status);
             }
             return false;
         }
         return true;
     }

◆ SetTools()

bool ailiaLLM.AiliaLLMModel.SetTools ( string tools_json )

inline

利用可能なツールをJSONで設定します。

引数

tools_json ツール定義のJSON。nullまたは空文字列でツールを無効にします。

戻り値: 成功した場合はtrue、失敗した場合はfalse。

     {
         int status = 0;
         if (string.IsNullOrEmpty(tools_json)){
             status = AiliaLLM.ailiaLLMSetTools(net, IntPtr.Zero);
         } else {
             byte[] tools_bytes = System.Text.Encoding.UTF8.GetBytes(tools_json + "\u0000");
             GCHandle tools_handle = GCHandle.Alloc(tools_bytes, GCHandleType.Pinned);
             status = AiliaLLM.ailiaLLMSetTools(net, tools_handle.AddrOfPinnedObject());
             tools_handle.Free();
         }
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMSetTools failed " + status);
             }
             return false;
         }
         return true;
     }

このクラス詳解は次のファイルから抽出されました:

AiliaLLMModel.cs

公開メンバ関数

静的公開メンバ関数

限定公開メンバ関数

関数詳解

◆ Close()

◆ ContextFull()

◆ Create()

◆ Dispose() [1/2]

◆ Dispose() [2/2]

◆ Generate()

◆ GeneratedTokenCount()

◆ GetBackendList()

◆ GetDeltaText()

◆ GetErrorDetail()

◆ GetMultimodalCapabilities()

◆ GetQNNModelName()

◆ GetResponseJson()

◆ Open()

◆ OpenMtpModel()

◆ OpenMultimodalProjector()

◆ PromptTokenCount()

◆ SetBackend()

◆ SetMultimodalPrompt()

◆ SetNumThreads()

◆ SetPrompt()

◆ SetPromptJson()

◆ SetSamplingParam()

◆ SetThinking()

◆ SetTools()