ailiaLLM.AiliaLLMModel の継承関係図

ailiaLLM.AiliaLLMModel 連携図

公開メンバ関数
bool	Create ()
	インスタンスを作成します。 [詳解]

bool	Open (string model_path, uint n_ctx=0)
	モデルファイルを開きます。 [詳解]

bool	OpenMultimodalProjector (string mmproj_path)
	マルチモーダルプロジェクタファイルを開きます。 [詳解]

bool	GetMultimodalCapabilities (ref bool vision_support, ref bool audio_support)
	マルチモーダル機能がサポートされているかを確認します。 [詳解]

virtual void	Close ()
	インスタンスを破棄します。 [詳解]

virtual void	Dispose ()
	リソースを解放します。 [詳解]

bool	SetSamplingParam (uint top_k, float top_p, float temp, uint dist)
	サンプリングパラメータを設定します。 [詳解]

bool	SetPrompt (List< AiliaLLMChatMessage > messages)
	プロンプトを設定します。 [詳解]

bool	SetMultimodalPrompt (List< AiliaLLMMultimodalChatMessage > messages)
	マルチモーダルプロンプトを設定します。 [詳解]

bool	Generate (ref bool done)
	生成を実行します。 [詳解]

string	GetDeltaText ()
	生成結果のテキストを取得します。 [詳解]

bool	ContextFull ()
	コンテキスト長の上限に達したかどうかを取得します。 [詳解]

uint	PromptTokenCount ()
	プロンプトのトークンの数を取得します。 [詳解]

uint	GeneratedTokenCount ()
	生成したトークンの数を取得します。 [詳解]

限定公開メンバ関数
virtual void	Dispose (bool disposing)

関数詳解

◆ Close()

virtual void ailiaLLM.AiliaLLMModel.Close ( )

inlinevirtual

インスタンスを破棄します。

インスタンスを破棄し、初期化します。

     {
         if (net != IntPtr.Zero){
             AiliaLLM.ailiaLLMDestroy(net);
             net = IntPtr.Zero;
         }
     }

◆ ContextFull()

bool ailiaLLM.AiliaLLMModel.ContextFull ( )

inline

コンテキスト長の上限に達したかどうかを取得します。

戻り値: 上限に達した場合はtrue、達していない場合はfalse。

     {
         return context_full;
     }

◆ Create()

bool ailiaLLM.AiliaLLMModel.Create ( )

inline

インスタンスを作成します。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                         {
         if (net != IntPtr.Zero){
             Close();
         }
  
         int status = AiliaLLM.ailiaLLMCreate(ref net);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMCreate failed " + status);
             }
             return false;
         }
  
         return true;
     }

◆ Dispose() [1/2]

virtual void ailiaLLM.AiliaLLMModel.Dispose ( )

inlinevirtual

リソースを解放します。

     {
         Dispose(true);
     }

◆ Dispose() [2/2]

virtual void ailiaLLM.AiliaLLMModel.Dispose ( bool disposing )

inlineprotectedvirtual

     {
         if (disposing){
             // release managed resource
         }
         Close(); // release unmanaged resource
     }

◆ Generate()

bool ailiaLLM.AiliaLLMModel.Generate ( ref bool done )

inline

生成を実行します。

引数

done	生成が終了したかどうか。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

     {
         uint done_uint = 0;
         int status = AiliaLLM.ailiaLLMGenerate(net, ref done_uint);
         context_full = false;
         done = (done_uint == 1);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGenerate failed " + status);
             }
             if (status == AiliaLLM.AILIA_LLM_STATUS_CONTEXT_FULL){
                 context_full = true;
             }
             return false;
         }
         return true;
     }

◆ GeneratedTokenCount()

uint ailiaLLM.AiliaLLMModel.GeneratedTokenCount ( )

inline

生成したトークンの数を取得します。

戻り値: 生成したトークン数。失敗時は0。

                                      {
         if (net == IntPtr.Zero){
             return 0;
         }
         uint count = 0;
         int status = AiliaLLM.ailiaLLMGetGeneratedTokenCount(net, ref count);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetGeneratedTokenCount failed " + status);
             }
             return 0;
         }
         return count;
     }

◆ GetDeltaText()

string ailiaLLM.AiliaLLMModel.GetDeltaText ( )

inline

生成結果のテキストを取得します。

戻り値: テキストを返します。

     {
         uint len = 0;
         int status = AiliaLLM.ailiaLLMGetDeltaTextSize(net, ref len);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetDeltaTextSize failed " + status);
             }
             return "";
         }
         byte[] text = new byte [len];
         GCHandle handle = GCHandle.Alloc(text, GCHandleType.Pinned);
         IntPtr output = handle.AddrOfPinnedObject();
         status = AiliaLLM.ailiaLLMGetDeltaText(net, output, len);
         handle.Free();
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetDeltaText failed " + status);
             }
             return "";
         }
         
         byte[] new_buf = new byte [buf.Length + len - 1];
         for (int i = 0; i < buf.Length; i++){
             new_buf[i] = buf[i];
         }
         for (int i = 0; i < len - 1; i++){ // NULLの削除
             new_buf[buf.Length + i] = text[i];
         }
         buf = new_buf;
  
         string decoded_text = System.Text.Encoding.UTF8.GetString(buf); // Unicode Decode Errorは発生しない
         string delta_text = "";
         if (decoded_text.Length > before_text.Length){
             delta_text = decoded_text.Substring(before_text.Length);
         }
         before_text = decoded_text;
         return delta_text;
     }

◆ GetMultimodalCapabilities()

bool ailiaLLM.AiliaLLMModel.GetMultimodalCapabilities	(	ref bool	vision_support,
		ref bool	audio_support
	)

inline

マルチモーダル機能がサポートされているかを確認します。

引数

vision_support	画像処理をサポートしているか
audio_support	音声処理をサポートしているか

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                                                           {
         uint vision_uint = 0;
         uint audio_uint = 0;
         int status = AiliaLLM.ailiaLLMGetMultimodalCapabilities(net, ref vision_uint, ref audio_uint);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetMultimodalCapabilities failed " + status);
             }
             return false;
         }
         vision_support = (vision_uint == 1);
         audio_support = (audio_uint == 1);
         return true;
     }

◆ Open()

bool ailiaLLM.AiliaLLMModel.Open	(	string	model_path,
		uint	n_ctx = `0`
	)

inline

モデルファイルを開きます。

引数

model_path	モデルファイルへのパス。
n_ctx	コンテキスト長（0でモデルのデフォルト）

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                        {
         if (net == IntPtr.Zero){
             return false;
         }
  
         int status = 0;
         
         status = AiliaLLM.ailiaLLMOpenModelFile(net, model_path, n_ctx);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMOpenModelFile failed " + status);
             }
             return false;
         }
  
         return true;
     }

◆ OpenMultimodalProjector()

bool ailiaLLM.AiliaLLMModel.OpenMultimodalProjector ( string mmproj_path )

inline

マルチモーダルプロジェクタファイルを開きます。

引数

mmproj_path MMPROJファイルへのパス。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                            {
         if (net == IntPtr.Zero){
             return false;
         }
  
         int status = AiliaLLM.ailiaLLMOpenMultimodalProjectorFile(net, mmproj_path);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMOpenMultimodalProjectorFile failed " + status);
             }
             return false;
         }
  
         return true;
     }

◆ PromptTokenCount()

uint ailiaLLM.AiliaLLMModel.PromptTokenCount ( )

inline

プロンプトのトークンの数を取得します。

戻り値: プロンプトのトークン数。失敗時は0。

                                   {
         if (net == IntPtr.Zero){
             return 0;
         }
         uint count = 0;
         int status = AiliaLLM.ailiaLLMGetPromptTokenCount(net, ref count);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMGetPromptTokenCount failed " + status);
             }
             return 0;
         }
         return count;
     }

◆ SetMultimodalPrompt()

bool ailiaLLM.AiliaLLMModel.SetMultimodalPrompt ( List< AiliaLLMMultimodalChatMessage > messages )

inline

マルチモーダルプロンプトを設定します。

引数

messages マルチモーダルプロンプトメッセージ。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

     {
         List<GCHandle> handle_list = new List<GCHandle>();
         int len = messages.Count;
         byte[][] role_text_list = new byte [len][];
         byte[][] content_text_list = new byte [len][];
         AiliaLLM.AILIALLMMultimodalChatMessage [] message_list = new AiliaLLM.AILIALLMMultimodalChatMessage[len];
         
         // Prepare media data arrays
         List<byte[][]> media_type_lists = new List<byte[][]>();
         List<byte[][]> media_path_lists = new List<byte[][]>();
         List<AiliaLLM.AILIALLMMediaData[]> media_data_arrays = new List<AiliaLLM.AILIALLMMediaData[]>();
         
         for (int i = 0; i < len; i++){
             AiliaLLM.AILIALLMMultimodalChatMessage message = new AiliaLLM.AILIALLMMultimodalChatMessage();
  
             // Set role and content
             role_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].role+"\u0000");
             GCHandle role_handle = GCHandle.Alloc(role_text_list[i], GCHandleType.Pinned);
             IntPtr role_input = role_handle.AddrOfPinnedObject();
  
             content_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].content+"\u0000");
             GCHandle content_handle = GCHandle.Alloc(content_text_list[i], GCHandleType.Pinned);
             IntPtr content_input = content_handle.AddrOfPinnedObject();
  
             message.role = role_input;
             message.content = content_input;
  
             handle_list.Add(role_handle);
             handle_list.Add(content_handle);
  
             // Handle media data
             if (messages[i].media_data != null && messages[i].media_data.Count > 0){
                 int media_count = messages[i].media_data.Count;
                 message.media_count = (uint)media_count;
                 
                 byte[][] media_type_list = new byte[media_count][];
                 byte[][] media_path_list = new byte[media_count][];
                 AiliaLLM.AILIALLMMediaData[] media_array = new AiliaLLM.AILIALLMMediaData[media_count];
                 
                 for (int j = 0; j < media_count; j++){
                     AiliaLLM.AILIALLMMediaData media = new AiliaLLM.AILIALLMMediaData();
                     
                     // Media type
                     media_type_list[j] = System.Text.Encoding.UTF8.GetBytes(messages[i].media_data[j].media_type+"\u0000");
                     GCHandle type_handle = GCHandle.Alloc(media_type_list[j], GCHandleType.Pinned);
                     media.media_type = type_handle.AddrOfPinnedObject();
                     handle_list.Add(type_handle);
                     
                     // File path
                     if (!string.IsNullOrEmpty(messages[i].media_data[j].file_path)){
                         media_path_list[j] = System.Text.Encoding.UTF8.GetBytes(messages[i].media_data[j].file_path+"\u0000");
                         GCHandle path_handle = GCHandle.Alloc(media_path_list[j], GCHandleType.Pinned);
                         media.file_path = path_handle.AddrOfPinnedObject();
                         handle_list.Add(path_handle);
                     } else {
                         media.file_path = IntPtr.Zero;
                     }
                     
                     // Raw data
                     if (messages[i].media_data[j].data != null && messages[i].media_data[j].data.Length > 0){
                         GCHandle data_handle = GCHandle.Alloc(messages[i].media_data[j].data, GCHandleType.Pinned);
                         media.data = data_handle.AddrOfPinnedObject();
                         media.data_size = (uint)messages[i].media_data[j].data.Length;
                         handle_list.Add(data_handle);
                     } else {
                         media.data = IntPtr.Zero;
                         media.data_size = 0;
                     }
                     
                     media.width = messages[i].media_data[j].width;
                     media.height = messages[i].media_data[j].height;
                     
                     media_array[j] = media;
                 }
                 
                 media_type_lists.Add(media_type_list);
                 media_path_lists.Add(media_path_list);
                 media_data_arrays.Add(media_array);
                 
                 // Allocate and set media_data pointer
                 int media_size = Marshal.SizeOf(typeof(AiliaLLM.AILIALLMMediaData)) * media_count;
                 IntPtr media_ptr = Marshal.AllocHGlobal(media_size);
                 
                 for (int j = 0; j < media_count; j++){
                     IntPtr offset = new IntPtr(media_ptr.ToInt64() + j * Marshal.SizeOf(typeof(AiliaLLM.AILIALLMMediaData)));
                     Marshal.StructureToPtr(media_array[j], offset, false);
                 }
                 
                 message.media_data = media_ptr;
             } else {
                 message.media_count = 0;
                 message.media_data = IntPtr.Zero;
             }
             
             message_list[i] = message;
         }
  
         int size = Marshal.SizeOf(typeof(AiliaLLM.AILIALLMMultimodalChatMessage)) * message_list.Length;
         IntPtr ptr = Marshal.AllocHGlobal(size);
  
         int status = 0;
  
         try
         {
             for (int i = 0; i < message_list.Length; i++)
             {
                 IntPtr offset = new IntPtr(ptr.ToInt64() + i * Marshal.SizeOf(typeof(AiliaLLM.AILIALLMMultimodalChatMessage)));
                 Marshal.StructureToPtr(message_list[i], offset, false);
             }
  
             status = AiliaLLM.ailiaLLMSetMultimodalPrompt(net, ptr, (uint)len);
         }
         finally
         {
             // Free allocated memory
             Marshal.FreeHGlobal(ptr);
             for (int i = 0; i < message_list.Length; i++){
                 if (message_list[i].media_data != IntPtr.Zero){
                     Marshal.FreeHGlobal(message_list[i].media_data);
                 }
             }
         }
  
         for (int i = 0; i < handle_list.Count; i++){
             handle_list[i].Free();
         }
  
         context_full = false;
         buf = new byte[0];
         before_text = "";
  
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMSetMultimodalPrompt failed " + status);
             }
             if (status == AiliaLLM.AILIA_LLM_STATUS_CONTEXT_FULL){
                 context_full = true;
             }
             return false;
         }
  
         return true;
     }

◆ SetPrompt()

bool ailiaLLM.AiliaLLMModel.SetPrompt ( List< AiliaLLMChatMessage > messages )

inline

プロンプトを設定します。

引数

messages プロンプトメッセージ。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

     {
         List<GCHandle> handle_list = new List<GCHandle>();
         int len = messages.Count;
         byte[][] role_text_list = new byte [len][];
         byte[][] conntent_text_list = new byte [len][];
         AiliaLLM.AILIAChatMessage [] message_list = new AiliaLLM.AILIAChatMessage[len];
         for (int i = 0; i< len; i++){
             AiliaLLM.AILIAChatMessage message = new AiliaLLM.AILIAChatMessage();
  
             role_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].role+"\u0000");
             GCHandle role_handle = GCHandle.Alloc(role_text_list[i], GCHandleType.Pinned);
             IntPtr role_input = role_handle.AddrOfPinnedObject();
  
             conntent_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].content+"\u0000");
             GCHandle content_handle = GCHandle.Alloc(conntent_text_list[i], GCHandleType.Pinned);
             IntPtr content_input = content_handle.AddrOfPinnedObject();
  
             message.role = role_input;
             message.content = content_input;
             message_list[i] = message;
  
             handle_list.Add(role_handle);
             handle_list.Add(content_handle);
         }
  
         int size = Marshal.SizeOf(typeof(AiliaLLM.AILIAChatMessage)) * message_list.Length;
         IntPtr ptr = Marshal.AllocHGlobal(size);
  
         int status = 0;
  
         try
         {
             for (int i = 0; i < message_list.Length; i++)
             {
                 IntPtr offset = new IntPtr(ptr.ToInt64() + i * Marshal.SizeOf(typeof(AiliaLLM.AILIAChatMessage)));
                 Marshal.StructureToPtr(message_list[i], offset, false);
             }
  
             status = AiliaLLM.ailiaLLMSetPrompt(net, ptr, (uint)len);
         }
         finally
         {
             Marshal.FreeHGlobal(ptr);
         }
  
         for (int i = 0; i < handle_list.Count; i++){
             handle_list[i].Free();
         }
  
         context_full = false;
         buf = new byte[0];
         before_text = "";
  
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMSetPrompt failed " + status);
             }
             if (status == AiliaLLM.AILIA_LLM_STATUS_CONTEXT_FULL){
                 context_full = true;
             }
             return false;
         }
  
         return true;
     }

◆ SetSamplingParam()

bool ailiaLLM.AiliaLLMModel.SetSamplingParam	(	uint	top_k,
		float	top_p,
		float	temp,
		uint	dist
	)

inline

サンプリングパラメータを設定します。

引数

top_k	サンプリングする確率値の上位個数、デフォルト40
top_p	サンプリングする確率値の範囲、デフォルト0.9（0.9〜1.0）
temp	温度パラメータ、デフォルト0.4
dist	シード、デフォルト1234

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                                                 {
         int status = AiliaLLM.ailiaLLMSetSamplingParams(net, top_k, top_p, temp, dist);
         if (status != 0){
             if (logging)
             {
                 Debug.Log("ailiaLLMSetSamplingParams failed " + status);
             }
             return false;
         }
         return true;
     }

このクラス詳解は次のファイルから抽出されました:

AiliaLLMModel.cs

公開メンバ関数

限定公開メンバ関数

関数詳解

◆ Close()

◆ ContextFull()

◆ Create()

◆ Dispose() [1/2]

◆ Dispose() [2/2]

◆ Generate()

◆ GeneratedTokenCount()

◆ GetDeltaText()

◆ GetMultimodalCapabilities()

◆ Open()

◆ OpenMultimodalProjector()

◆ PromptTokenCount()

◆ SetMultimodalPrompt()

◆ SetPrompt()

◆ SetSamplingParam()