ailia Tracker

はじめに

プラットフォームを選び、YOLOX-S 検出と ByteTrack の組合せで動画中の物体を追跡してみましょう。

評価版を入手

無料トライアルに申し込むと、C++ バインディング、ランタイムライブラリ、ライセンスファイルを含む評価版パッケージを入手できます。

モデルをダウンロードしてビルド

YOLOX-S 検出モデルをダウンロードしてバイナリと同じフォルダに配置し、サンプルをビルドして実行します。

# Download model files into the binary folder
curl -O https://storage.googleapis.com/ailia-models/yolox/yolox_s.opt.onnx
curl -O https://storage.googleapis.com/ailia-models/yolox/yolox_s.opt.onnx.prototxt

# Build (macOS)
clang++ -o ailia_tracker_sample ailia_tracker_sample.cpp \
  libailia.dylib libailia_audio.dylib \
  libailia_tokenizer.dylib libailia_tracker.dylib \
  -Wl,-rpath,./ -std=c++17

./ailia_tracker_sample input.mp4

C++ セットアップガイド

UPM でインストール

Unity (2021.3.10f1 以降) で Window > Package Manager を開き、+ > Add package from git URL をクリックして下記のバインディング URL を入力します。

https://github.com/ailia-ai/ailia-tracker-unity.git

Unity API リファレンス

サンプルを実行

ailia-models-unity をクローンして Unity Editor (2021.3.10f1 以降) で開き、動画ファイルまたは Web カメラを入力に ObjectTracking/ObjectTrackingSample.unity を Play すると、Game ビューに ID 付きのバウンディングボックスが重ね描画されます。

git clone https://github.com/ailia-ai/ailia-models-unity.git

サンプルシーン

バインディングをクローン

JNI バインディングリポジトリをクローンして Android Studio プロジェクトに追加します。

git clone https://github.com/ailia-ai/ailia-tracker-jni.git

バインディング

サンプルを実行

ailia-models-kotlin をサブモジュール込みでクローンし Android Studio で開きます。接続デバイス上で Tracker サンプルを実行できます。フレームごとに YOLOX-S 検出と ByteTrack の対応付けを組み合わせます。

git clone https://github.com/ailia-ai/ailia-models-kotlin.git
cd ailia-models-kotlin
git submodule update --init --recursive

AiliaTrackerSample.kt

動作環境

ailia Tracker はデスクトップとモバイルで動作します。物体検出部分は Windows / Linux で GPU 推論に対応しています。

対応 OS

Windows 10 / 11
macOS 11 以降
Linux (Ubuntu 20.04 以降)
iOS 13 / Android 7 以降

言語とコンパイラ

C++17 (VS 2019 以降 / Xcode 14.2 以降 / clang) + CMake
C# / Unity 2021.3.10f1 以降
Kotlin / Java (JNI)

同梱モデル

YOLOX-S (物体検出)
ByteTrack (物体追跡)
80 COCO カテゴリ

入出力

動画ファイルまたは Web カメラ入力
注釈付き MP4 出力
追跡 ID / カテゴリ / 信頼度
バウンディングボックス (x / y / w / h)

プロジェクトで API を使う

既存の検出器に ByteTrack の追跡処理を組み合わせる最小サンプル。

#include "ailia_tracker.h"

struct AILIATracker *tracker = nullptr;
AILIATrackerSettings settings = {0.1f, 0.7f, 0.5f, 30, 0.8f};
ailiaTrackerCreate(&tracker, AILIA_TRACKER_ALGORITHM_BYTE_TRACK, &settings);

for (auto &d : detections) {
    ailiaTrackerAddTarget(tracker, d.category, d.prob, d.x, d.y, d.w, d.h);
}
ailiaTrackerCompute(tracker);

unsigned int n; ailiaTrackerGetObjectCount(tracker, &n);
ailiaTrackerDestroy(tracker);

using ailiaTracker;

var tracker = new AiliaTrackerModel();
tracker.Open(AiliaTracker.AILIA_TRACKER_ALGORITHM_BYTE_TRACK,
             scoreThreshold: 0.1f, nmsThreshold: 0.7f,
             trackThreshold: 0.5f, trackBuffer: 30, matchThreshold: 0.8f);

foreach (var d in detections) {
    tracker.AddTarget(d.category, d.confidence, d.x, d.y, d.w, d.h);
}
tracker.Compute();

for (int i = 0; i < tracker.GetObjectCount(); i++) {
    var obj = tracker.GetObject(i);
}

val tracker = AiliaTracker(
    algorithm = AiliaTracker.AILIA_TRACKER_ALGORITHM_BYTE_TRACK,
    settings = AiliaTrackerSettings(
        score_threshold = 0.1f, nms_threshold = 0.7f,
        track_threshold = 0.5f, track_buffer = 30,
        match_threshold = 0.8f,
    ),
)

for (d in detections) {
    tracker.addTarget(d.category, d.confidence, d.x, d.y, d.width, d.height)
}
tracker.compute()

for (i in 0 until tracker.getObjectCount()) {
    val o = tracker.getObject(i)
}
tracker.close()

プラットフォーム別 API リファレンス

C++

Unity

API
Binding

JNI

Binding

よくある質問

ailia Tracker についてのよくある質問。

ailia Tracker は内部でどんなモデルを使っていますか?

フレームごとの物体検出を 80 の COCO カテゴリで行うのが YOLOX-S、フレーム間で検出結果を安定した追跡 ID に対応付けるのが ByteTrack です。

モデルファイルはどこからダウンロードできますか?

YOLOX-S の重みと prototxt:

yolox_s.opt.onnx
yolox_s.opt.onnx.prototxt

両方のファイルをサンプルバイナリと同じフォルダに配置してください。

人物だけなど特定カテゴリのみ追跡するには?

各 AILIATrackerObject には COCO ラベルに対応する整数の category 属性があります。アプリ側でフィルタしてください — たとえば人物だけ追跡するなら category == 0 のみ残す、必要なラベルだけのルックアップを作るなど。

Tracker からはどんな情報が得られますか?

各追跡オブジェクトに対して、フレーム間で一貫した id、category、検出 prob、および正規化バウンディングボックス (x, y, w, h) が得られます。0 が左 / 上端、1 が右 / 下端です。

Web カメラでも使えますか?

はい。C++ サンプルでは -w <index> を渡すとファイルの代わりに Web カメラ入力になります。Unity バインディングも ailia-tracker-unity パッケージで同じカメラ入力モードを提供します。

GPU 推論を有効にするには?

macOS / iOS では Metal が自動的に使用されます。Windows / Linux では CUDA Toolkit と cuDNN をインストールし、cuDNN を PATH に追加してください。GPU 加速は物体検出処理に適用され、ByteTrack の対応付けは CPU 上で動作します。

ライセンスはどう扱われますか?

C++ バインディングは評価版パッケージの ailia.lic をランタイムライブラリと同じ場所に配置する必要があります:

Windows: ailia.dll と同じフォルダ。
macOS: ~/Library/SHALO/
Linux: ~/.shalo/

Unity と JNI バインディングは初回実行時に評価ライセンスを自動ダウンロードします。商用配布には製品ライセンスを申請してください。詳細は ailia ライセンス規約を参照してください。

はじめに

評価版を入手

モデルをダウンロードしてビルド

UPM でインストール

サンプルを実行

バインディングをクローン

サンプルを実行

動作環境

対応 OS

言語とコンパイラ

同梱モデル

入出力

機能

検出と対応付け

追跡結果

フィルタリング

GPU アクセラレーション

プロジェクトで API を使う

プラットフォーム別 API リファレンス

C++

Unity

JNI

よくある質問

資料