術語表
在整個框架的檔案和程式碼中出現的術語和縮寫。
框架概念
| 術語 | 定義 |
|---|---|
| Neat（這個框架） | 本檔案描述的函式庫是一個 C++/Python 框架，用於在 Modalix 上建立、驗證和執行基於 GStreamer 的 AI 推論管線。 |
| 節點 (Node) | 管線中最小的建構模組。它是對 GStreamer 元素的帶類型包裝。請參閱 include/builder/Node.h。 |
| 可重複使用的圖片段 | 一個可用作可重複使用組合單元的Graph，例如模型預處理/推論/後處理片段或輸入/輸出輔助工具。 |
| 圖 | 將節點轉換為可執行的執行流程的組裝階段。|
| 執行 | 一個正在運作的管線。將樣本輸入，並將樣本輸出。|
| 模型 | 簡化的進入點，用於載入和執行已編譯的 .tar.gz 模型封存檔。|
| MPK | 嵌入在 .tar.gz 模型封存檔中的模型推論合約 JSON（mpk.json 或 *_mpk.json）。|
| 範例 | 該框架中管線資料的單位——封裝一個張量或編碼後的媒體，以及元資料。|
| 張量 | 這是框架對像素、音訊或推論結果緩衝區的類型化視圖。|
| 張量緩衝區 (TensorBuffer) | 這是支撐 Tensor 的底層記憶體，包含 (buffer_id, paddr, vaddr) 這個三元組。|
| 區段 | 一個帶有設定器和存取中繼資料的具名記憶體區域。緩衝區來自區段。|
硬體
| 術語 | 定義 |
|---|---|
| Modalix | SiMa 的邊緣 AI SoC 平台。此框架是針對它而設計的。 |
| MLA | 機器學習加速器——這是系統單晶片 (SoC) 的主要推理引擎。 |
| MLASHM | MLA 共享記憶體——MLA 從中讀取的低延遲記憶體區域。 |
| EV74 / CVU | 計算視覺單元——一種適合 SIMD 的 DSP，用於預處理/後處理核心。 |
| A65 | 應用程式在執行 Linux 作業系統的 ARM 核心上。 |
| APU | 音訊處理單元。| | M4 | 一個用於低階協調（RPMsg、硬體序列）的 Cortex-M4。| | TVM | Apache TVM——這是該框架的 CPU 端備用編譯器，用於處理 MLA 無法處理的操作。|
| VCCM | 是一種 SoC 內部的相干記憶體區域，由某些加速器使用。|
| OCM | MLA 使用的片上記憶體。|
| DMS | 直接記憶體伺服器——SoC 的記憶體控制器/設定服務。| | RPMsg | 遠端處理器訊息傳遞——A65 和 M4 之間的 IPC 通道。|
| IOMMU | I/O 記憶體管理單元 — 將實體位址映射到虛擬位址，以供硬體使用。|
資料格式
| 術語 | 定義 |
|---|---|
| BF16 | Brain Float 16 — IEEE 754 二進位 16 位浮點數，具有完整的 FP32 指數範圍。MLA 偏好的浮點數資料類型。 |
| NV12 | 是一種 YUV 4:2:0 格式，包含 Y 平面和交錯的 UV 平面。這是框架預設的已解碼影片格式。 |
| I420 | 採用 YUV 4:2:0 格式，其中 Y、U 和 V 分別為不同的平面。 |
| HWC / CHW | 張量佈局（高度-寬度-通道 vs. 通道-高度-寬度）。 |
| 鑲嵌 | 將張量重新排列成 MLA 輸入緩衝區所需的幾何結構。純粹的佈局操作——相同的位元組，但排列順序不同。| | 量化 | 將 FP32 值映射到 INT8，並使用比例和零點。|
已啟動。
| 術語 | 定義 |
|---|
| 通用預處理器 | 一種預處理升級，可將任意使用者提供的轉換合併到標準預處理圖中。|
| BoxDecode | 一種後處理融合，用於在 EV74 上為檢測模型執行非最大值抑制 (NMS) / 解碼。|
| DetectionMeta | 這是附加到檢測模型輸出樣本的元資料結構，由 BoxDecode 提供。|
| GstSimaMeta | 這是框架的 GStreamer 中繼資料結構，附加到框架管理的每個緩衝區中。|
| 路由計畫 | 框架在編譯時決定的，關於哪個處理器執行哪個階段，以及哪個區段儲存每個緩衝區的資訊。|
| 重現啟動字串 | 由 Graph::describe() 產生的確定性 gst-launch 文字重現器。|
請參閱
Graph::describe()— 輸出重新啟動的指令字串。- dtype 規範.
- 記憶體模型.
- 處理器後端.