進階概念

當您的應用程式需要超出基本 Model、Graph 和 Run 工作流程時，請使用這些頁面。它們解釋了更豐富的 Neat 應用程式背後的合約和執行階段行為。

應用程式設計

設計您的應用程式如何組成，以及它如何輸出結果。

• 圖建立模型、節點、具名輸入和輸出、分支，以及執行流程。
• 使用 MIPI 相機使用 libcamera 輸入和 CVU 預處理，建立一個由原始資料所擁有的相機到模型的圖。
• 傳送影片透過 H.264 RTP/UDP，將 Neat 應用程式的視訊輸出串流傳輸。
• 傳送 JSON 中繼資料透過 UDP JSON 格式發布結構化的應用程式中繼資料。

執行模型

了解工作如何被排程、以執行緒方式處理，以及如何映射到管線層。

• 時序模型了解同步和非同步執行、推送/拉取，以及工作發生的時機。
• 執行緒模型了解有哪些執行緒存在，以及應用程式碼可能在哪裡執行。
• GStreamer 層級了解 Neat 抽象了哪些內容，以及何時原始的 GStreamer 細節變得重要。

資料與模型合約

了解管線所依賴的張量、記憶體和模型合約。

• 資料格式將地圖格式的標記對應到張量的佈局、形狀和平面語義。
• 資料類型合約追蹤張量精確度在預處理、MLA 和後處理各階段的變化。
• 記憶體模型了解零拷貝緩衝區、實體位址和快取行為。

模型執行階段

深入探討已編譯的模型成品，以及執行這些成品的硬體後端。

• MPK 合約請參閱編譯後的模型封存檔如何定義推論階段和合約。
• 處理器後端了解 A65、CVU、MLA、MLASHM、APU、TVM 和 M4 的職責。
• CVU 核心檢視預處理和後處理圖的建構模組。