跳至主要内容

使用者介面

Insight 的設計是以您在驗證視覺應用程式時所執行的開發任務為中心：檢查檔案、準備媒體、啟動來源、檢視輸出，以及監控執行階段的狀態。

工作區​

「工作區」檢視可讓您瀏覽對 Insight 可見的專案檔案。在 Neat 開發環境中，這通常是 /workspace；在 SDK 之外，Insight 會切換到目前的本機目錄。

使用「工作區」來：

  • 搜尋和瀏覽原始檔案、設定、模型成品以及產生的輸出結果。
  • 預覽文字、程式碼、Markdown 格式、圖片，以及選取的二進位檔案。
  • 無需手動解壓縮，即可檢查 MPK 套件檔案。
  • 檢視專用開發構件，例如 MLA 統計資料、MPK 資訊檔和流程序列檔案。

工作區在應用程式產生多個建置輸出和日誌時特別有用。它提供一種可透過瀏覽器存取的檢視方式，讓您可以在相同的開發階段中檢查這些構件。

Insight 工作區檢視，顯示流程序列圖和工作區構件。

媒體來源​

「媒體來源」是您管理應用程式測試中使用的媒體檔案的地方。您可以上傳影片或圖片、篩選檔案清單、預覽選取的檔案、檢查基本的媒體中繼資料，以及刪除不再需要的檔案。

支援的影片格式包括常見的容器格式，例如 mp4、mov、avi、mkv 和 webm。Insight 還能識別 MJPEG 資源和 HEVC/H.265 媒體，以支援具備編碼器意識的串流傳輸。當有支援的工具可用時，上傳的 H.264 MP4 檔案會針對低延遲串流傳輸進行優化。MJPEG 和 HEVC 媒體會保留，以便它們可以以原始編碼器行為進行串流傳輸。

在設定串流傳輸來源之前，請使用「媒體來源」，這樣您就可以知道有哪些檔案可用、Insight 偵測到哪些編碼器，以及它們是否可讀。

Insight 媒體來源檢視畫面，顯示選取的影片預覽和媒體中繼資料。

「媒體來源」將檔案選擇、預覽、中繼資料檢查、上傳和刪除操作整合在一個檢視畫面中。

SiMa 提供精選的影片，用於可重複的測試。當您需要一組已知的媒體時，請使用這些影片。

https://artifacts.sima-neat.com/assets/videos/720p16/video01.mp4
...
https://artifacts.sima-neat.com/assets/videos/720p16/video16.mp4

https://artifacts.sima-neat.com/assets/videos/480p30/video01.mp4
...
https://artifacts.sima-neat.com/assets/videos/480p30/video16.mp4

下載您需要的檔案，然後使用「媒體來源」上傳功能將它們匯入。

串流媒體來源​

「串流來源」檢視會將上傳的媒體檔案轉換為即時來源插槽。每個來源插槽都可以顯示一個 RTSP URL：

rtsp://127.0.0.1:8554/src1
rtsp://127.0.0.1:8554/src2
rtsp://127.0.0.1:8554/src3

這些 URL 對於在與 Insight 相同的 SDK 容器中執行的應用程式而言是正確的。如果應用程式在 DevKit 或其他外部機器上執行，請使用 SDK 主機的 IP 位址，以及從 neat --json 中映射的 rtsp.tcp 主機連接埠。

Insight 會從已指派的媒體中選擇編解碼器和傳輸選項：

  • 透過 RTSP 傳輸 H.264 媒體串流，格式為 H.264。
  • 透過 RTSP 傳輸 HEVC/H.265 媒體串流，格式為 H.265。
  • MJPEG 媒體可以透過 RTSP 以 MJPEG 格式串流，或透過 HTTP 以多部分 MJPEG 格式串流。

編碼器是由所選的媒體決定，且不會在使用者介面中手動更改。透過 RTSP 傳輸的 MJPEG 會被編碼成與 RTP 相容的 MJPEG，而 HTTP MJPEG 則可以保留 MJPEG 幀，以便進行類似相機的 HTTP 測試。

您可以將媒體指派給一個來源，啟動和停止個別的來源，自動將唯一的檔案指派給不同的來源插槽，批量啟動來源，停止所有串流，並複製串流 URL 以供應用程式或測試工具使用。

當您需要針對物件偵測、分割、追蹤、分類或 GenAI 視覺應用程式，建立可重複的輸入串流時，這個檢視畫面會很有用。

Insight 串流來源檢視畫面，顯示已指派的來源插槽和來源預覽。

「串流來源」檢視畫面可讓您將媒體檔案指派給來源插槽，啟動或停止串流，複製作用中的串流 URL，並在將其連接到應用程式之前預覽所選的來源。

影片檢視器​

視訊檢視器會顯示來自視訊轉發器的低延遲 WebRTC 串流。

對於頻道 N：

video:    UDP 9000 + N
metadata: UDP 9100 + N

例如，頻道 0 使用視訊 UDP 9000 和中繼資料 UDP 9100；頻道 1 使用視訊 UDP 9001 和中繼資料 UDP 9101。

如果傳送者在 DevKit 或其他外部機器上執行，請使用從 neat --json 映射的 videoUDP 和 metadataUDP 主機連接埠範圍。 頻道數學運算相同，但起始連接埠可能不同。

檢視器可以呈現常用視覺輸出（包括物件偵測、分類、姿勢估計、分割和追蹤）的中繼資料疊加層。 檢視器設定可讓您調整疊加層行為，例如置信度閾值、ROI 顯示、追蹤歷史記錄和同步緩衝。 中繼資料時間戳使用來源 PTS 毫秒，如果無法使用，則會省略。

使用視訊檢視器進行確認：

  • 應用程式正在將影片傳送到預期的頻道。
  • 中繼資料即將傳送到對應的中繼資料通道。
  • 疊圖會與影片畫面對齊。
  • 瀏覽器播放功能運作正常。

Insight 影片檢視器顯示一個四通道 WebRTC 網格。

影片檢視器可以一次顯示一個或多個通道，並提供分頁和通道選擇控制項，以便進行更大規模的多串流測試。

統計資料​

目前的版本中，「統計資料」檢視僅為一個佔位符。它標示了應用程式執行期間，系統負載和執行階段指標的預定位置，包括 CPU、記憶體、磁碟、溫度（如果有的話）、MLA 記憶體，以及透過 Insight 串流傳輸的分析時間軸資料。

此功能預計在下一個版本中完成。完成後，當您需要將應用程式行為與系統行為分開時，請使用「統計資料」。例如，畫面遺漏問題可能來自應用程式串流路徑，但也可能與 CPU 負載、記憶體壓力或裝置執行階段狀態相關。

系統資訊​

系統資訊面板會摘要說明 Insight 可以檢視的環境。在 Neat 開發環境中，它可以顯示 SDK 和元件資訊、Insight 狀態、更新資訊，以及公開的連接埠對應，例如 mainUI 和 videoUI。

當 URL 與預設連接埠不符時，這是您應該首先檢查的地方。Insight 會讀取可用的連接埠對應，並在開啟檢視器時使用對應的 videoUI 連接埠。對於命令列工作流程，neat --json 會顯示相同的連接埠對應資訊。