メインコンテンツまでスキップ

ユーザーインターフェース

Insightは、ビジョンアプリケーションの検証を行う際に実行する開発タスクを中心に構成されており、ファイル検査、メディアの準備、ソースの起動、出力の確認、およびランタイムの健全性の監視などを行います。

ワークスペース​

ワークスペースビューでは、Insight で表示できるプロジェクトファイルを閲覧できます。Neat 開発環境では、通常これは/workspace です。SDK外では、Insight は現在の作業ディレクトリに戻ります。

ワークスペースを使って、次の操作を行います。

  • ソースファイル、設定、モデル成果物、および生成された出力の検索と参照。
  • プレビュー用のテキスト、コード、Markdown、画像、および選択されたバイナリファイルを表示します。
  • MPKパッケージのアーカイブを、手動で展開することなく検査します。
  • MLA統計、MPKマニフェスト、パイプラインシーケンスファイルなど、特定の開発成果物を確認できます。

ワークスペースは、アプリケーションが複数のビルド結果やログを生成する場合に特に役立ちます。ワークスペースを使用すると、同じ開発セッション内で、それらの成果物をブラウザからアクセスして確認できます。

Insight ワークスペースビュー。パイプラインのシーケンスグラフとワークスペースの成果物が表示されます。

メディアソース​

メディアソースは、アプリケーションのテストに使用するメディアファイルを管理する場所です。動画や画像をアップロードしたり、ファイルリストをフィルタリングしたり、選択したファイルのプレビューを表示したり、基本的なメディアメタデータを検査したり、不要になったファイルを削除したりできます。

サポートされている動画形式には、mp4、mov、avi、mkv、およびwebmなどの一般的なコンテナ形式が含まれます。Insightは、MJPEGアセットとHEVC/H.265メディアも認識し、コーデックを意識したストリーミングをサポートします。対応するツールが利用可能な場合、アップロードされたH.264 MP4ファイルは、低遅延ストリーミング用に最適化されます。MJPEGおよびHEVCメディアは、元のコーデックの動作でストリーミングできるように保存されます。

ストリーミングソースを構成する前にメディアソースを使用することで、どのファイルが利用可能か、Insightがどのコーデックを検出したか、およびそれらが読み取り可能かどうかを確認できます。

Insight メディアソースビュー。選択した動画のプレビューとメディアメタデータが表示されます。

メディアソースは、ファイル選択、プレビュー、メタデータ検査、アップロード、および削除のアクションを1つのビューにまとめます。

SiMaは、再現性のあるテストのための厳選された動画を提供します。既知のメディアセットが必要な場合は、これを使用してください。

https://artifacts.sima-neat.com/assets/videos/720p16/video01.mp4
...
https://artifacts.sima-neat.com/assets/videos/720p16/video16.mp4

https://artifacts.sima-neat.com/assets/videos/480p30/video01.mp4
...
https://artifacts.sima-neat.com/assets/videos/480p30/video16.mp4

必要なファイルをダウンロードし、次に「メディアソース」のアップロード機能を使用してインポートします。

ストリーミングのソース​

「ストリーミングソース」ビューでは、アップロードされたメディアファイルをライブソーススロットに変換します。各ソーススロットは、RTSP URLを公開できます。

rtsp://127.0.0.1:8554/src1
rtsp://127.0.0.1:8554/src2
rtsp://127.0.0.1:8554/src3

これらのURLは、Insightと同じSDKコンテナーで実行されているアプリケーションに対して正しいものです。アプリケーションがDevKitまたは別の外部マシンで実行されている場合は、SDKホストのIPアドレスと、neat --jsonからマッピングされたrtsp.tcpホストポートを使用してください。

Insightは、割り当てられたメディアからコーデックとトランスポートオプションを選択します。

  • H.264形式で、RTSPを介してH.264メディアストリームを送信します。
  • H.265形式で、RTSPを介してHEVC/H.265メディアストリームを送信します。
  • MJPEGメディアは、RTSPを通じてMJPEG形式で、またはHTTPを通じてmultipart MJPEG形式でストリーミングできます。

コーデックは選択されたメディアによって決定され、UIで手動で変更することはできません。RTSP経由のMJPEGは、RTP互換のMJPEGにエンコードされ、HTTP MJPEGは、カメラ形式のHTTPテストのためにMJPEGフレームを保持できます。

メディアをソースに割り当てたり、個々のソースを開始および停止したり、ソーススロット間で一意のファイルを自動的に割り当てたり、複数のソースをまとめて開始したり、すべてのストリームを停止したり、アプリケーションまたはテストハーネスで使用するためにストリームURLをコピーしたりできます。

このビューは、オブジェクト検出、セグメンテーション、トラッキング、分類、またはGenAIビジョンアプリケーションのために、再現可能な入力ストリームが必要な場合に役立ちます。

Insight ストリーミングソースビュー。割り当てられたソーススロットとソースプレビューが表示されます。

ストリーミングソースビューでは、メディアファイルをソーススロットに割り当てたり、ストリームを開始または停止したり、アクティブなストリームURLをコピーしたり、アプリケーションに組み込む前に選択したソースをプレビューしたりできます。

ビデオビューワー​

ビデオビューワーには、ビデオ転送装置から送信される低遅延の WebRTC ストリームが表示されます。

チャンネル N について：

video:    UDP 9000 + N
metadata: UDP 9100 + N

たとえば、チャンネル 0 は、ビデオ UDP 9000 とメタデータ UDP 9100 を使用します。チャンネル 1 は、ビデオ UDP 9001 とメタデータ UDP 9101 を使用します。

送信側が DevKit または別の外部マシンで実行されている場合は、neat --json からマッピングされた videoUDP および metadataUDP のホストポート範囲を使用します。チャンネル間の計算は同じですが、開始ポートが異なる場合があります。

ビューアーは、オブジェクト検出、分類、姿勢推定、セグメンテーション、トラッキングなど、一般的なビジョン出力のメタデータオーバーレイをレンダリングできます。ビューアーの設定を使用すると、信頼度しきい値、ROI表示、トラッキング履歴、同期バッファーなど、オーバーレイの動作を調整できます。メタデータのタイムスタンプは、ソースの PTS ミリ秒を使用し、利用できない場合は省略されます。

ビデオビューアーを使用して確認してください。

  • アプリケーションは、指定されたチャンネルにビデオを送信しています。
  • メタデータが、対応するメタデータチャンネルに送信されてきます。
  • オーバーレイはビデオフレームに合わせて配置されます。
  • ブラウザでの再生は正常です。

Insightビデオビューワーは、4つのチャンネルをグリッド形式で表示します。WebRTC

ビデオビューワーは、一度に1つまたは複数のチャンネルを表示でき、ページネーションやチャンネル選択コントロールを備えており、大規模なマルチストリームテストに適しています。

統計​

現在のリリースでは、統計情報表示はプレースホルダーとして機能します。アプリケーションが実行されている間に、システム負荷やランタイムに関するメトリクス（CPU、メモリ、ディスク、利用可能な場合の温度、MLAメモリ、およびInsightを通じてストリーミングされるプロファイリングのタイムラインデータなど）を表示する予定の場所を示します。

この機能は、次回のリリースで完成させる予定です。完成したら、アプリケーションの動作とシステムの動作を分離する必要がある場合に、統計情報表示を使用してください。たとえば、フレームの描画が途切れる問題は、アプリケーションのストリームパスに起因する可能性がありますが、CPU負荷、メモリの使用状況、またはデバイスのランタイム状態とも関連している可能性があります。

システム情報​

システム情報パネルには、Insight が認識できる環境の概要が表示されます。Neat 開発環境では、SDK とコンポーネントの情報、Insight のステータス、更新情報、および mainUI や videoUI などの公開ポートマッピングが表示されます。

URL がデフォルトポートと一致しない場合に最初に確認すべき場所です。Insight は、利用可能なポートマップを読み取り、ビューアーを開く際にマッピングされた videoUI ポートを使用します。コマンドラインワークフローの場合、neat --json は同じポートマップ情報を表示します。