概念
Insightは、アプリケーションの構築とテスト中に、アプリケーションの横に配置されます。Neatライブラリやアプリケーションのランタイムを置き換えるものではありません。代わりに、通常はSDKコンテナ、DevKit、ログファイル、メディアファイル、ストリーミングポートなど、さまざまな場所に分散しているアーティファクトやシグナルを、ブラウザで確認できるようにします。
Neat開発環境では、Insightはテストメディアサービスとしても機能します。アップロードされたメディアをストリーミングソースに変換し、WebRTCビデオビューアを通じてアプリケーションの出力を表示できます。アプリケーションがSDKコンテナ外で実行される場合（たとえば、DevKit上など）、neat --jsonのSDKポートマップを使用して、外部クライアントが使用するホストポートを特定します。
一般的なループは次のとおりです。
- ワークスペースとアプリケーションの成果物を調べてください。
- テスト用にメディアファイルをアップロードするか、選択してください。
- メディアファイルを、
rtsp://127.0.0.1:8554/src1などのストリーミングソースや、MJPEGカメラシミュレーション用のHTTP MJPEGエンドポイントに変換します。 - それらのソースに対してアプリケーションを実行してください。
- 申請動画とメタデータ出力を、対応するInsightビューワーチャンネルに送信してください。
- ビデオビューアーでアプリケーションの出力結果を確認してください。
- システム情報とログを使用して、パフォーマンスの問題やランタイムの問題を診断してください。このバージョンでは、統計情報表示機能はプレースホルダーとしてのみ提供されており、次回のバージョンで完成させる予定です。
Insight は何のためにあるのでしょうか？
Insightは、画像処理の機械学習アプリケーションの開発と検証を目的として設計されています。テスト実行中に、メディア、ランタイム出力、メタデータ、およびシステム動作 が想定通りに連携しているかどうかを確認するのに役立ちます。
Insightを使用して、次の操作を行います。
- 再現性のあるビデオ入力を用意してください。
- アプリケーションの出力が、想定される表示チャンネルに正しく送信されていることを確認してください。
- 一般的な画像処理結果にメタデータオーバーレイを重ねて表示します。
- 生成されたモデル、パッケージ、ソースコード、およびプロファイリングの成果物を検査します。
- アプリケーションで発生する問題と、デバイスまたは SDK のランタイムの状態を比較します。このワークフローは、本来は「統計」ビューに配置される予定ですが、現在のリリースでは仮の場所に配置されています。
Insight が何でないか
Insight は、IDE を置き換えるものではありません。普段お使いのテキストエディター、ターミナル、ソース管理のワークフロー、およびビルドツールは引き続きご利用ください。Insight は、ワークスペースの成果物、テストメディア、ストリームルーティング、ビデオ出力、メタデータオーバーレイ、およびランタイム診断をブラウザベースで表示することで、既存のワークフローを補完します。