사용자 인터페이스

Insight는 비전 애플리케이션을 검증하는 동안 수행하는 개발 작업, 즉 파일을 검사하고, 미디어를 준비하고, 소스를 시작하고, 출력을 확인하고, 런타임 상태를 모니터링하는 작업을 중심으로 구성됩니다.

작업 공간

작업 공간 보기에서는 Insight에 표시되는 프로젝트 파일을 탐색할 수 있습니다. Neat 개발 환경에서는 일반적으로 이것이 /workspace이며, SDK 외부에서는 Insight가 현재 작업 디렉터리로 돌아갑니다.

작업 공간을 사용하여 다음을 수행하세요.

• 소스 파일, 구성 파일, 모델 아티팩트 및 생성된 출력물을 검색하고 탐색합니다.
• 미리보기 텍스트, 코드, 마크다운, 이미지 및 선택한 이진 파일을 확인합니다.
• 수동으로 압축을 풀지 않고 MPK 패키지 아카이브를 검사합니다.
• MLA 통계, MPK 매니페스트, 파이프라인 시퀀스 파일과 같은 특수 개발 결과물을 확인합니다.

작업 공간은 애플리케이션이 여러 빌드 결과물과 로그를 생성할 때 특히 유용합니다. 이를 통해 동일한 개발 세션 내에서 해당 결과물을 브라우저에서 쉽게 확인하고 검사할 수 있습니다.

미디어 소스

미디어 소스는 애플리케이션 테스트에 사용되는 미디어 파일을 관리하는 곳입니다. 비디오 또는 이미지를 업로드하고, 파일 목록을 필터링하고, 선택한 파일을 미리 보고, 기본적인 미디어 메타데이터를 확인하고, 더 이상 필요하지 않은 파일을 삭제할 수 있습니다.

지원되는 비디오 형식에는 mp4, mov, avi, mkv 및 webm과 같은 일반적인 컨테이너 형식이 포함됩니다. Insight는 또한 MJPEG 자산과 코덱을 인식하는 스트리밍을 위한 HEVC/H.265 미디어를 지원합니다. 지원되는 도구가 있는 경우, 업로드된 H.264 MP4 파일은 낮은 지연 시간 스트리밍에 최적화됩니다. MJPEG 및 HEVC 미디어는 원래 코덱 동작으로 스트리밍할 수 있도록 보존됩니다.

스트리밍 소스를 구성하기 전에 미디어 소스를 사용하여 사용 가능한 파일, Insight가 감지한 코덱, 파일이 읽을 수 있는지 확인합니다.

미디어 소스는 파일 선택, 미리 보기, 메타데이터 검사, 업로드 및 삭제 작업을 하나의 보기로 결합합니다.

SiMa는 반복 가능한 테스트를 위한 큐레이션된 비디오를 제공합니다. 알려진 미디어 세트가 필요한 경우 이를 사용하십시오.

https://artifacts.sima-neat.com/assets/videos/720p16/video01.mp4
...
https://artifacts.sima-neat.com/assets/videos/720p16/video16.mp4

https://artifacts.sima-neat.com/assets/videos/480p30/video01.mp4
...
https://artifacts.sima-neat.com/assets/videos/480p30/video16.mp4

필요한 파일을 다운로드한 다음, 미디어 소스 업로드 기능을 사용하여 파일을 가져옵니다.

스트리밍 소스

스트리밍 소스 보기에서는 업로드된 미디어 파일을 실시간 소스 슬롯으로 변환합니다. 각 소스 슬롯은 RTSP URL을 표시할 수 있습니다.

rtsp://127.0.0.1:8554/src1
rtsp://127.0.0.1:8554/src2
rtsp://127.0.0.1:8554/src3

해당 URL은 Insight와 동일한 SDK 컨테이너에서 실행되는 애플리케이션에 대해 올바릅니다. 애플리케이션이 DevKit 또는 다른 외부 장치에서 실행되는 경우, SDK 호스트 IP 주소와 neat --json에서 매핑된 rtsp.tcp 호스트 포트를 사용하십시오.

Insight는 할당된 미디어에서 코덱 및 전송 옵션을 선택합니다.

• H.264 미디어 스트림을 RTSP를 통해 H.264 형식으로 전송합니다.
• H.265 코덱으로 RTSP를 통해 HEVC/H.265 미디어 스트림을 전송합니다.
• MJPEG 미디어는 MJPEG 형식으로 RTSP를 통해 스트리밍하거나 HTTP를 통해 멀티파트 MJPEG 형식으로 스트리밍할 수 있습니다.

코덱은 선택한 미디어에 따라 결정되며, UI에서 수동으로 변경할 수 없습니다. RTSP를 통해 전송되는 MJPEG은 RTP 호환 MJPEG으로 인코딩되며, HTTP MJPEG은 카메라 스타일의 HTTP 테스트를 위해 MJPEG 프레임을 유지할 수 있습니다.

미디어를 소스에 할당하고, 개별 소스를 시작 및 중지하고, 소스 슬롯 간에 고유한 파일을 자동으로 할당하고, 여러 소스를 한 번에 시작하고, 모든 스트림을 중지하고, 애플리케이션 또는 테스트 도구에서 사용할 수 있도록 스트림 URL을 복사할 수 있습니다.

이 뷰는 객체 감지, 분할, 추적, 분류 또는 GenAI 비전 애플리케이션에 대해 반복 가능한 입력 스트림이 필요한 경우에 유용합니다.

스트리밍 소스 뷰를 사용하면 미디어 파일을 소스 슬롯에 할당하고, 스트림을 시작하거나 중지하고, 활성 스트림 URL을 복사하고, 애플리케이션에 연결하기 전에 선택한 소스를 미리 볼 수 있습니다.

비디오 뷰어

비디오 뷰어는 비디오 전달 장치에서 전송되는 지연 시간이 짧은 WebRTC 스트림을 표시합니다.

채널 N의 경우:

video:    UDP 9000 + N
metadata: UDP 9100 + N

예를 들어, 채널 0은 비디오 UDP 9000 및 메타데이터 UDP 9100를 사용하고, 채널 1은 비디오 UDP 9001 및 메타데이터 UDP 9101를 사용합니다.

송신자가 DevKit 또는 다른 외부 장치에서 실행되는 경우, neat --json에서 매핑된 비디오 videoUDP 및 메타데이터 metadataUDP 호스트 포트 범위를 사용합니다. 채널 계산은 동일하지만 시작 포트는 다를 수 있습니다.

뷰어는 객체 감지, 분류, 자세 추정, 분할 및 추적을 포함한 일반적인 비전 출력에 대한 메타데이터 오버레이를 렌더링할 수 있습니다. 뷰어 설정을 통해 신뢰도 임계값, ROI 표시, 추적 기록 및 동기화 버퍼링과 같은 오버레이 동작을 조정할 수 있습니다. 메타데이터 타임스탬프는 소스 PTS 밀리초를 사용하며, 사용할 수 없는 경우 생략됩니다.

비디오 뷰어를 사용하여 확인하십시오.

• 애플리케이션이 예상된 채널로 비디오를 전송하고 있습니다.
• 메타데이터가 해당 메타데이터 채널을 통해 전송되고 있습니다.
• 오버레이가 비디오 프레임과 정렬됩니다.
• 브라우저에서 재생이 원활하게 이루어집니다.

비디오 뷰어는 한 번에 하나 이상의 채널을 표시할 수 있으며, 더 많은 멀티 스트림 테스트를 위해 페이지 매김 및 채널 선택 컨트롤을 제공합니다.

통계

현재 버전의 통계 보기 기능은 임시 자리 표시자입니다. 애플리케이션이 실행되는 동안 시스템 부하 및 런타임 지표가 표시될 위치를 나타내며, 여기에는 CPU, 메모리, 디스크, 사용 가능한 경우 온도, MLA 메모리, 그리고 Insight를 통해 스트리밍되는 프로파일링 타임라인 데이터가 포함됩니다.

이 기능은 다음 버전에 완성될 예정입니다. 완성되면 애플리케이션 동작과 시스템 동작을 분리해야 할 때 통계 기능을 사용하십시오. 예를 들어, 프레임 드롭 문제가 애플리케이션 스트림 경로에서 발생할 수 있지만, CPU 부하, 메모리 사용량 또는 장치 런타임 상태와 관련될 수도 있습니다.

시스템 정보

시스템 정보 패널은 Insight가 확인할 수 있는 환경을 요약하여 보여줍니다. Neat 개발 환경에서는 SDK 및 구성 요소 정보, Insight 상태, 업데이트 정보, 그리고 mainUI 및 videoUI와 같은 노출된 포트 매핑을 표시할 수 있습니다.

URL이 기본 포트와 일치하지 않을 때 가장 먼저 확인해야 하는 곳입니다. Insight는 사용 가능한 포트 맵을 읽고 뷰어를 열 때 매핑된 videoUI 포트를 사용합니다. 명령줄 워크플로의 경우, neat --json은 동일한 포트 맵 정보를 표시합니다.