Перейти до основного вмісту

Користувацький інтерфейс

Insight організовано навколо завдань, які ви виконуєте під час розробки та тестування застосунку комп’ютерного зору: перевірка файлів, підготовка медіафайлів, запуск джерел, перегляд результатів і моніторинг стану системи в середовищі виконання.

Робочий простір.​

Перегляд «Робочий простір» дає змогу переглядати файли проєкту, які є видимими для InsightУ. Neat Середовище розробки, зазвичай це /workspace; поза межами SDK, Insight повертається до поточної робочої директорії.

Використовуйте робочий простір для:

  • Шукайте та переглядайте вихідні файли, конфігурації, артефакти моделей і згенеровані результати.
  • Перегляд тексту, коду, розмітки Markdown, зображень і вибраних бінарних файлів.
  • Переглядайте архіви пакетів MPK, не розпаковуючи їх вручну.
  • Перегляньте спеціалізовані артефакти розробки, такі як статистичні дані MLA, файли маніфестів MPK і файли послідовностей конвеєра.

Робочий простір особливо корисний, коли програма генерує кілька результатів збірки та файлів журналів. Він надає вам можливість переглядати ці артефакти за допомогою веб-браузера, не покидаючи поточну сесію розробки.

Insight Вигляд робочого простору, що відображає графічну схему послідовності конвеєра та артефакти робочого простору.

Джерела медіа​

«Джерела медіа» — це місце, де ви керуєте файлами медіа, які використовуються для тестування програм. Ви можете завантажувати відео або зображення, фільтрувати список файлів, переглядати вибрані файли, перевіряти основні метадані медіа та видаляти файли, які більше не потрібні.

Підтримувані формати відео включають поширені формати контейнерів, такі як mp4, mov, avi, mkv і webm. Insight також розпізнає активи MJPEG і медіа HEVC/H.265 для потокової передачі з урахуванням кодека. За наявності відповідних інструментів завантажені файли H.264 MP4 оптимізуються для потокової передачі з низькою затримкою. Медіа MJPEG і HEVC зберігаються, щоб їх можна було передавати в потоковому режимі з використанням їхніх оригінальних параметрів кодека.

Використовуйте «Джерела медіа» перед налаштуванням джерел потокової передачі, щоб знати, які файли доступні, який кодек виявив Insight, і чи можна їх читати.

Insight Перегляд «Джерела медіа», що показує попередній перегляд вибраного відео та метадані медіа.

«Джерела медіа» об’єднує вибір файлів, попередній перегляд, перевірку метаданих, завантаження та видалення в одному перегляді.

SiMa надає відібрані відео для повторюваного тестування. Використовуйте їх, коли вам потрібен відомий набір медіафайлів.

https://artifacts.sima-neat.com/assets/videos/720p16/video01.mp4
...
https://artifacts.sima-neat.com/assets/videos/720p16/video16.mp4

https://artifacts.sima-neat.com/assets/videos/480p30/video01.mp4
...
https://artifacts.sima-neat.com/assets/videos/480p30/video16.mp4

Завантажте необхідні файли, а потім імпортуйте їх за допомогою функції завантаження, що передбачена для джерел медіа.

Джерела потокового відео.​

Перегляд «Джерела потокового відео» перетворює завантажені медіафайли на активні слоти джерел. Кожен слот джерела може містити URL-адресу RTSP:

rtsp://127.0.0.1:8554/src1
rtsp://127.0.0.1:8554/src2
rtsp://127.0.0.1:8554/src3

Ці URL-адреси є правильними для програм, які працюють в одному контейнері SDK, що й Insight. Якщо програма працює на DevKit або на іншому зовнішньому пристрої, використовуйте IP-адресу хоста SDK і відображений хост-порт rtsp.tcp з neat --json.

Insight вибирає кодек і параметри передачі з призначених медіаданих:

  • Медіапотоки H.264, що передаються через RTSP, у форматі H.264.
  • Медіапотоки HEVC/H.265, що передаються через RTSP, у форматі H.265.
  • Медіаформат MJPEG може передаватися потоком через RTSP у форматі MJPEG або через HTTP як багатокомпонентний MJPEG.

Кодек визначається вибраним медіафайлом і не змінюється вручну в інтерфейсі користувача. MJPEG, що передається через RTSP, кодується у формат MJPEG, сумісний з RTP, тоді як HTTP MJPEG може зберігати кадри MJPEG для тестування HTTP у стилі, що імітує роботу камери.

Ви можете призначати медіафайли джерелам, запускати та зупиняти окремі джерела, автоматично призначати унікальні файли для слотів джерел, запускати кілька джерел одночасно, зупиняти всі потоки та копіювати URL-адреси потоків для використання в програмах або тестових середовищах.

Цей перегляд корисний, коли вам потрібні повторювані вхідні потоки для об’єктів, які використовуються в задачах виявлення, сегментації, відстеження, класифікації або в додатках комп’ютерного зору на основі генеративного штучного інтелекту.

Перегляд Insight Streaming Sources, що показує призначені слоти джерел і попередній перегляд джерела.

Перегляд Streaming Sources дозволяє призначати медіафайли слотам джерел, запускати або зупиняти потоки, копіювати URL-адресу активного потоку та переглядати вибране джерело перед підключенням до програми.

Переглядач відео​

Відображувач відео показує потоки даних WebRTC з низькою затримкою, отримані від відеопередавача.

Для каналу N:

video:    UDP 9000 + N
metadata: UDP 9100 + N

Наприклад, канал 0 використовує відео UDP 9000 і метадані UDP 9100; канал 1 використовує відео UDP 9001 і метадані UDP 9101.

Якщо відправник працює на DevKit або на іншому зовнішньому пристрої, використовуйте відображені діапазони портів хоста для videoUDP і metadataUDP з neat --json. Логіка каналів залишається незмінною, але початкові порти можуть відрізнятися.

Переглядач може відображати метадані у вигляді накладок для стандартних вихідних даних візуалізації, зокрема для виявлення об’єктів, класифікації, оцінки пози, сегментації та відстеження. Налаштування переглядача дозволяють налаштувати поведінку накладок, наприклад, порогові значення впевненості, відображення області інтересу, історію відстеження та буферизацію синхронізації. Мітки часу метаданих використовують мілісекунди PTS джерела та не відображаються, якщо вони недоступні.

Використовуйте відеопереглядач, щоб перевірити:

  • Програма надсилає відео на відповідний канал.
  • Метадані надходять на відповідний канал метаданих.
  • Напівпрозорі елементи накладаються на відеокадр.
  • Відтворення в браузері працює належним чином.

Відображення Insight у програмі перегляду відео, що показує чотириканальну сітку WebRTC.

Програма перегляду відео може одночасно відображати один або кілька каналів, а також містить елементи керування для навігації сторінками та вибору каналів для великих багатопотокових тестів.

Статистика​

У поточній версії розділ «Статистика» є лише тимчасовим заповнювачем. Він позначає заплановане місце розташування для відображення даних про навантаження на систему та показників у середовищі виконання під час роботи програми, зокрема дані про процесор, пам’ять, диск, температуру (за наявності), пам’ять MLA та дані про час виконання, які передаються через Insight.

Реалізація цієї функції планується в наступній версії. Після завершення реалізації використовуйте розділ «Статистика», коли вам потрібно відокремити поведінку програми від поведінки системи. Наприклад, проблема з втратою кадрів може виникати через потік даних програми, але також може бути пов’язана з навантаженням на процесор, використанням пам’яті або станом пристрою в середовищі виконання.

Інформація про систему.​

Панель інформації про систему узагальнює середовище, яке бачить Insight. У середовищі розробки Neat, воно може відображати інформацію про SDK і компоненти, статус Insight, інформацію про оновлення та відображені відображення портів, такі як mainUI і videoUI.

Це перше місце, куди слід звернутися, якщо URL-адреса не відповідає порту за замовчуванням. Insight зчитує доступну карту портів і використовує відображений порт videoUI під час відкриття переглядача. Для робочих процесів командного рядка neat --json відображає ту саму інформацію про карту портів.