Документація щодо апаратного забезпечення SiMa.ai.

Використовуйте цей сайт для отримання інформації про налаштування обладнання, робочі процеси прошивки та низькорівневі інтерфейси для продуктів SiMa.ai MLSoC Modalix. Документація щодо програмного забезпечення, машинного навчання та інструментів для створення конвеєрів наведена окремо.

Про MLSoC Modalix

MLSoC Modalix — це друге покоління системи на кристалі для машинного навчання від SiMa.ai. Вона поєднує в собі обчислювальний комплекс Arm Cortex-A65, високопродуктивний прискорювач машинного навчання (MLA), процесор обробки зображень (ISP) для обробки даних з камери та блок комп’ютерного зору (CVU) для класичних задач обробки зображень — і все це розміщено на одному кристалі.

Ця інтеграція дозволяє запускати мультимодальні, генеративні та візуальні ШІ-процеси на периферійних пристроях без об’єднання окремих прискорювачів, центральних процесорів і камерних інтерфейсів. Модуль Modalix SoM містить MLSoC Modalix для інтеграції з платою-носієм та в продукт, і кожен комплект розробника, описаний тут, використовує один і той самий чип.

Портфоліо DevKit.

SiMa.ai пропонує набори для розробки та продукти PCIe на базі MLSoC Modalix для застосувань штучного інтелекту на периферійних пристроях. Оберіть продукт нижче або порівняйте характеристики в таблиці.

Modalix DevKit

Поточний набір для розробки, призначений для оцінки MLSoC Modalix і створення додатків на основі SoM Modalix.

Модуль PCIe Modalix

Платформа Half-Height/Half-Length (HHHL), розроблена для масштабованих периферійних обчислювальних систем.

Набір для розробки Modalix Early Access

Застарілий набір для розробки для існуючих користувачів програми Early Access.

Порівняння функцій

Функція	Modalix DevKit	PCIe-карта Modalix	Набір для розробників програми раннього доступу Modalix
Документація та операційна система
Короткий опис продукту.	перегляд	—	перегляд
Попередньо встановлена операційна система	eLxr Linux	eLxr Linux	eLxr Linux
Обчислення
Ядра ARM	8 ядер Arm Cortex-A65, тактова частота 1,4 ГГц	8 ядер Arm Cortex-A65, тактова частота 1,4 ГГц	8 ядер Arm Cortex-A65, тактова частота 1,4 ГГц
Процесор обробки зображень (ISP)	Процесор Arm C-71, тактова частота 1,2 ГГц.	Процесор Arm C-71, тактова частота 1,2 ГГц.	Процесор Arm C-71, тактова частота 1,2 ГГц.
Блок комп’ютерного зору (CVU)	Synopsys EV74, 750 16-бітних GOPS	Synopsys EV74, 750 16-бітних GOPS	Synopsys EV74, 750 16-бітних GOPS
Пам’ять і накопичувач
Обсяг оперативної пам’яті	32 ГБ LPDDR5	32 ГБ LPDDR5	64 ГБ LPDDR5
Сховище	16 ГБ eMMC, 500 ГБ NVMe	16 ГБ eMMC	10 ГБ eMMC
Слот для SD-карти	✖	✔	✔
Мережеві технології
Ethernet	1x 1 Гбіт/с Ethernet	1x 1 Гбіт/с Ethernet	1x 1 Гбіт/с Ethernet (end0), 1x 10 Гбіт/с Ethernet (end1), 2x 10 Гбіт/с SFP+ (end2/3)
Входи камери
MIPI CSI	2 порти MIPI CSI, кожен з 2 лініями	✖	4 канали MIPI CSI, кожен з 4 лініями
GMSL2 через FAKRA	✖	2x GMSL2 через FAKRA	✖
Введення/Виведення та Дисплей
GPIO / Роз’єми	40-контактний GPIO-роз’єм	✖	40-контактний GPIO-роз’єм
USB	4 порти USB 3.0	✖	✖
HDMI	1 порт HDMI 1.4	✖	✖
Графічний контролер	Silicon Motion SM768	✖	✖
Відеокодеки
Кодек H.264/H.265	4kp60	4kp60	4kp60
Кодек MJPEG	4kp30	4kp30	4kp30
Декодер H.264/H.265.	4kp60	4kp60	4kp60
Декодер AV1 і MJPEG.	4kp60	4kp60	4kp60
Форм-фактор
PCIe-карта, підключена до хост-системи	✖	✔	✖

Замовте свій набір для розробки.

Архітектури розгортання

MLSoC Modalix підтримує дві поширені архітектури розробки: автономний режим і режим PCIe. Оберіть архітектуру, яка відповідає способу підключення вашого обладнання та місцю, де працює ваш додаток.

Автономний режим

У автономному режимі, пристрій Modalix DevKit або спеціальна система на базі модуля Modalix SoM працює як самостійний пристрій. Використовуйте цей режим, коли пристрій отримує дані безпосередньо від датчиків, камер, накопичувачів або мережевих інтерфейсів.

Основні сценарії використання

• Застосування периферійного штучного інтелекту: здійснюйте обчислення безпосередньо на пристрої, не покладаючись на центральний сервер або хмарну інфраструктуру.
• Компактні розгортання: зменшують потребу в додатковому апаратному забезпеченні для хостів.
• Системи з обмеженим енергоспоживанням: Підтримка систем віддаленого моніторингу, що працюють від акумуляторів або сонячних панелей.

Переваги

• Автономний: працює без підключення до хост-машини.
• Енергоефективність: підтримує роботу в середовищах, де важливе енергоспоживання.
• Компактний: підходить для розгортання в умовах обмеженого простору.

Типовий потік даних

1. DevKit отримує дані безпосередньо з мережевих інтерфейсів або датчиків.
2. DevKit завантажує застосунок NEAT, який визначає конвеєр обчислень, що виконується безпосередньо на пристрої, та застосунок .
3. MLSoC Modalix виконує обчислення та обробляє дані локально.
4. Результати надсилаються на інші пристрої або системи через мережеві з’єднання для подальших дій або візуалізації.

Налаштуйте автономний режим

Режим PCIe

У режимі PCIe, плата Modalix PCIe встановлюється в хост-машину. Використовуйте цей режим, коли сервер, настільний комп’ютер або робоча станція виконує оркестрування, зберігання даних і обробку вхідних/вихідних даних, а плата забезпечує прискорення обчислень Modalix.

Основні сценарії використання

• Високопродуктивні системи: використовуйте сервер або робочу станцію в центрі обробки даних для обробки та зберігання даних, а плату Modalix PCIe використовуйте для виконання обчислень.
• Керування вводом-виводом хостом: Використовуйте сховище, мережу або датчики хоста, передаючи при цьому обчислення на карту.

Переваги

• Спеціалізоване прискорення: Перенесіть обчислення з центрального процесора хоста на апаратне забезпечення Modalix.
• Можливість розширення: Додавайте обчислювальні модулі за потреби.

Типовий процес обробки даних

1. Основний комп’ютер збирає дані з датчиків, периферійних пристроїв, накопичувачів або мережевих інтерфейсів.
2. Карта Modalix PCIe завантажує застосунок NEAT, який містить конвеєр висновків і адаптовану модель штучного інтелекту .
3. Хост-система надсилає дані на плату Modalix PCIe через інтерфейс PCIe.
4. Хост обробляє результати або передає їх до наступних систем.

Налаштуйте режим PCIe

Почніть роботу

Оберіть шлях, який відповідає вашій конфігурації. Кожен посібник охоплює доступ через послідовну консоль, налаштування мережі та керування прошивкою для відповідного режиму.

Короткий посібник зі швидкого старту

Покрокова інтерактивна інструкція для першого налаштування DevKit.

Автономний режим

Запустіть DevKit Modalix або систему на основі Modalix SoM як самостійний периферійний пристрій.

Режим PCIe

Встановіть PCIe-карту Modalix у хост-машину для апаратного прискорення обчислень.