Модель генеративного штучного інтелекту.

Neat використовує GenAI API для моделей LLM, VLM та ASR, підготовлених за допомогою LLiMa. Це генеративна модель, яка є аналогом Model: завантажте розгорнуту модель із певної директорії, створіть запит, а потім виконайте його у вашій програмі або надайте доступ до неї через HTTP. Для застосунків на хості, підключеному до Modalix PCIe Card, використовуйте GenAI API через PCIe.

Використовуйте ці API, коли вашій програмі потрібно, щоб модель генерувала текст, відповідала на запитання щодо зображень, викликала інструменти або перетворювала аудіо в текст. Використовуйте класичний Model API для дискримінативних моделей із фіксованою структурою, таких як класифікація, виявлення, сегментація або моделі вбудовування.

Де можна застосувати генеративний ШІ?

Шлях GenAI має таку ж загальну структуру, як і решта компонентів Neat:

1. Підготуйте або завантажте артефакт моделі для Modalix.
2. Розмістіть модель на цільовому пристрої, зазвичай у теці /media/nvme/llima/models/, або залиште її на хості для виконання через PCIe.
3. Завантажте модель зі своєї програми, написаної мовою C++ або Python.
4. Надсилайте запит безпосередньо або надавайте доступ до моделі через GenAIServer.
5. Перегляньте повний результат або використовуйте потоковий вивід.

LLiMa відповідає за підготовку моделі GenAI, тестування через командний рядок і проведення порівняльних тестів. Neat відповідає за API, що використовується в застосунку, та інтеграцію в середовище виконання після того, як модель буде використана у вашому застосунку. Детальнішу інформацію про підготовку моделі див. у розділі Генеративний ШІ з використанням LLiMa..

Оберіть межу застосування.

Надавайте послуги застосункам і клієнтам.

Рекомендовано для більшості застосунків. Використовуйте сервер GenAI для забезпечення доступу до загальних кінцевих точок API.

• Сервер GenAIЗареєструйте одну або кілька моделей і звертайтеся до HTTP-кінцевих точок, сумісних з OpenAI або Ollama.

Запустіть у своєму процесі.

Використовуйте прямі API, коли ваша програма, написана мовами C++ або Python, здійснює виклик моделі.

• Прямі API для генеративного штучного інтелекту.Запускайте або передавайте в режимі потокового відтворення запити для великих мовних моделей (LLM), візуальних мовних моделей (VLM) і систем автоматичного розпізнавання мовлення (ASR) у процесі, а також створюйте фрагменти графа генеративного штучного інтелекту (GenAI).

Використовуйте прямі виклики для вбудованої логіки застосунку та тестів, які мають виконуватися в одному процесі з моделлю. Використовуйте сервер, коли клієнтам не потрібно пов’язуватися з Neat середовищем виконання або коли один процес має перенаправляти запити до кількох моделей, що обслуговуються.

Наступні кроки

• Запускайте моделі з хоста за допомогою GenAI API через PCIe.
• Перегляньте Забезпечте роботу моделей генеративного штучного інтелекту., щоб ознайомитися з повним прикладом HTTP-сервера.
• Перегляньте Запустіть велику мовну модель (LLM) за допомогою Direct API., щоб отримати покрокову інструкцію.
• Підготуйте та протестуйте моделі за допомогою Генеративний ШІ з використанням LLiMa..