GenAI
언어, 비전 언어 및 음성 모델을 제공하고 임베드합니다. 이 튜토리얼을 순서대로 진행하세요.
Neat GenAI 서버 뒤에 여러 개의 GenAI 모델을 배포하여 UI, 서비스 또는 원격 클라이언트가 단일 프로세스에서 LLM, VLM 및 ASR 엔드포인트를 호출할 수 있도록 합니다.
GenAI 모델 디렉터리를 로드하고, 간단한 프롬프트를 보내고, 시스템 프롬프트를 추가한 다음, 동일한 패턴을 대화 기록 및 스트리밍으로 확장합니다.
각 요청에 대해 이미지를 다시 인코딩하지 않고 동일 한 이미지에 대해 반복적인 질문을 합니다.
LLM, VLM 또는 ASR 작업이 더 큰 작업의 한 단계일 때 GenAI 그래프 조각을 사용합니다. Neat 그래프.
호스트 애플리케이션에서 Modalix PCIe 카드로 텍스트 생성, 이미지 질문, 음성 전사를 실행합니다. 모델 파일, 요청, 결과는 PCIe를 통 해 전송되며, 애플리케이션은 GStreamer 파이프라인 대신 공개 GenAI...