PCIe 코프로세싱
Modalix PCIe Card에 연결된 호스트에서 추론을 실행합니다. 이 튜토리얼을 순서대로 진행하세요.
PCIe 호스트 API는 모델에 사용할 수 있는 텐서 또는 디코딩된 이미지 픽셀을 허용합니다. 텐서 모드는 전처리를 호스트에서 수행합니다. 이미지 모드는 원본 픽셀을 보내고 Modalix 카드가 크기 조정, 색상 변환 및 정...
동기식 `run()`은 첫 번째 추론에 이상적이지만, 다음 이미지를 제출하기 전에 각 결과가 완료될 때까지 기다립니다. `push()`를 호출하는 프로듀서와 `pull()`을 통해 데이터를 가져오는 컨슈머가 동시에 작동하면...
Modalix PCIe 카드는 0번부터 5번까지의 공동 처리 큐를 제공합니다. 각 활성 `Model`은 하나의 큐를 소유하므로, 각 인스턴스에 서로 다른 `ConnectionOptions.queue`를 할당하면 독립적인 모델...
기본 PCIe 경로는 FP32 텐서를 카드로 보내고, 카드에서 입력이 양자화되고, MLA가 실행된 뒤, 출력이 역양자화되어 FP32로 호스트에 반환됩니다. 이미 INT8 데이터를 보유하고 있거나 양자화 단계를 직접 제어하려는...
`Tensor::from_external()`을 사용하면 C++ 애플리케이션이 기존 연속 할당을 새 호스트 측 텐서로 복사하지 않고 래핑할 수 있습니다. 텐서는 `std::shared_ptr<void>` 소유자를 유지하므로...
호스트 애플리케이션에서 Modalix PCIe 카드로 텍스트 생성, 이미지 질문, 음성 전사를 실행합니다. 모델 파일, 요청, 결과는 PCIe를 통해 전송되며, 애플리케이션은 GStreamer 파이프라인 대신 공개 GenAI...