跳至主要内容

GenAI

提供並嵌入語言、視覺語言與語音模型。 請依序完成這些教學。

部署 GenAI 模型 圖片 部署 GenAI 模型 15-20 minutes

在 Neat GenAI 伺服器後方部署多個 GenAI 模型,以便 UI、服務或遠端客戶端可以從單一程序調用 LLM、VLM 和 ASR 端點。

genaiserverllmvlmasrhttp

載入 GenAI 模型目錄,發送一個簡單的提示,新增一個系統提示,然後將相同的模式擴展到對話歷史記錄和串流中。

genaillmchathistorystreaming

針對相同的圖片提出重複的問題,而無需為每個請求重新編碼該圖片。

genaivlmimagecachemultimodal

當 LLM、VLM 或 ASR 的運作是更大 Neat 圖中的一個階段時,請使用 GenAI 圖片段。

genaigraphcompositionstreamingadvanced