驗證準確性和效能
在您編譯一個模型之後,請先驗證其準確性並衡量其效能,然後再部署它。
驗證準確性
透過 execute 路徑執行編譯後的模型。將其輸出與原始浮點模型在具代表性的輸入資料上進行比較。
若要進行實際的 execute 準確度檢查,請參閱 Compile Your First Model 中的驗證步驟。
使用來自目標工作負載的具代表性輸入資料。將編譯後的模型與可信的浮點參考模型進行比較。可接受的容差取決於模型和量化方案。
從模型層級的指標開始,例如分類準確度或檢測 mAP。如果某個指標出現下降,請檢查每個輸出的差異。
衡量效能
若要測量裝置的延遲、吞吐量、功耗和能耗,請參考初學者教學中的基準測試操作說明:
- 評估您的模型 — 執行已編譯的 使用具有確定性合成張量的模型,並列印延遲、吞吐量、功耗和能耗等指標。
使用基準測試結果來確認所選的批次大小、量化方案和鑲嵌設定是否符合您的應用程式需求。如果延遲或吞吐量未達到目標值,請在變更執行階段應用程式之前,重新檢視編譯選項。