正確性とパフォーマンスを検証する。

モデルをコンパイルした後、精度を検証し、展開する前にパフォーマンスを測定してください。

正確性を検証する。

コンパイルされたモデルをexecuteパスで実行します。その出力結果を、代表的な入力データを用いて、元の浮動小数点モデルと比較します。

詳細なexecuteの精度チェックについては、Compile Your First Modelの検証ステップを参照してください。

ターゲットとなるワークロードから代表的な入力データを使用します。コンパイルされたモデルを、信頼できる浮動小数点参照と比較します。許容される誤差範囲は、モデルと量子化方式によって異なります。

まず、分類精度や検出mAPなどのモデルレベルの指標から始めます。指標が低下した場合、出力ごとの差を調べます。

デバイス上の遅延、スループット、電力、およびエネルギーを測定するには、初心者向けチュートリアルのベンチマークに関する手順を参照してください。

モデルのベンチマークを実行 — コンパイルされたモデルを実行します。決定的な合成テンソルを持つモデルを使用し、主要なレイテンシ、スループット、電力、およびエネルギーをプリントします。

ベンチマークの結果を使用して、選択したバッチサイズ、量子化方式、およびテッセレーション設定がアプリケーションの要件を満たしていることを確認します。レイテンシまたはスループットが目標値を満たさない場合は、実行時アプリケーションを変更する前に、コンパイルオプションを再検討してください。