メインコンテンツまでスキップ

Model Compiler をインストールしてください。

Model Compiler を個別にインストールする場合のみ、ここから開始してください。

Model Compiler のインストールは、SDK のインストール時に任意で行います。このページは、そのプロンプトをスキップした場合、またはより新しい互換性のある Model Compiler をインストールしたい場合、あるいはサポートされているホスト上で SDK 以外の場所に Model Compiler をインストールする必要がある場合にのみ使用してください。

Model Compiler は、ONNXモデルを量子化およびコンパイルし、SiMa.ai のMLA上で実行できるようにします。GenAIモデルを含むモデルを自分でコンパイルまたは量子化する場合は、必須であり、事前にコンパイルされたモデルパッケージのみを使用する場合はオプションです。

SDK のインストール/設定中に、sima-cli は、対応するモデルコンパイラを Neat SDK 内の拡張機能としてインストールするように促します。後でインストールすることもできます。インストール先は、Neat SDK コンテナ内、またはサポートされている Ubuntu ホストにスタンドアロンでインストールする方法のいずれかです。サポートされているバージョン組み合わせとスタンドアロンホストの要件については、互換性 を参照してください。

SDK 内にインストール​

SDKのセットアップ中にModel Compilerをスキップした場合、後でNeat SDK内からインストールしてください。お使いのNeat SDKコンテナのアーキテクチャに合ったコマンドを実行します。確認するには、SDKシェル内でuname -mを実行します。aarch64の場合はarm64コマンドを使用し、x86_64の場合はamd64コマンドを使用します。

amd64 Neat SDK コンテナの場合：

sima-cli neat install model-compiler/amd64@v2.1.3

arm64 Neat SDK コンテナの場合：

sima-cli neat install model-compiler/arm64@v2.1.3

インストール後、Neat SDK のシェルからコンパイラ環境を起動してください。

activate-model-compiler

デフォルトに戻すには Neat SDK シェル、実行：

deactivate-model-compiler

単独のホストにインストール​

スタンドアロンでのインストールは、互換性 に記載されているホスト環境でのみサポートされます。サポートされているホスト環境から、対応する sima-cli neat install コマンドを実行してください。ホストのアーキテクチャを確認するには、uname -m を実行します。x86_64 は amd64 コマンドを使用し、aarch64 は arm64 コマンドを使用します。

amd64 のホスト上で動作する Model Compiler 2.1.3 について：

sima-cli neat install model-compiler/amd64@v2.1.3

arm64 のホスト上で動作する Model Compiler 2.1.3 について：

sima-cli neat install model-compiler/arm64@v2.1.3

amd64 のホスト上で動作する Model Compiler 2.0.0 について：

sima-cli install -v 2.0.0 tools/model-compiler/amd64

次のステップ​

引き続き、モデルを構築する を実行してください。