GenAIとLLiMa

LLiMaは、Model CompilerにおけるGenAIツールキットであり、LLM、VLM、およびASRモデルのコンパイル、テスト、ベンチマーク、デプロイを行い、Modalix上で実行するために使用されます。

LLiMaは、次の3つの入力形式をサポートしています。

• Hugging Face safetensors — 標準のLLMおよびVLMモデルのディレクトリ
• GGUFファイル — GGUF形式でパッケージ化されたLLMモデル
• 圧縮テンソルモデル — 事前量子化された、GPTQ / AWQ スタイルのセーフテンソルモデル

SiMa.aiは、GenAIの事前コンパイルされたモデルをのHugging Face、つまりに公開しています。適切なモデルがすでに存在する場合は、そこから始めてください。

具体的なGenAIのデモについては、のを参照してください。

LLiMa 入手可能性

LLiMaのコンパイルツールは、デフォルトでModel Compilerにインストールされます。 LLiMaのランタイムは、Neatランタイムの一部として、Modalixにネイティブにインストールされます。 ランタイムのインストール手順については、Neat Frameworkのインストールを参照してください。

貢献

LLiMa 自体の変更を行うコントリビューターは、リポジトリの構造、開発環境、テスト段階、モデルへの入力に関するポリシー、およびプルリクエストの要件について、 LLiMa コントリビューターガイド に従う必要があります。

対応モデル

以下の表に、サポートされているモデルのアーキテクチャとその機能を示します。

モデルのアーキテクチャ	種類	対応サイズ
Llama 2	LLM	7b
Llama 3.1	LLM	8b
Llama 3.2	LLM	1b, 3b
Gemma 1	LLM	2B、7B
Gemma 2	LLM	2B、9B
Gemma 3	LLM	1b, 4b
Phi 3.5 mini	LLM	3.8b
Phi 4 mini	LLM	3.8b
Qwen 2.5	LLM	0.5b、1.5b、3b、7b
Qwen 3	LLM	0.6b、1.7b、4b、8b
Mistral 1	LLM	7b
LFM 2	LLM	350m、1.2b、2.6b
Llava 1.5	VLM	7b
PaliGemma	VLM	3b
Gemma 3	VLM	4b
Gemma 4	VLM	E2B, E4B
Qwen 2.5 VL	VLM	3b, 7b
Qwen 3 VL	VLM	2b, 4b, 8b
LFM 2	VLM	450m、1.6b、3b
Whisper	ASR	small

制限事項

制限の種類	説明
モデルのアーキテクチャ	上記に記載されているアーキテクチャに基づくモデルのみがサポートされます。
モデルのパラメータ	パラメータ数が100億未満のモデルのみがサポートされます。
HFモデル	モデルは、config.json、safetensor形式の重み、およびアーキテクチャに必要なトークナイザーとプロセッサーのファイルを含むローカルのHugging Faceディレクトリとして利用可能でなければなりません。generation_config.jsonはオプションです。
GGUF モデル	GGUF形式は、LLMでのみサポートされます。VLMは、Hugging Faceのsafetensors形式からコンパイルする必要があります。Hugging Faceのsafetensorコンパイルと比較して、パフォーマンスが低下する可能性があることに注意してください。
圧縮テンソルモデル	サポートされているLLMおよびVLMは、llm-compressorを使用して作成された、事前に量子化されたsafetensorモデル（GPTQ/AWQ）を使用できます。モデルは、対称量子化とサポートされているcompressed-tensorsレイアウトを使用する必要があります。これらのモデルは、高いパフォーマンスを維持しながら、標準のINT4量子化よりも優れた精度を達成できます。
Gemma3 VLM	改良されたSigLip 448ビジョンエンコーダーを搭載。
LLAMA 3.2 ビジョン	画像認識モデルはサポートされていません。