LocalAIを使用すると、さまざまなAIモデルを簡単にセットアップし、ローカル環境で実行できます。この記事では、Hugging Faceからモデルファイルをダウンロードして利用する方法について説明します。具体的には、TextGeneration、Embeddings、Rerankerの3つのモデルタイプについて説明します。
TextGenerationモデルのセットアップ
TextGenerationモデルを設定するためには、以下の内容を記述したYAMLファイルをmodels/ディレクトリに配置します。この例では、orcaという名前のモデルを設定します。
name: orca
backend: autogptq
model_base_name: "orca_mini_v2_13b-GPTQ-4bit-128g.no-act.order"
parameters:
model: "TheBloke/orca_mini_v2_13b-GPTQ"
# ...このYAMLファイルの各フィールドについて説明します：
name: モデルの名前です。
backend: 使用するバックエンドです。この例ではautogptqを使用します。
model_base_name: モデルのベース名です。
parameters: モデルの詳細なパラメータです。modelフィールドには、Hugging Faceのモデル名を指定します。
Embeddingsモデルのセットアップ
Embeddingsモデルを設定するためには、以下の内容を記述したYAMLファイルをmodels/ディレクトリに配置します。この例では、intfloat-multilingual-e5-baseという名前のモデルを設定します。
name: intfloat-multilingual-e5-base
backend: sentencetransformers
embeddings: true
parameters:
model: intfloat/multilingual-e5-baseこのYAMLファイルの各フィールドについて説明します：
name: モデルの名前です。
backend: 使用するバックエンドです。この例ではsentencetransformersを使用します。
embeddings: 埋め込みモデルを使用する場合はtrueに設定します。
parameters: モデルの詳細なパラメータです。modelフィールドには、Hugging Faceのモデル名を指定します。
Rerankerモデルのセットアップ
Rerankerモデルを設定するためには、以下の内容を記述したYAMLファイルをmodels/ディレクトリに配置します。この例では、rerankerという名前のモデルを設定します。
name: reranker
backend: rerankers
parameters:
model: hotchpotch/japanese-reranker-cross-encoder-small-v1このYAMLファイルの各フィールドについて説明します：
name: モデルの名前です。
backend: 使用するバックエンドです。この例ではrerankersを使用します。
parameters: モデルの詳細なパラメータです。modelフィールドには、Hugging Faceのモデル名を指定します。
まとめ
LocalAIで独自のモデルを作成する方法について説明しました。TextGeneration、Embeddings、Rerankerの各モデルタイプについて、それぞれのYAML設定ファイルの例を示しました。これらのファイルをmodels/ディレクトリに配置することで、Hugging Faceからダウンロードしたモデルを簡単に使用できます。