top of page

LocalAIで独自にモデルを作成する方法

LocalAIを使用すると、さまざまなAIモデルを簡単にセットアップし、ローカル環境で実行できます。この記事では、Hugging Faceからモデルファイルをダウンロードして利用する方法について説明します。具体的には、TextGeneration、Embeddings、Rerankerの3つのモデルタイプについて説明します。


TextGenerationモデルのセットアップ

TextGenerationモデルを設定するためには、以下の内容を記述したYAMLファイルをmodels/ディレクトリに配置します。この例では、orcaという名前のモデルを設定します。

name: orca
backend: autogptq
model_base_name: "orca_mini_v2_13b-GPTQ-4bit-128g.no-act.order"
parameters:
  model: "TheBloke/orca_mini_v2_13b-GPTQ"
# ...

このYAMLファイルの各フィールドについて説明します:

  • name: モデルの名前です。

  • backend: 使用するバックエンドです。この例ではautogptqを使用します。

  • model_base_name: モデルのベース名です。

  • parameters: モデルの詳細なパラメータです。modelフィールドには、Hugging Faceのモデル名を指定します。


Embeddingsモデルのセットアップ

Embeddingsモデルを設定するためには、以下の内容を記述したYAMLファイルをmodels/ディレクトリに配置します。この例では、intfloat-multilingual-e5-baseという名前のモデルを設定します。

name: intfloat-multilingual-e5-base
backend: sentencetransformers
embeddings: true
parameters:
  model: intfloat/multilingual-e5-base

このYAMLファイルの各フィールドについて説明します:

  • name: モデルの名前です。

  • backend: 使用するバックエンドです。この例ではsentencetransformersを使用します。

  • embeddings: 埋め込みモデルを使用する場合はtrueに設定します。

  • parameters: モデルの詳細なパラメータです。modelフィールドには、Hugging Faceのモデル名を指定します。


Rerankerモデルのセットアップ

Rerankerモデルを設定するためには、以下の内容を記述したYAMLファイルをmodels/ディレクトリに配置します。この例では、rerankerという名前のモデルを設定します。

name: reranker
backend: rerankers
parameters:
  model: hotchpotch/japanese-reranker-cross-encoder-small-v1

このYAMLファイルの各フィールドについて説明します:

  • name: モデルの名前です。

  • backend: 使用するバックエンドです。この例ではrerankersを使用します。

  • parameters: モデルの詳細なパラメータです。modelフィールドには、Hugging Faceのモデル名を指定します。


まとめ

LocalAIで独自のモデルを作成する方法について説明しました。TextGeneration、Embeddings、Rerankerの各モデルタイプについて、それぞれのYAML設定ファイルの例を示しました。これらのファイルをmodels/ディレクトリに配置することで、Hugging Faceからダウンロードしたモデルを簡単に使用できます。

bottom of page