Ollama †
LLM(大規模な言語モデル)を立ち上げて実行するツール
インストール †
wget https://ollama.com/install.sh bash install.sh
使い方 †
Llama-3-ELYZA-JP-8B を使ってみる。 †
- モデルのダウンロード
wget https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF/resolve/main/Llama-3-ELYZA-JP-8B-q4_k_m.gguf?download=true mv Llama-3-ELYZA-JP-8B-q4_k_m.gguf* Llama-3-ELYZA-JP-8B-q4_k_m.gguf
- Modelfile 作成
次の Modefile を作成する。
FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }} <|start_header_id|>user<|end_header_id|> {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>""" PARAMETER stop "<|start_header_id|>" PARAMETER stop "<|end_header_id|>" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|reserved_special_token" - ollama 用のモデル作成
ollama create elyza:jp8b -f Modelfile
- モデルの実行
ollama run elyza:jp8b
対話形式で、回答を返してくれます。 - Python からの実行
- ollama インストール
!pip install ollama
- コード
from ollama import chat from ollama import ChatResponse response: ChatResponse = chat(model='elyza:jp8b', messages=[ { 'role': 'system', 'content': 'あなたは誠実で優秀な日本人のアシスタントです。特に指示が無い場合は、常に日本語で回答してください。', }, { 'role': 'user', 'content': 'D言語で、フィボナッチ数列を実装してください。', }, ]) print(response['message']['content'])
- ollama インストール
ollama サービスの起動停止 †
# 停止 sudo systemctl stop ollama # 開始 sudo systemctl start ollama
ollama 設定変更 †
systemctl edit ollama.service
エディタが起動するので、
[Service] Environment="OLLAMA_HOST=127.0.0.1:11434"
のように設定を記載して保存する。 ### Lines bellow this comment will be discarded より上に記載のこと。
ポートなどを変更した場合 †
次のように、環境変数にてポート等を指定して実行する。
OLLAMA_HOST=127.0.0.1:11434 ollama ps
Jupyter からの実行例 †
