AI/Ollama のバックアップ(No.3)

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
AI/Ollama へ行く。
- 1 (2025-04-08 (火) 11:15:13)
- 2 (2025-04-08 (火) 14:55:17)
- 3 (2025-04-10 (木) 15:48:44)

Ollama †

LLM(大規模な言語モデル)を立ち上げて実行するツール

インストール †

wget https://ollama.com/install.sh
bash install.sh

↑

使い方 †

↑

Llama-3-ELYZA-JP-8B を使ってみる。 †

モデルのダウンロード

wget https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF/resolve/main/Llama-3-ELYZA-JP-8B-q4_k_m.gguf?download=true
mv Llama-3-ELYZA-JP-8B-q4_k_m.gguf* Llama-3-ELYZA-JP-8B-q4_k_m.gguf

Modelfile 作成次の Modefile を作成する。

FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }} 
<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

ollama 用のモデル作成
```
ollama create elyza:jp8b -f Modelfile
```
モデルの実行
```
ollama run elyza:jp8b
```
対話形式で、回答を返してくれます。

Python からの実行

ollama インストール
```
!pip install ollama
```

コード

from ollama import chat
from ollama import ChatResponse

response: ChatResponse = chat(model='elyza:jp8b', messages=[
    {
        'role': 'system',
        'content': 'あなたは誠実で優秀な日本人のアシスタントです。特に指示が無い場合は、常に日本語で回答してください。',
    },
    {
        'role': 'user',
        'content': 'D言語で、フィボナッチ数列を実装してください。',
    },
])
print(response['message']['content'])

↑

ollama サービスの起動停止 †

# 停止
sudo systemctl stop ollama
# 開始
sudo systemctl start ollama

↑

ollama 設定変更 †

systemctl edit ollama.service

エディタが起動するので、

[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"

のように設定を記載して保存する。 ### Lines bellow this comment will be discarded より上に記載のこと。

↑

ポートなどを変更した場合 †

次のように、環境変数にてポート等を指定して実行する。

OLLAMA_HOST=127.0.0.1:11434 ollama ps

↑

Jupyter からの実行例 †

https://ehobby.jp/~kei-n/html/ollama.html