ELYZA-Thinking-1.0が公開されたので、早速、ollamaが稼働しているUbuntu24.04へインストールしてみました。
インストール作業を記事にしました。
検証環境
MacStudio(M2Ultra)上の以下2台の仮想マシンで検証しました。
ollamaサーバー (ELYZA-Thinkingをインストールしたサーバー)
OS Ubuntu24.04
メモリ 134GB
ストレージ 123G
openWebUiサーバー
OS Ubuntu24.04
メモリ 33GB
ストレージ 123G
以下のサイトから、ELYZA-Thinking-1.0-Qwen-32B-Q5_K_M.gguf をダウンロードします。
mmnga/ELYZA-Thinking-1.0-Qwen-32B-gguf at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co
ディレクトリ~/LLM/ELYZA-Thinkingへ移動します。
ELYZA-Thinking-1.0-Qwen-32B-Q5_K_M.ggufをダウンロードします。
実際の作業は以下の通りです。
ディレクトリ移動後、ファイルダウンロード
% cd
% mkdir -p ~/LLM/ELYZA-Thinking
% cd ~/LLM/ELYZA-Thinking
% wget https://huggingface.co/mmnga/ELYZA-Thinking-1.0-Qwen-32B-gguf/resolve/main/ELYZA-Thinking-1.0-Qwen-32B-Q5_K_M.ggufModelfileを新規作成します。
Modelfile新規作成
% nano Modelfile
FROM ./ELYZA-Thinking-1.0-Qwen-32B-Q5_K_M.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"モデルを作成します。
モデル作成
% ollama create elyza-32b -f Modelfile
gathering model components
gathering model components
gathering model components
--- 省略 ---
awriting manifest
success以上で、ELYZA-Thinkingのインストールは終了です。
openWebUiで使用してみましたが、プロンプトに「こんにちは」と入力後、反応が返ってくるまで大体1分50秒ほどかかりました。
