Ollama備忘録

Ollamaとは

Ollamaは、ローカル環境でLLM（大規模言語モデル）を実行するためのオープンソースフレームワークです。

• ローカル実行：インターネット接続なしで、完全にローカル環境でAIモデルを動作させることができる
• 簡単な導入：コマンドライン一つでモデルのダウンロードと実行が可能
• 多様なモデル対応：LlamaやMistral、日本語モデルのELYZAなど、様々なオープンソースモデルに対応
• APIサポート：REST APIを通じて他のアプリケーションから利用可能
• リソース効率：最適化された実行環境により、一般的なPCでも（ものによるが）利用可能

主にプライバシーを重視する場合や、インターネットに接続できない環境での利用、また開発時のテストなどで活用されています。

実行環境

MacBook Air M2（16GB 128GB）

• メモリは16GBが最低限必要なようです
• MacBook Pro M3（24GB 256GB）のほうが快適に利用できますが、上記でも使用可能です

インストール

Homebrewを使用したインストール方法

以下のコマンドでOllamaをインストールできます。

sekimoto ~ % brew install ollama

インストール後、Ollamaを起動してください。

sekimoto ~ % ollama serve

手動インストール方法

1. Ollama公式サイトからMac用のインストーラーをダウンロードします。
2. ダウンロードしたパッケージをダブルクリックして実行します。
3. インストーラーの指示に従ってインストールを完了します。
4. インストール後、アプリケーションフォルダからOllamaを起動します。

インストール後、初回起動時にセキュリティ関連の警告が表示される場合があります。その場合は、システム環境設定・セキュリティとプライバシーから実行を許可してください。

コマンド

モデルのインストール

sekimoto ~ % ollama pull llama3.2

インストール済みモデルの確認

sekimoto ~ % ollama list
NAME      	ID          	SIZE  	MODIFIED     
elyza:jp8b	d1b6bd58375e	4.9 GB	2 months ago

モデルの削除

sekimoto ~ % ollama rm elyza:jp8b
deleted 'elyza:jp8b'

参考サイト

https://qiita.com/s3kzk/items/3cebb8d306fb46cabe9f

https://qiita.com/hanaya/items/e55de1e80a04469484fd#ggufファイルを削除する