ローカルLLMの構成

テクノロジー・AI

MacBookPro M5Max でのローカルLLM構成案はこちら

▪️メイン    Ollama       OpenWebUIなど他アプリと連携して使う

▪️サブ     LM Studio         モデルの選定、パラメータの調整など

OllamaとLM Studioはネイティブで、OpenWebUIはDockerコンテナ内で使う

ダウンロードしたLLMモデルは外付SSD(WD_BLACK SN850X)に保管し、ここから読み込む

まずは外付SSDのフォーマットから

「ディスクユーティリティ」で「消去」を選び、こちらを設定

 名前:     AI_Storage (任意)

 フォーマット: APFS

 方式:     GUIDパーティションマップ

APFSはWindowsとの互換性はないが、Macでの最適化のためこちらを選択した

「初期設定」につづく

タイトルとURLをコピーしました