我自從寫了 介紹好用工具：Ollama 快速在本地啟動並執行大型語言模型 文章後，就幾乎都在本機用 Ollama 執行各種大語言模型的推論。由於幾天前 TAIDE 團隊發表了一套符合台灣語言和文化特性的大語言模型(TAIDE-LX-7B)，我當下就立刻用 Ollama 跑起來了。這篇文章我將分享幾個簡單的小步驟，幫助大家也可以很順利的在本機將 TAIDE-LX-7B-Chat-4bit 模型跑起來。
... 繼續閱讀 ...
我最近在嘗試多套 LLM 大語言模型，原本都採用 LM Studio 來實驗，但後來發現 Ollama 還蠻符合我需求的，而且非常容易上手，所以這篇文章我打算來分享一下 Ollama 的使用方式。
... 繼續閱讀 ...
由於我多年前買過一張 RTX GeForce 2070 顯卡 (GPU)，雖然僅有內建 8.0 GB 的專屬 GPU 記憶體，但要跑一些小的 LLM 模型還是可以的。最近在嘗試把一些 LLM 應用程式跑在 Docker 容器中，但是發現 Docker Desktop for Windows 預設是不支援 NVIDIA CUDA 的，需要特別設定一下才能使用。這篇文章記錄一下設定的過程。
... 繼續閱讀 ...