我家裡有一張 NVIDIA GeForce RTX 2070 顯卡，每次在 Hugging Face 看到一些不錯的 AI 模型想在本機跑起來，無奈 GRAM 只有 8GB 而已，連個 7B 的 LLM 模型都跑不起來。上個月我在上海參加 2023 Google I/O Connect 大會，認識了一位 GDE 在 Lepton AI 工作，他們公司主要做 LLMOps 工具，可以無腦的將許多開源的 LLM 模型部署起來，而且還有免費的 GPU 資源可以使用，這樣就可以讓我們這些沒有太多 GPU 資源的開發者也可以輕鬆的玩 LLM 了。這篇文章我打算來介紹一下如何使用 Lepton AI 的工具在本機與雲端部署台灣最近釋出的 Taiwan-LLM-7B 模型。
... 繼續閱讀 ...