The Will Will Web

記載著 Will 在網路世界的學習心得與技術分享

使用 Lepton AI 快速部署 Taiwan-LLM-7B 全新 v2.0.1 大型語言模型(LLM)

我家裡有一張 NVIDIA GeForce RTX 2070 顯卡,每次在 Hugging Face 看到一些不錯的 AI 模型想在本機跑起來,無奈 GRAM 只有 8GB 而已,連個 7B 的 LLM 模型都跑不起來。上個月我在上海參加 2023 Google I/O Connect 大會,認識了一位 GDE 在 Lepton AI 工作,他們公司主要做 LLMOps 工具,可以無腦的將許多開源的 LLM 模型部署起來,而且還有免費的 GPU 資源可以使用,這樣就可以讓我們這些沒有太多 GPU 資源的開發者也可以輕鬆的玩 LLM 了。這篇文章我打算來介紹一下如何使用 Lepton AI 的工具在本機與雲端部署台灣最近釋出的 Taiwan-LLM-7B 模型。

... 繼續閱讀 ...

如何在 Docker 容器中建置舊版 Angular 應用程式

今天收到一個 Angular 9 的老舊專案,由於我電腦目前的 Node.js 版本太新,無法正常開發,由於我只是單純的想在本機建置專案,所以決定使用 Docker 容器來準備建置環境。這篇文章我就來分享如何快速在容器中打造一個 Angular 的建置環境。

... 繼續閱讀 ...

如何使用 .NET Core 串接 e 政府服務平臺單一登入暨多因子驗證機制

我記得我最早在 2008 年就因為一個標案串接過 e 政府服務平臺的單一登入機制,事隔多年後,竟然什麼也沒有變,還是一樣透過 SOAP Web Service 來進行驗證。今天這篇文章我就來說說如何透過 .NET 7 實作 e 政府服務平臺的單一簽入機制,以及說明如何用 .NET 呼叫以 SOAP 為基礎的 Web Service 服務。

... 繼續閱讀 ...

使用 Data API builder 快速實現安全的 CRUD 應用程式

微軟最近推出了一個開發工具叫 Data API builder (DAB),這是一套開源的資料處理引擎,他可以快速的將資料庫的資料轉換成 REST 與 GraphQL API 端點(Endpoint),方便我們快速的建立安全的 CRUD 應用程式。有了 Data API builder 之後,針對大多數 CRUD 類型的應用程式,幾乎都可以在幾分鐘之內完成 API 開發,只要使用一些前端框架就可以快速的建立一個完整的應用程式。

... 繼續閱讀 ...

如何使用 SharpToken 計算不同 OpenAI 模型在送出提示詞時的 Token 數量

由於大多數 LLM 模型都有 Token 數量的限制,因此我們在開發 Generative AI (GAI) 應用程式時,都會對 Token 的用量斤斤計較,因此我們需要一個可以計算 Token 數量的函式庫,而在 .NET 世界裡 SharpToken 套件不但可以對文字進行編碼(Tokenize)與解碼,還可以用來計算文字的 Token 數量。今天這篇文章我就來介紹這個好用的 NuGet 套件。

... 繼續閱讀 ...

如何在 PowerShell 對機敏字串進行加解密處理

我經常撰寫許多 PowerShell 腳本,盡量把我日常的工作自動化,這當中經常需要登入一些服務,所以在我的腳本中經常會出現密碼等敏感資料,這些資料如果直接寫在腳本中,通常會有一些風險,所以我通常會對這些敏感資料加密處理,確保這些密碼不會被旁人一眼看穿。這篇文章我就來說說我是怎樣處理這些敏感資料的。

... 繼續閱讀 ...