昨晚 OpenAI 的 2024 春季更新發佈會，宣布了最新的 GPT-4o 模型，其中最讓我好奇的地方是，他將 Tokenizer 的詞彙表擴充了兩倍之多，理論上整體的文字處理速度會提升，且呼叫 API 的成本也會大幅降低。我就好奇到底他們增加了哪些詞彙？這篇文章將介紹如何用 Python 取得這個詞彙表的內容。
... 繼續閱讀 ...
由於大多數 LLM 模型都有 Token 數量的限制，因此我們在開發 Generative AI (GAI) 應用程式時，都會對 Token 的用量斤斤計較，因此我們需要一個可以計算 Token 數量的函式庫，而在 .NET 世界裡 SharpToken 套件不但可以對文字進行編碼(Tokenize)與解碼，還可以用來計算文字的 Token 數量。今天這篇文章我就來介紹這個好用的 NuGet 套件。
... 繼續閱讀 ...