我在一小時 No-Code 打造可搜尋的 AI 知識庫系統 (RAG)課程中有準備一個知識庫範例，可以將整份 angular.dev 網站轉成知識庫所需的文字檔案。由於 angular.dev 網站內容都是開源的，放在 GitHub 的 angular/angular Repo 中的 adev 目錄下。但這個 Repo 有 30,486 個 Commits，檔案數與下載量都非常大，如果只想取得特定目錄下的檔案，就需要動用一些 Git 的進階技巧，今天我想來分享一下我是如何快速下載 Git Repo 中特定資料夾下的所有 *.md 檔案，並且批次轉成 *.txt 的過程。
... 繼續閱讀 ...
深度學習模型在自然語言處理 (NLP) 領域中扮演著重要的角色，而調整模型的參數可以影響生成的文字風格和品質。在大語言模型中，Temperature、Top-P 和 Top-K 是常見的參數，用於控制文字生成過程中的隨機性和創造性。我自己在開發 LLM 應用時，主要也都只會去調整 Temperature 而已，其實 Top-P 與 Top-K 很少去調他，因為每次調整都沒有什麼好結果，之前因為不太理解這兩個參數的真正含意，最後還是回歸預設值處理。這篇文章我打算好好的理一理這幾個參數的真正含意。
... 繼續閱讀 ...
昨晚 OpenAI 的 2024 春季更新發佈會，宣布了最新的 GPT-4o 模型，其中最讓我好奇的地方是，他將 Tokenizer 的詞彙表擴充了兩倍之多，理論上整體的文字處理速度會提升，且呼叫 API 的成本也會大幅降低。我就好奇到底他們增加了哪些詞彙？這篇文章將介紹如何用 Python 取得這個詞彙表的內容。
... 繼續閱讀 ...
我之前寫過一篇鉅細靡遺的如何透過 FFmpeg 將 SRT 字幕檔寫入到 MP4 影片檔中文章，也寫過一篇如何使用 FFmpeg 進行圖片壓縮與製作家庭影片文章，我覺得已經涵蓋了許多應用情境了。前陣子嘗試用 Gemini API 翻譯國外知名的 Podcast 節目，想說把翻譯好的轉錄稿直接跟 MP3 聲音檔結合，配一張圖片，就可以輸出個含字幕的 MP4 影片了，方便我邊聽、邊看字幕、邊學英文，誰知道 AI 問個老半天都問不出來。最終我還是搞定了這個需求，這篇文章來記錄一下重要的背景知識與觀念。
... 繼續閱讀 ...
不知道大家有沒有這種經驗？就算你裝了 Python 之後還是問題一大堆，沒事的時候就沒事，但只要一出問題就會搞好幾個小時查問題。這篇文章就是要寫給 Python 新手的執行環境安裝手冊。
... 繼續閱讀 ...
我自從寫了 介紹好用工具：Ollama 快速在本地啟動並執行大型語言模型 文章後，就幾乎都在本機用 Ollama 執行各種大語言模型的推論。由於幾天前 TAIDE 團隊發表了一套符合台灣語言和文化特性的大語言模型(TAIDE-LX-7B)，我當下就立刻用 Ollama 跑起來了。這篇文章我將分享幾個簡單的小步驟，幫助大家也可以很順利的在本機將 TAIDE-LX-7B-Chat-4bit 模型跑起來。
... 繼續閱讀 ...
Google 最近一年來承受著 OpenAI 帶來的極大壓力，感覺公司內部不斷重組，產品名稱也是一直在變化。由於我最近花了比較多時間在研究 Google 的 Gemini 技術，過程一直不斷被「命名」苦惱，直到最近才比較清楚整個來龍去脈。這篇文章我打算來整理一下 Google 的 Gemini 到底推出過多少「相似」的名稱，包含分類方式、產品名稱、舊名稱、新名稱、變化的名稱、套件名稱、模型名稱、工具名稱、函式庫名稱等等，坐好啊，馬上起飛！😅
... 繼續閱讀 ...
我最近在嘗試多套 LLM 大語言模型，原本都採用 LM Studio 來實驗，但後來發現 Ollama 還蠻符合我需求的，而且非常容易上手，所以這篇文章我打算來分享一下 Ollama 的使用方式。
... 繼續閱讀 ...
由於我多年前買過一張 RTX GeForce 2070 顯卡 (GPU)，雖然僅有內建 8.0 GB 的專屬 GPU 記憶體，但要跑一些小的 LLM 模型還是可以的。最近在嘗試把一些 LLM 應用程式跑在 Docker 容器中，但是發現 Docker Desktop for Windows 預設是不支援 NVIDIA CUDA 的，需要特別設定一下才能使用。這篇文章記錄一下設定的過程。
... 繼續閱讀 ...