Tech enthusiast / enjoy life / love learning

使用llama.cpp將HuggingFace 取得的LLM模型轉為 GGUF格式

近期在測試一些模型以及落地的應用，由於本地執行環境我是借用Ollama來實現， Ollama 具有易部署且容器化的便利性，只需要一行就能完成 LLM…

在Semantic Kernel裡監管Prompt Engineering與Plugins

隨著大型語言模型（LLMs）的廣泛應用，生成式AI的強大能力被逐漸發掘。然而，生成式AI在帶來便利的同時，也可能產生不正確的生成結果，甚至帶來潛在的危害。因此，如何在開發過程中有效監控和管理這些生成過程，將成為開發者面臨的一大挑戰。

使用Ollama與MemoryKernel客製化實現本地RAG應用Embedding模型連結

前幾天再次接獲讀者詢問，如果想要在本地端實現 Embedding Model 連接該如何實現，要解決這個問題有一點點小麻煩，本篇就來說明如何實現。

使用KernelMemory、Ollama實作落地Language Model與Vector DB的RAG應用

使用SK與Ollama實現本地LLM模型連接

上個月底我與二位朋友合著一本ChatGPT開發書籍，其中一個主題是Semantic Kernel，書中的範例多數以連接Azure OpenAI GPT 模型做為教學示範，因此有讀者詢問是不是Semantic Kernel只能與Azure…

新書-極速 ChatGPT 開發者兵器指南：跨界整合 Prompt Flow、LangChain 與 Semantic Kernel 框架

MVP 聚技站線上直播

這次參加MVP 聚技站Gen AI系列的線上直播第3個場次的講者，主題是以Semantic Kernel與Azure AI Search打造私有知識庫，內容將分享基於RAG架構的知識庫GPT開發

Azure AI Search RAG 實作

上一篇提到使用 Azure AI Search 做為知識庫的向量儲存庫，本篇延續這個主題，搭配Microsoft.KernelMemory.Core進行一個簡單基於RAG概念的LLM知識庫應用POC實作。