使用LLM Agent 自動彙整關鍵字與歸納Google Search 搜尋結果
相信每個人在搜尋資料時都需要耗費大量時間爬文、爬資料，並還要把搜尋結果消化、整理、吸收，能不能利用大型語言模型結合AI 代理人來幫我們自動將我們需要的搜尋結果快速歸納、整理，並將其記錄成文件建檔。
Langchain Agent 結合客製化搜尋設計、爬蟲、摘要彙整等功能，可依據自身需求打造專屬個人的搜尋引擎，來看看是怎麼做到的吧！
Google Serp api
https://serpapi.com/search-api
google針對其搜尋引擎開方大量API可供查詢使用，例如一般的搜尋引擎Google Search API、針對地圖搜索的Google Map API、或是針對職缺搜尋或金融資訊相關的Google job API與Google Finance API，使用申請帳號，得到serp API key，免費方案可每月執行100次搜索，對於一般使用者已經相當夠用！
Browserless
當我們有了搜尋結果後，你可能會想說該怎麼進到網頁中並把網頁資訊自動爬蟲下來，難道還要一個一個網頁寫爬蟲程式嗎？
那當然是不用啦！現在已經有非常方便的自動化網頁爬蟲Browserless可以想網頁資訊給爬取下來，同樣送出相對應的網址進行request，BrowserlessAPI即可將網頁資訊回傳，之後再用Beautiful Soup解析萃取文字檔，即可輕鬆獲取想對應的網站內容囉
Langchain Prompt and Agent
最後就是我們主角，Langchain的登場時間！
Langchain為簡化使用大型語言模型使用門檻的應用程式框架，你可以把它想像成使用大型語言模型來搭建應用程式的武器庫，其中包含非常多的LLM應用可做使用，例如調用自有資料的檢索增強生成(RAG)、SQL產生器、external API互動等等，在Langchain都用相應的函式可供使用
此次我們要用到的為Summarization 與 Agent，summarization很好理解就是用於摘要我們的網站內容的，而Agent是可根據自身使用需求，建立起基於LLM的應用，比如說我需要一個自動搜尋並摘要網頁的工具，在Agent設計裡，你只需要告訴他期望達成的結果，即可完成一個客製搜尋引擎
接下來只要把相應的input流程設計好，一個LLM Agent就設計完成囉
Streamlit UI
最後我們用Streamlit搭建一個UI畫面，實際測試結果如何
實際結果非常不錯！LLM如實的將我的需求實現，以後要爬旅遊資訊、餐廳、搜尋論文資料，都不用一頁一頁的翻Google囉，是不是很方便呢！
若喜歡以上內容再幫忙按個拍手、追蹤，我會持續更新相關內容，感謝！
聯絡方式
信箱：skps30808@gmail.com
Line：260391760
IG：cfp_andy
