PinnedSeongwoo ChoiImplementing Idempotency in Serverless ArchitecturesDr. Werner Vogels, Amazon’s CTO, reflected on the lessons learned from 10 years on AWS, sayingJun 26, 20231Jun 26, 20231
PinnedSeongwoo ChoiBuilding an AI Assistant for Technical Writing (Feat. ReAct, Agents for Amazon Bedrock)As LLMs have evolved, there has been a lot of discussion about how to make them more efficient, and several techniques have been…Jan 3Jan 3
Seongwoo Choi하이브리드 검색 구현하기 (feat. EnsembleRetriever, Knowledge Bases for Amazon Bedrock)LLM은 특정 시간에 학습을 멈추고 배포되기 때문에 실시간 데이터와 일치하지 않는 경우가 많다. 또한, 모든 데이터를 학습시킬 수 없기 때문에 사실과는 다른 답변을 내놓는 경우도 다수이다. 이러한 문제를 해결하기 위해, LLM에 질문과 유사도가 높은…Mar 31Mar 31
Seongwoo ChoiAgents는 Amazon Bedrock에서 어떻게 추론하나요?Agents for Amazon Bedrock (이하 Agents)는 사용자의 입력을 받으면 어떤 작업을 해야 할지 LLM이 정하도록 하고, 실제로 그 작업을 수행한 이후 사용자에게 답변을 반환한다. 지난 포스팅에서는 Agents의 기반이 되는…Mar 31Mar 31
Seongwoo Choi실제 서비스에서 Knowledge Bases for Amazon Bedrock 활용 (with API, LangChain)Knowledge Bases for Amazon Bedrock 출시 이후, 직접 자료를 임베딩하여 벡터 데이터베이스를 구축하는 번거로움이 크게 줄어들었다. 많은 과정이 추상화되어 단순히 Knowledge Bases의 API 호출만으로도 RAG로…Feb 18Feb 18
Seongwoo Choi재택근무를 위한 Client VPN 구축하기포스트 코로나 시대에, 전면 재택으로 전환하거나 하이브리드로 오피스 출근하는 경우가 많아졌다. 재택근무가 뉴노멀이 된 시대에 보안은 가장 중요하게 대두되는 문제가 되었다. 정해진 오피스 공간에서 업무를 하는 것이 아니라 다양한 곳에 위치한 개인의…Feb 4Feb 4
Seongwoo Choi서버리스로 Slack AI Bot 구축하기2022년 11월 ChatGPT의 출현 이후 1년이 조금 지난 현재, 다양한 산업군과 기업에서 LLM을 통해 QA, 문서 요약, 언어 번역 등 다양한 작업을 수행하도록 하는 어시스턴트를 개발하여 사용하고 있다. LangChain과 같은 오픈소스…Jan 21Jan 21
Seongwoo Choi쉽고 경제적인 RAG 구축을 위한 Knowledge Bases for Amazon Bedrock 안내서LLM이 질문에 대한 답변을 생성하는 과정에서 사실과는 다른 환각 현상이 발생할 수 있다. 환각을 최소화하기 위해 RAG(Retrieval Augmented Generation)라는 방법이 Meta에 의해 도입되었다. LLM이 입력을 받으면 특정…Jan 7Jan 7
Seongwoo Choi테크니컬 라이팅을 위한 AI 어시스턴트 구축하기 (Feat. ReAct, Agents for Amazon Bedrock)LLM이 발달해오면서 어떻게 LLM을 효율적으로 쓸 수 있을지에 대한 논의가 활발하게 이루어졌고, Prompt Engineering, RAG, Fine-Tuning 등 다양한 기법이 도입돼 왔다. 여러 기법 중에서도 가장 접근이 쉬우며, 구현을…Dec 21, 2023Dec 21, 2023
Seongwoo ChoiText Generation Inference(TGI)를 활용한 프로덕션 레벨 LLM 추론 가속화Text Generation Inference(TGI)는 Hugging Face의 Inference API과 Hugging Chat에서 LLM 추론 성능을 강화하는 내부 툴로서 2023년 초부터 개발이 시작되었다. 이후 프로덕션에서의 추론을 위한…Dec 10, 2023Dec 10, 2023