qdrant

프로젝트를 진행하면서 RAG를 구현하게 되었다. 어떻게 RAG를 구현하였는지 그 구현기를 포스팅하겠다.참고로 시행착오를 엄청 겪으면서 구현했기 때문에 조금 길다.RAG란 무엇인가?LLM은 기존에 가지고 있는 지식만을 가지고 사용자의 질문에 답변할 수 밖에 없는데, 만약 사용자의 질문이 LLM이 학습한 지식의 범위를 벗어난다면 이에 답하지 못하거나 할루시네이션이 발생할 가능성이 크다.외부의 지식과 사용자의 질문을 같이 LLM에게 제공하여 답변할수 있도록 하는 방법이 바로 RAG이다.왜 RAG를 구현했나?내 프로젝트는 일기를 기반으로 하는 프로젝트였다. 내가 구현하고 싶었던 방식은 사용자의 질문에 가장 알맞은 일기를 검색해서 사용자에게 건네주는 방식인데, 단순한 키워드 검색이나 벡터 검색은 이를 구현하기에는..

벡터 DB란 무엇인가?Qdrant는 벡터 DB이다. 벡터 DB란 어떠한 텍스트, 이미지 등의 정보를 임베딩해서 고차원의 점으로 만들어 저장해두는 DB를 말한다. 벡터 DB는 자연어나 이미지 같은 비정형 정보를 검색하는데 탁월한 성능을 발휘한다.임베딩은?임베딩이란 기계가 이해하지 못하는 자연어나 이미지 같은 비정형 데이터를 고정된 크기의 수치 벡터로 바꾸는 것이다.여기서는 사전 학습된 모델이 사용되어 의미가 유사한 정보들은 유사한 수치의 벡터로 바꾸어준다.예를 들어 "강아지"와 "고양이"는 동물이라는 카테고리로 묶여 서로 유사한 벡터로 변환될 것이다. 하지만 임베딩을 해주는건 임베딩 모델이 해주는 일이므로 모델을 고르는 것도 프로젝트의 의도에 따라 다르게 골라야할 것이다.Qdrant 설치qdrant는 cl..