본문 바로가기

전체 글

[AWS] Certified Cloud Practitioner(CCP) 준비: 시험 편의 요청하기 한국어로 시험을 보기위해 시험 편의 요청이 필요하다.한국어로 시험을 보더라도 영어랑 토글하여 시험을 볼 수 있기 때문에 시험 보기 더 수월하며 시험 시간이 30분 연장이 되니까 시험 접수 전에 미리 신청하는 것이 좋다. 1. 아래 사이트 접속https://www.aws.training/Certification AWS training and certification www.aws.training 2. 로그인 3. 계정으로 이동 4. 오른쪽 상단에 언어를 한국어로 변경하기 5. 왼쪽 메뉴 > 시험등록 > 시험 편의 지원 6. 주황색 라인에 있는 편의 지원 요청 클릭 7. 편의 지원을 ESL +30 MINUTES 선택 후 편의 지원 요청 클릭 8. 완료! 더보기
[LangChain] 랭체인의 Components(구성요소) - Vector Store 벡터 저장소(Vector Store)벡터 형태로 표현된 데이터인 임베딩 벡터들을 효율적으로 저장하고 검색할 수 있는 시스템이나 데이터베이스자연어 처리(NLP), 이미지 처리, 머신러닝 응용 분야에서 생상된 고차원 벡터 데이터 관리를 위해 설계되었음벡터 저장소의 핵심 기능은 대규모 벡터 데이터 셋에서 빠른 속도로 가장 유사한 항목을 찾아내는 것 벡터 저장임베딩 벡터는 텍스트, 이미지, 소리 등 다양한 형태의 데이터를 벡터 공간에 매핑한 것데이터의 의미적, 시각적, 오디오적 특성을 수치적으로. 표현함이러한 벡터를 효율적으로 저장하기 위해서는 고차원 벡터를 처리할 수 있도록 최적화된 데이터 저장 구조가 필요함  벡터 검색저장된 벡터들 중에서 사용자의 쿼리에 가장 유사한 벡터를 빠르게 찾아내는 과정이를 위해 코.. 더보기
[LangChain] 랭체인의 Components(구성요소) - Embedding model 임베딩(Embedding)텍스트 데이터를 숫자로 이루어진 벡터로 변환하는 과정벡터 표현은 텍스트 데이터를 벡터 공간 내에서 수학적으로 다룰 수 있게 되므로 텍스트 간 유사성을 계산하거나 텍스트 데이터를 기반으로 하는 다양한 머신러닝 및 자연어 처리 작업을 수행할 수 있음 임베딩 과정은 텍스트의 의미적인 정보를 보존하도록 설계되어 있어 벡터 공간에서 가까이 위치한 텍스트 조각들을 의미적으로도 유사한 것으로 간주됨 임베딩의 주요 활용 사례:의미 검색(Semantic Search): 벡터 표현을 활용하여 의미적으로 유사한 텍스트를 검색하는 과정으로, 사용자가 입력한 쿼리에 대해 가장 관련성 높은 문서나 정보를 찾아내는 데 사용됩니다.문서 분류(Document Classification): 임베딩된 텍스트 벡터.. 더보기
[LangChain] 랭체인의 Components(구성요소) - Text splitter LangChain은 긴 문서를 작은 단위인 청크(chunk)로 나누는 텍스트 분리 도구를 지원청킹(chunking): 텍스트를 분리하는 작업문서를 작은 조각으로 나누는 이유는 LLM 모델의 입력 토큰의 개수가 정해져있기 때문허용 한도를 넘는 텍스트는 모델에서 입력으로 처리할 수 없게 되는 것텍스트가 너무 긴 경우 핵심 정보 이외에 불필요한 정보들이 많이 포함될 수 있어서 RAG 품질이 낮아지는 요인이 될 수도 있음핵심 정보가 유지될 수 있는 크기로 나누는 것이 매우 중요 LangChain이 지원하는 다양한 텍스트 분리기(Text Splitter)는 분할하려는 텍스트 유형과 사용 사례에 맞춰 선택할 수 있는 다양한 옵션이 제공됨크게 두가지 차원에서 검토 필요텍스트가 어떻게 분리되는지텍스트를 나눌 때 각 청.. 더보기
[LangChain] 랭체인의 Components(구성요소) - Agent(에이전트) LLM 자체로는 조치를 취할 수 없고 단지 텍스트만 출력할 뿐에이전트는 LLM을 추론 엔진으로 사용하여 수행할 작업과 해당 작업에 대한 입력이 무엇인지 결정하고 해당 작업의 결과를 다시 에이전트로 피드백하여 추가 작업이 필요한지 또는 완료해도 괜찮은지 여부를 결정할 수 있음 LangChain에서 AgentExecutor를 사용하여 에이전트를 구축할 수 있는데 AgentExecutor는 레거시이며 특정 지점이 지나면 기능 제공을 하지 않을 예정이기 때문에 LangGraph 에이전트 또는 마이그레이션 가이드를 확인하는 것을 권장 랭체인의 강력한 모듈LLM은 추론과 행동이 가능한데, 이는 ReAct 프롬프트 기법이라고 불림. 랭체인 에이전트는 LLM을 사용하여 프롬프트를 행동 계획으로 추출하는 ReAct 프롬.. 더보기
랭체인 공부 랭체인을 사용하는 이유ChatGPT 같은 애플리케이션을 개발할 때 단순히 대화만 하는 경우에는 OpenAI API 만으로 충분랭체인이 필요한 경우는 LLM에 외부 지식, 계산 능력을 활용하게 하고 싶을 때 사용  FastAPI와 랭체인?랭체인은 프레임워크로 간주FastAPI도 프레임워크 FastAPI와 랭체인을 이용해서 프로젝트를 만든다면 2개의 프레임워크를 사용하는 것FastAPI는 웹 프레임워크로서 API 엔드포인트를 정의하고 HTTP 요청을 처리함랭체인은 자연어처리(NLP)작업을 위한 프레임워크로서 텍스트 분석, 생성 및 기타 NLP 관련 작업을 수행하는 역할 두 프레임워크를 함께 사용할 때 FastAPI는 클라이언트와의 인터페이스 역할을하고, 랭체인은 NLP 작업을 처리하는 백엔드 역할을 하게됨예.. 더보기
[LangChain] 랭체인의 Components(구성요소) - Prompt template(프롬프트 템플릿) 1. prompt tmplate프롬프트 템플릿은 사용자 입력 및 매개 변수를 언어 모델에 대한 지침으로 변환하는 데 도움이 됩니다.이를 통해 모델의 응답을 안내하여 문맥을 이해하고 관련성 있고 일관된 언어 기반 출력을 생성하는 데 도움을 줄 수 있습니다. 1) 프롬프트 템플릿 입력딕셔너리를 입력으로 받으며, 각 키는 프롬프트 템플릿에서 입력할 변수를 나타냅니다. 2) 프롬프트 템플릿 출력프롬프트 템플릿은 프롬프트 값(PromptValue)을 출력합니다.PromptValue는 LLM이나 ChatModel에 전달할 수 있으며, 문자열이나 메시지 목록으로 캐스팅할 수도 있습니다.PromptValue가 존재하는 이유는 문자열과 메시지 간에 쉽게 전환할 수 있도록 하기 위해서입니다. 2. 프롬프트 템플릿 유형1).. 더보기
[LangChain] 랭체인의 Components(구성요소) - Chat model, LLM 1. Langchain의 구성요소 Chat model과 LLMLangChain 모델 유형에는 Chat model과 LLM이 있습니다. 두 클래스는 각각 다른 형태의 입력과 출력을 다루는 언어 모델입니다.이 두 모델은 각기 다른 특성과 용도를 가지고 있기 때문에 사용자 요구사항에 맞추어 선택하여 사용하면 되지만 Chat model 사용을 권장합니다.일반적으로 LLM은 주로 단일 요청에 대한 복잡현 출력을 생성하는데 적합하며, Chat model은 사용자와 상호작용을 통한 연속적인 대화 관리에 적합합니다. 2. Chat models일련의 메시지를 입력으로 사용하고 채팅 메시지를 출력으로 반환하는 언어 모델이며 최신 모델(이전 모델은 일반 텍스트를 사용하는 LLM 컴포넌트)채팅 모델은 대화 메시지에 고유한 역.. 더보기

티스토리툴바