본문 바로가기

전체 글

sqlite.db 파일 dbeaver 에서 열기 더보기
[ERROR] failed to solve: process "/bin/sh -c pip install --no-cache-dir -r requirements.txt" did not complete successfully: exit code: 1 1. 에러도커 이미지 빌드 시 아래와 같은 에러 발생84.14 Building wheels for collected packages: logging-config, utils 84.14 Building wheel for logging-config (setup.py): started 84.92 Building wheel for logging-config (setup.py): finished with status 'done' 84.92 Created wheel for logging-config: filename=logging_config-1.0.4-py3-none-any.whl size=5274 sha256=7ab12ac0da6b88ad142b00a3bb74874a4c1a681aeb9eb44596266a68d.. 더보기
[Error] Error parsing HTTP request header [2024-08-06 13:24:54:70292406]  INFO  1 --- [-8080-exec-1360] [] o.a.coyote.http11.Http11Processor        : Error parsing HTTP request header Note: further occurrences of HTTP request parsing errors will be logged at DEBUG level.java.lang.IllegalStateException: More than the maximum allowed number of headers, [100], were detected.        at org.apache.tomcat.util.http.MimeHeaders.createHeader(Mi.. 더보기
[AWS] Certified Cloud Practitioner(CCP) 모듈1: AMAZON WEB SERVICES 소개 1. AWS 이점 1) 선행 비용을 가변 비용으로 대체2) 데이터 센터 운영 및 유지 관리에 비용 투자 불필요 -> 비용절감3) 용량 추정 불필요 -> 탄력성4) 거대한 규모의 경제로 얻게 되는 이점5) 속도 및 민첩성 향상6) 몇 분 만에 전 세계에 배포 2. 클라우드 컴퓨팅IT 리소스를 인터넷을 통해 *온디맨드로 제공하고 사용한 만큼만 비용을 지불하는 것물리적 데이터 센터와 서버를 구입, 소유 및 유지 관리하는 대신 AWS와 같은 클라우드 공급자로부터 필요에 따라 컴퓨팅 파워, 스토리지, 데이터베이스와 같은 기술 서비스에 액세스할 수 있음* 온디맨드: 클라우드 플랫폼(aws, azure 등)에서 사용자가 필요할 때 컴퓨팅 자원(서버, 스토리지 등)을 즉시 사용할 수 있도록 지원하는 것으로 전통적인 I.. 더보기
[AWS] Certified Cloud Practitioner(CCP) 준비: 시험 편의 요청하기 한국어로 시험을 보기위해 시험 편의 요청이 필요하다.한국어로 시험을 보더라도 영어랑 토글하여 시험을 볼 수 있기 때문에 시험 보기 더 수월하며 시험 시간이 30분 연장이 되니까 시험 접수 전에 미리 신청하는 것이 좋다. 1. 아래 사이트 접속https://www.aws.training/Certification AWS training and certification www.aws.training 2. 로그인 3. 계정으로 이동 4. 오른쪽 상단에 언어를 한국어로 변경하기 5. 왼쪽 메뉴 > 시험등록 > 시험 편의 지원 6. 주황색 라인에 있는 편의 지원 요청 클릭 7. 편의 지원을 ESL +30 MINUTES 선택 후 편의 지원 요청 클릭 8. 완료! 더보기
[LangChain] 랭체인의 Components(구성요소) - Vector Store 벡터 저장소(Vector Store)벡터 형태로 표현된 데이터인 임베딩 벡터들을 효율적으로 저장하고 검색할 수 있는 시스템이나 데이터베이스자연어 처리(NLP), 이미지 처리, 머신러닝 응용 분야에서 생상된 고차원 벡터 데이터 관리를 위해 설계되었음벡터 저장소의 핵심 기능은 대규모 벡터 데이터 셋에서 빠른 속도로 가장 유사한 항목을 찾아내는 것 벡터 저장임베딩 벡터는 텍스트, 이미지, 소리 등 다양한 형태의 데이터를 벡터 공간에 매핑한 것데이터의 의미적, 시각적, 오디오적 특성을 수치적으로. 표현함이러한 벡터를 효율적으로 저장하기 위해서는 고차원 벡터를 처리할 수 있도록 최적화된 데이터 저장 구조가 필요함  벡터 검색저장된 벡터들 중에서 사용자의 쿼리에 가장 유사한 벡터를 빠르게 찾아내는 과정이를 위해 코.. 더보기
[LangChain] 랭체인의 Components(구성요소) - Embedding model 임베딩(Embedding)텍스트 데이터를 숫자로 이루어진 벡터로 변환하는 과정벡터 표현은 텍스트 데이터를 벡터 공간 내에서 수학적으로 다룰 수 있게 되므로 텍스트 간 유사성을 계산하거나 텍스트 데이터를 기반으로 하는 다양한 머신러닝 및 자연어 처리 작업을 수행할 수 있음 임베딩 과정은 텍스트의 의미적인 정보를 보존하도록 설계되어 있어 벡터 공간에서 가까이 위치한 텍스트 조각들을 의미적으로도 유사한 것으로 간주됨 임베딩의 주요 활용 사례:의미 검색(Semantic Search): 벡터 표현을 활용하여 의미적으로 유사한 텍스트를 검색하는 과정으로, 사용자가 입력한 쿼리에 대해 가장 관련성 높은 문서나 정보를 찾아내는 데 사용됩니다.문서 분류(Document Classification): 임베딩된 텍스트 벡터.. 더보기
[LangChain] 랭체인의 Components(구성요소) - Text splitter LangChain은 긴 문서를 작은 단위인 청크(chunk)로 나누는 텍스트 분리 도구를 지원청킹(chunking): 텍스트를 분리하는 작업문서를 작은 조각으로 나누는 이유는 LLM 모델의 입력 토큰의 개수가 정해져있기 때문허용 한도를 넘는 텍스트는 모델에서 입력으로 처리할 수 없게 되는 것텍스트가 너무 긴 경우 핵심 정보 이외에 불필요한 정보들이 많이 포함될 수 있어서 RAG 품질이 낮아지는 요인이 될 수도 있음핵심 정보가 유지될 수 있는 크기로 나누는 것이 매우 중요 LangChain이 지원하는 다양한 텍스트 분리기(Text Splitter)는 분할하려는 텍스트 유형과 사용 사례에 맞춰 선택할 수 있는 다양한 옵션이 제공됨크게 두가지 차원에서 검토 필요텍스트가 어떻게 분리되는지텍스트를 나눌 때 각 청.. 더보기

티스토리툴바