들어가기에 앞서 이번에 RAG를 이용한 채용정보 챗봇 구축을 위해 Azure 쿠버네티스 환경(통칭 AKS)에서 ETL 프로젝트를 해보기 위해 아래와 같은 계획을 짰다. 프로젝트 환경에 airflow를 띄우고 주기적인 크롤링 SPARK를 통한 데이터 마트 구축 GPT-3 토크나이저를 이용한 데이터 임베딩 크로마 DB에 데이터 적제 이거 할 생각에 잔뜩 기대하고 허겁지겁 일단 AKS 위에 쿠버네티스를 올린 후 pod에 airflow를 올리고 DAG를 GIT으로 관리할 수 있게끔 구성했다. ACR(Azure Container Registry)도 만들어 도커로 환경 배포까지 자동화를 해놨으나 결국 무산 되었다… 그 이유는 바로 비용문제이다. 일단 내가 개발한 크롤러로 데이터를 수집하면 데이터의 형태가 다음과 같다. 여기서 문제가 바로 ‘detail_data’다. 이 데이터를 , , 그리고 프롬프트만해도 이 엄청나다. 근데 해당 기능은 필수적인 기능이라 데이터 엔지니어링 파트에서 비용 절감…

드디어 글또 10기를 시작하게 되었다. 드이어 글또 10기를 시작하게 되었습니다!!! 이번에 글또 10기를 시작하게 되어서 너무 감사하다. 이렇게 좋은 습관과 네트워킹을 만들 수 있게 해주신 변성윤님께도 감사하고 알맞은 시기에 또 글또 10기 모집 글을 다시 한번 확인한 스스로에게도 감사하다. 전체적으로 글또 10기를 위해서 다짐한 사항이 몇가지 있다. 그러기 위해서는 나의 9기 활동으로 가봐야 한다. 잠깐 그전에!! 아직 글또가 뭔지 모르신다구요? 아래 이미지를 눌러주세요 총총.. 글또 docs A few months ago… 내가 다짐했다는 것은 9기에서 느낀 아쉬운 부분이 있었다는 것이다. 9기보다 이런 부분에서는 더 나아져야겠다 라는 생각을 글로 풀어보고자 한다. 1. 경험한 사실 보다는 생각과 느낀점에 대한 글을 쓰기 “이게 무슨 소리인교..?” 할 수 있지만 내가 쓴 글을 돌아보면 항상 내가 경험한 사실에 대해서 썼을 뿐, 그래서 내가 이걸 경험하면서 느낀 어려움과 깨달…

들어가기에 앞서 최근에 BOAZ 동아리에서 Oauto2와 goole calender를 이용해서 웹 서비스를 만드는 프로젝트를 진행하는데(계획에 전혀없던 리액트까지 써보는중🥲) 전반적인 인프라 구성을 내가 맡았다. 이때, 도메인을 AWS EC2에 등록하는 과정에서 로드밸런서를 사용하게 되었다. ALB 로드 밸런서에 SSL 인증을 적용하면 각 Ec2 인스턴스 마다 SSL을 처리하지 않아도 HTTPS 트래픽을 처리할 수 있기에 반드시 필요한 부분이었다. 그 과정에서 로드 밸런서를 단순히 “그냥 부하분산 아님?”으로 알고 있던 나에게 개념정리가 꼭 필요한 부분이라 이번 글을 작성하게 되었다. 그럼 시작해보자 시작해보자 Core 기본적으로 로드밸런서는 Scale out에서 사용된다. 서비스는 성장하는데 늘어나는 트래픽을 서버가 감당할 수 없을때 서버를 증설하는데 이 과정에서 각 서버에 걸리는 부하를 고르게 나누기 위해서는 로드밸런싱이 필수적으로 동반되어야 한다. 즉 다양한 곳에서 들어오는 …

들어가기에 앞서 kafka 토픽관리나 메모리 관리 그리고 SPARK 메모리나 yarn 그리고 프로케테우스와 그라파나 등이 잘 작동하는지 모두 cli로 관리하는것은 명백한 한계가 존재한다. 너무 불편하고 그게 다 시간 자원 빼먹는거다. 때문에 Web ui로 관리하는 것이 보통 굉장히 편한데 사용하는 리소스와 툴이 늘어나는 만큼 많은 Web ui를 띄워야 한다. 그동안 나는 포트 포워딩으로 모든 ui를 띄웠다. 이렇게 됐을 경우 단점은 인스턴스를 끄고 킬때마다 매번 포트포워딩을 수동으로 해주어야 한다는 것이다.그동안은 한번에 포트 포워딩을 해주는 .sh파일을 길게 만들어서 해결해왔으나 점점 감당하기 어려운 수준까지 갔다. 때문에 도입한 것이 바로 우리 팀원 로컬 내부의 hosts에 ip주소와 도메인 이름을 지정해두고 nginx로 ui를 띄울 수 있도록 설정해두는 방향이었다. nginx 설정 public-nat에 nginx 설치하여 http rewrite할 수 있도록 설정 먼저 ngin…