분류 전체보기

Dev 환경 DB의 Too many connections 문제 해결하기 (Feat. DB 계정 분리의 필요성)

사건 발생역시나 평화롭게 출근해서 업무를 보던 중 개발용 DB에서 데이터를 확인하기 위해 Datagrip에서 테이블을 조회를 했는데 생각하지도 못한 상황이 발생했다.(사실 대부분의 문제는 예상 범위 밖의 상황에서 발생하긴 했지만..)사용자가 폭주할 타이밍은 절대 아니었고 애초에 개발용 환경이었기 때문에 트래픽이 원인일 가능성은 0에 수렴한다고 판단했다. 우선 나의 로컬에서 Docker 컨테이너에 올라가 있던 Spring 서버를 중단시킨 후에 SHOW PROCESSLIST 명령어를 사용해 현재 connections을 확인했다.해당 결과를 처음 봤을 때 원인을 특정할 수 없어서 현재 발생하는 증상을 정리하고 그동안 어렴풋 알고 있었던 DB Connections에 대해 간단하고 빠르게 학습을 진행하였다.현재 ..

[회고록] GoodBye 2025~!

2년 만의 회고역시나 이번에도 다사다난했던 2025를 마무리하고 새로운 한 해를 시작하기 앞서 작년의 나를 되돌아보려 한다.사실 2년 전에 개발자들이 많이 하는 것 같아서, 멋있어 보여서 회고록을 처음 작성해 보았고 지금도 여전히 같은 생각을 하고 있지만 더불어 스스로 작년을 되돌아보며 혼낼 것은 혼내고, 잘하고 있다고 스스로 위로도 하며 더 강해져 있을 내년의 나를 생각하며 계획도 차분히 정리할 수 있어서 나만의 루틴으로 계속 이어가 보려 한다.2024년 회고록을 의도치 않게 쓰지 못했는데 이유가 조금 웃기기도 하고 슬프기도 하다. 대학교 4학년 2학기, 24년 9월부터 취업 준비를 시작하면서 시작이 나름 좋았기 때문에 "금방 취업하겠는데? 입사하고 멋있게 회고까지 써야지~" 라는 겁 없는(?) 다짐을..

운영중인 서비스 DB Table에 새로운 컬럼 추가하기 (feat. 무중단 서비스 테이블 컬럼 추가)

글을 쓰기 앞서 스타트업에 취업을 하게 되었다. 🎉 자세한 내용은 연말에 회고록에서 회포를 풀어보려 한다. O2O 체험학습 이커머스의 백엔드 개발자(신입이자.. 유일한 담당자..)로서 해결하고 겪을 일을 이 카테고리에서 정리하려 한다.컬럼 추가 별거 없지 ㅋㅋ약 5만 개의 데이터가 있는 기존 테이블에 새로운 컬럼을 추가가 필요했다. 신나게 재택 근무를 하고 있던 3주 차 주니어 개발자인 나는 고민 없이 간단한 쿼리를 날렸다.ALTER TABLE 테이블 이름 ADD COLUMN 컬럼명,,,;그런데 쿼리 실행이 5초가 넘어가길래 갑자기든 불안감에 확인해보니 플랫폼이 멈춰 있어서 급하게 쿼리를 중단시켰다. (신입인데 유일한 백엔드 담당자가 되면서 내가 누른 엔터 한 번에 불러올 파급력이 너무 무서워서 수시로..

CQRS와 함께한 고군분투(Feat. 개발자스럽게(?) 생각하려 노력하기)

2025.07.02 - [My project/High Traffic Lab] - MySQL Index 사용 시, 쓰기 성능이 정말 저하되나?? (Feat. CSV로 빠르게 데이터 넣기) MySQL Index 사용 시, 쓰기 성능이 정말 저하되나?? (Feat. CSV로 빠르게 데이터 넣기)2025.03.19 - [My project/High Traffic Lab] - 6000만개 데이터 갖고 조회하며 충격받기 6000만개 데이터 갖고 조회하며 충격받기데이터. 몇개까지 INSERT 해봤나요? (Feat. 대용량 데이터, 데이터 6000만개 INSERT 해te-ho.tistory.com지금까지 실무에서 발생할 수 있는 상황을 가정하고(많은 데이터와 트래픽) 성능을 순차적으로 개선해 왔고 이전 글에서 Inde..

MySQL Index 사용 시, 쓰기 성능이 정말 저하되나?? (Feat. CSV로 빠르게 데이터 넣기)

2025.03.19 - [My project/High Traffic Lab] - 6000만개 데이터 갖고 조회하며 충격받기 6000만개 데이터 갖고 조회하며 충격받기데이터. 몇개까지 INSERT 해봤나요? (Feat. 대용량 데이터, 데이터 6000만개 INSERT 해보기, Bulk INSERT, Mul대규모 트래픽, 대용량 데이터 처리에 대한 경험을 쌓기 위해 진행한 개인 프로젝트의 시작은 우te-ho.tistory.com지난 글에서 대량의 데이터를 갖고 조회를 하는 경우 조회가 현저히 느려지는 것을 경험하고 Index를 사용해서 속도를 개선했다. 이 프로젝트의 최종 모델은 CQRS를 적용했다. 이유는 많은 트래픽, 데이터가 발생하고 존재하는 상황을 가정했기 때문에 어느 시점부터는 Index가 있을 경..

6000만개 데이터 갖고 조회하며 충격받기

데이터. 몇개까지 INSERT 해봤나요? (Feat. 대용량 데이터, 데이터 6000만개 INSERT 해보기, Bulk INSERT, Mul대규모 트래픽, 대용량 데이터 처리에 대한 경험을 쌓기 위해 진행한 개인 프로젝트의 시작은 우선 많은 데이터를 생성하는 것이었다. 시작부터 고민이 많았는데 "몇 개부터가 대용량이지?", "이te-ho.tistory.com저번 글에서 6000만개의 데이터를 INSERT 했으니 이번에는 이를 활용해서 조회를 해보자! 이 과정에서 깨달은 점이 많았다. 이래서 실무에서 많은 데이터/트래픽을 처리한 경험을 요구하는구나... 지금까지 내가 했던 것은 천국에서 모든 것이 가능한 환경에서 개발을 했던 것이었구나 싶었다..! 무슨 일이 있었는지 한번 되돌아보려 한다.ERD 간략도Us..

데이터. 몇개까지 INSERT 해봤나요? (Feat. 대용량 데이터, 데이터 6000만개 INSERT 해보기, Bulk INSERT, Multi-Value Insert)

대규모 트래픽, 대용량 데이터 처리에 대한 경험을 쌓기 위해 진행한 개인 프로젝트의 시작은 우선 많은 데이터를 생성하는 것이었다. 시작부터 고민이 많았는데 "몇 개부터가 대용량이지?", "이전 프로젝트에서 약 1000개의 데이터를 다뤘는데 이것도 많은 거 아닌가??" 이에 대해 조언을 구하고 많은 고민을 통해 결론을 다음과 같이 정하고 계획을 세웠다.(해당 글은 기술에 대한 자세한 설명보다 해결 과정에 대한 서술에 집중되어 있습니다!)현재 시스템 구조에서 처리가 버거우면(?) 대용량 데이터다.데이터의 양을 점차 증가시켜 조회 성능을 비교해 가며 적절한 양을 찾는다.이를 토대로 6개의 테이블을 만들고 하나의 테이블 당 1000개부터 시작해서 1000만 개로 크기를 늘려가며 데이터를 INSERT 해보았다. ..

주니어 개발자가 대규모 트래픽, 대용량 데이터 경험하는 방법(Feat. 뇌피셜)

이 블로그 카테고리에서는 개인 프로젝트에 대한 글을 남길 것이고 그전에 진행한 이유와 과정들을 우선 서술해보려 합니다.저와 비슷한 상황의 대학생, 주니어, 신입, 취준생 백엔드 개발자분들에게 조금의 도움이라도 될까 싶어 적는 개인적/주관적인 생각이 많이 담긴 글입니다.우선 이 해결 방법으로 취업에 성공한 것은 아니고 반영하여 얼마 전에 이력서, 포폴을 마무리하여 지원을 하고 있는 중이지만프로젝트 진행 전, 중, 후 계속하여 나름 이름 있는 회사의 개발자분들께 직접 커피챗을 요청해 피드백을 받으며 진행하였기 때문에 조금은 도움 되는 부분이 있을 것이라 생각합니다! :]지금까지 프로젝트를 진행하면서 문제를 찾아 해결하고 왜? 문제가 발생했고, 왜? 이 방법으로 해결했는지를 기록하며 취업을 준비했다. 하지만 ..

Slack으로 서버 로그 모니터링하기 (Feat. Spring AOP, Logback)

프로젝트를 진행하면서 로그는 정말 중요한 요소라는 것을 깨닫고 있다. 예상치 못한 request 형태가 오거나, 서버 내부적으로 오류가 발생하면 로그를 읽고 해결을 계속하고 있기 때문이다. 하지만 ssh로 Ec2에 직접 접속해 로그 파일을 확인하는 것은 여러 불편함이 있어 이를 해결하기 위해 모니터링 툴을 만들어보기로 했다! 과정부터 결과까지 시간의 흐름 순으로 출발~기존 로그의 문제점사진 자체만으로도 문제이다. 일단 ui가 불편하고 음... 그냥 불편하다. 다른 문제점을 정리해 보자면 아래와 같다.에러 로그가 발생해도 실시간으로 확인할 수가 없다. -> 지금은 운영 전 개발용이어서 괜찮지만 실제 운영을 하게 된다면 에러가 발생하면 즉시 해결해야 하는데 위의 사진을 계속 켜놓고 확인하고 있지 않는 이상 ..

이미지 조회 속도 개선 (Feat. CDN, AWS CloudFront, S3만 사용하다가 cloudfront 적용하려면?)

유저 테스트를 끝내고 정식 출시 전에 서버 최적화 및 성능 개선을 하고 있다. 더 할 수 있는 게 뭐가 있을까 생각하던 중 문득 얼마 전에 "가상 면접사례로 배우는 대규모 시스템 설계 기초" 에서 읽은 CDN이 생각나서 사용해 보기로 했다. 마침 우리 어플에서 사진이 늦게 업로드되는 상황이 있어서 아주 적절한 해결책이라 생각했다.CDNCDN은 Content Delivery Network의 약자이며 위에 언급한 책에서 "정적 콘텐츠를 전송하는 데 쓰이는, 지리적으로 분산된 서버의 네트워크이다. 이미지, 비디오, CSS, JavaScript 파일 등을 캐시할 수 있다."라는 설명을 제공한다. 한마디로 정적 컨텐츠에 대한 캐싱을 담당해 준다고 생각할 수 있다. "지리적으로 분산된"이 나타내는 것은 아래의 예시..