My project/High Traffic Lab

6000만개 데이터 갖고 조회하며 충격받기

데이터. 몇개까지 INSERT 해봤나요? (Feat. 대용량 데이터, 데이터 6000만개 INSERT 해보기, Bulk INSERT, Mul대규모 트래픽, 대용량 데이터 처리에 대한 경험을 쌓기 위해 진행한 개인 프로젝트의 시작은 우선 많은 데이터를 생성하는 것이었다. 시작부터 고민이 많았는데 "몇 개부터가 대용량이지?", "이te-ho.tistory.com저번 글에서 6000만개의 데이터를 INSERT 했으니 이번에는 이를 활용해서 조회를 해보자! 이 과정에서 깨달은 점이 많았다. 이래서 실무에서 많은 데이터/트래픽을 처리한 경험을 요구하는구나... 지금까지 내가 했던 것은 천국에서 모든 것이 가능한 환경에서 개발을 했던 것이었구나 싶었다..! 무슨 일이 있었는지 한번 되돌아보려 한다.ERD 간략도Us..

데이터. 몇개까지 INSERT 해봤나요? (Feat. 대용량 데이터, 데이터 6000만개 INSERT 해보기, Bulk INSERT, Multi-Value Insert)

대규모 트래픽, 대용량 데이터 처리에 대한 경험을 쌓기 위해 진행한 개인 프로젝트의 시작은 우선 많은 데이터를 생성하는 것이었다. 시작부터 고민이 많았는데 "몇 개부터가 대용량이지?", "이전 프로젝트에서 약 1000개의 데이터를 다뤘는데 이것도 많은 거 아닌가??" 이에 대해 조언을 구하고 많은 고민을 통해 결론을 다음과 같이 정하고 계획을 세웠다.(해당 글은 기술에 대한 자세한 설명보다 해결 과정에 대한 서술에 집중되어 있습니다!)현재 시스템 구조에서 처리가 버거우면(?) 대용량 데이터다.데이터의 양을 점차 증가시켜 조회 성능을 비교해 가며 적절한 양을 찾는다.이를 토대로 6개의 테이블을 만들고 하나의 테이블 당 1000개부터 시작해서 1000만 개로 크기를 늘려가며 데이터를 INSERT 해보았다. ..

주니어 개발자가 대규모 트래픽, 대용량 데이터 경험하는 방법(Feat. 뇌피셜)

이 블로그 카테고리에서는 개인 프로젝트에 대한 글을 남길 것이고 그전에 진행한 이유와 과정들을 우선 서술해보려 합니다.저와 비슷한 상황의 대학생, 주니어, 신입, 취준생 백엔드 개발자분들에게 조금의 도움이라도 될까 싶어 적는 개인적/주관적인 생각이 많이 담긴 글입니다.우선 이 해결 방법으로 취업에 성공한 것은 아니고 반영하여 얼마 전에 이력서, 포폴을 마무리하여 지원을 하고 있는 중이지만프로젝트 진행 전, 중, 후 계속하여 나름 이름 있는 회사의 개발자분들께 직접 커피챗을 요청해 피드백을 받으며 진행하였기 때문에 조금은 도움 되는 부분이 있을 것이라 생각합니다! :]지금까지 프로젝트를 진행하면서 문제를 찾아 해결하고 왜? 문제가 발생했고, 왜? 이 방법으로 해결했는지를 기록하며 취업을 준비했다. 하지만 ..