My project

주니어 개발자가 대용량 트래픽, 대규모 데이터 경험하는 방법(Feat. 뇌피셜)

이 블로그 카테고리에서는 개인 프로젝트에 대한 글을 남길 것이고 그전에 진행한 이유와 과정들을 우선 서술해보려 합니다.저와 비슷한 상황의 대학생, 주니어, 신입, 취준생 백엔드 개발자분들에게 조금의 도움이라도 될까 싶어 적는 개인적/주관적인 생각이 많이 담긴 글입니다.우선 이 해결 방법으로 취업에 성공한 것은 아니고 반영하여 얼마 전에 이력서, 포폴을 마무리하여 지원을 하고 있는 중이지만프로젝트 진행 전, 중, 후 계속하여 나름 이름 있는 회사의 개발자분들께 직접 커피챗을 요청해 피드백을 받으며 진행하였기 때문에 조금은 도움 되는 부분이 있을 것이라 생각합니다! :]지금까지 프로젝트를 진행하면서 문제를 찾아 해결하고 왜? 문제가 발생했고, 왜? 이 방법으로 해결했는지를 기록하며 취업을 준비했다. 하지만 ..

Slack으로 서버 로그 모니터링하기 (Feat. Spring AOP, Logback)

프로젝트를 진행하면서 로그는 정말 중요한 요소라는 것을 깨닫고 있다. 예상치 못한 request 형태가 오거나, 서버 내부적으로 오류가 발생하면 로그를 읽고 해결을 계속하고 있기 때문이다. 하지만 ssh로 Ec2에 직접 접속해 로그 파일을 확인하는 것은 여러 불편함이 있어 이를 해결하기 위해 모니터링 툴을 만들어보기로 했다! 과정부터 결과까지 시간의 흐름 순으로 출발~기존 로그의 문제점사진 자체만으로도 문제이다. 일단 ui가 불편하고 음... 그냥 불편하다. 다른 문제점을 정리해 보자면 아래와 같다.에러 로그가 발생해도 실시간으로 확인할 수가 없다. -> 지금은 운영 전 개발용이어서 괜찮지만 실제 운영을 하게 된다면 에러가 발생하면 즉시 해결해야 하는데 위의 사진을 계속 켜놓고 확인하고 있지 않는 이상 ..

이미지 조회 속도 개선 (Feat. CDN, AWS CloudFront, S3만 사용하다가 cloudfront 적용하려면?)

유저 테스트를 끝내고 정식 출시 전에 서버 최적화 및 성능 개선을 하고 있다. 더 할 수 있는 게 뭐가 있을까 생각하던 중 문득 얼마 전에 "가상 면접사례로 배우는 대규모 시스템 설계 기초" 에서 읽은 CDN이 생각나서 사용해 보기로 했다. 마침 우리 어플에서 사진이 늦게 업로드되는 상황이 있어서 아주 적절한 해결책이라 생각했다.CDNCDN은 Content Delivery Network의 약자이며 위에 언급한 책에서 "정적 콘텐츠를 전송하는 데 쓰이는, 지리적으로 분산된 서버의 네트워크이다. 이미지, 비디오, CSS, JavaScript 파일 등을 캐시할 수 있다."라는 설명을 제공한다. 한마디로 정적 컨텐츠에 대한 캐싱을 담당해 준다고 생각할 수 있다. "지리적으로 분산된"이 나타내는 것은 아래의 예시..

프로젝트 진행 시 엑셀에 작성한 데이터, DB에 저장하는 방법

이 글은 프로젝트를 진행하면서 고민했던 부분부터 해결 과정까지가 나름 유의미하다고 생각해서 글로 남겨보려 한다.데이터 가공, 나열 -> 엑셀우리 프로젝트에서는 필요한 데이터를 크롤링하여 엑셀화를 진행한다. 그 이후 기획자분들께서 데이터를 가공하는 과정, 번역하는 과정(4개 국어를 지원하는 서비스이기 때문,,,)을 거쳐서 최종 엑셀 파일이 완성된다.지인 찬스로 외국인 분들께서 번역을 직접 검수해 주시지만 가끔 돌발 상황에서 엑셀 번역기능을 사용할 수도 있었고, 데이터를 정리하는데 엑셀이라는 플랫폼을 선택한다는 것은 고민할 필요가 없었다.이걸 어떻게 데이터 베이스에 저장하지?엑셀에 있는 데이터를 DB에 저장하는 방법을 정하는데 프로젝트 초창기인 3월쯤에 백엔드 팀원분과 많은 토론이 있었다. 여러 가지 방법들..

스프링 검색어 자동완성 비동기 처리 (Feat. 1만번의 부하테스트 결론은 Over Engineering 이었다고 한다..)

검색어 자동완성 구현하기 with Redis (Feat. Elasticsearch)기획 측 요구사항 지난주 스프린트에 검색어 자동 완성 기능이 있었다. 리뷰를 작성하기 위해 장소를 검색하는 부분인데 사용자가 검색어를 입력하면 해당 검색어가 제목에 포함되어 있는 게시te-ho.tistory.com 저번 포스트에서 redis를 활용해 검색어 자동 완성 기능을 구현하였다. 이미 redis를 사용해 DataBase의 부하는 줄였지만 신경 쓰이는 부분이 있어서 추가적으로 성능 개선을 해보려 했다.신경 쓰였던 기존 로직 사용자가 "티 스 토리" 라는 입력을 했을 경우 로직에 따라 원본, 공백 제거, 공백 기준으로 분리하여 키워드를 가공한다."티 스 토리""티스토리""티", "스", "토리" 이 후 미리 redis에..

검색어 자동완성 구현하기 with Redis (Feat. Elasticsearch)

기획 측 요구사항 지난주 스프린트에 검색어 자동 완성 기능이 있었다. 리뷰를 작성하기 위해 장소를 검색하는 부분인데 사용자가 검색어를 입력하면 해당 검색어가 제목에 포함되어 있는 게시글을 제목, 썸네일 사진 등과 함께 모두 보여줘야 했다. 자세한 내용은 아래와 같다.사용자가 검색 창에 타이핑을 하다가 0.6초 이상 액션이 없으면 지금까지 입력된 검색어를 제목에 포함한 게시물을 요청한다. (이 부분은 프론트 분들이 하실 거라서 딱히 생각할 필요 없다. )예를 들어 "태호 티스토리"를 입력하면 "태호 티스토리" / "태호" / "티스토리"를 제목에 포함한 모든 게시물을 사전 순으로 정렬 ("태호 티스토리"에 대한 검색 결과 사전 순 + "태호"에 대한 검색 결과 사전 순 + "티스토리"에 대한 검색 결과 사..

Stream API 사용 중 .toList()에서 UnsupportedOperationException 발생한 썰

문제상황 검색어 자동 완성을 구현하는 과정에서 keyword를 여러 값으로 나눈 후 (ex: 사용자의 입력이 "teho tistory" 일 경우 {"teho tistory", "tehotistory", "teho", "tistory"} 4개로 키워드를 만들어서 검색어에 맞는 게시물로 자동 완성을 해준다.) redis에서 추천 게시물을 갖고온 후 모든 값을 하나의 리스트에 합치는 과정에서 UnsupportedOperationException이 발생했다. "사용할 수 없는 동작이야" 라는 오류인데 도대체 왜..? 어디서 발생하는 에러인지 한눈에 알 수 없어서 천천히 뜯어보았다. 원인 파악 전체적인 흐름은 메서드(searchByKeyword, searchBykeywordList)에서 keywrod를 포함하는 ..

QueryDsl 부모에 자식 리스트 넣기 -> Transform (부제 : 쿼리의 수와 속도는 무조건 정비례가 아니다..)

이번 프로젝트에서는 QueryDsl을 사용하고 있다. 전 프로젝트까지만 해도 JPQL, QueryDsl을 왜 굳이 써야 하는지 감이 잡히지 않아서 Jpa method만 사용하였다. 자세한 내용은 추후 따로 글을 작성할 예정이다. 문제상황웬만한 조회에서 QuerDsl을 사용하고 있었다. 하지만 문제가 발생했는데 보통은 key - value 형태로만 조회를 했다. 그런데 key - list 형태로 조회를 해와야하는 상황이 생겨버렸다. 즉 부모에 자식이 리스트 형태로 들어가야 하는 것이다. 한 이틀동안 뇌피셜을 기반으로 여러 시도를 하다가 실패했다. 다음 작업을 해야 할 날짜가 다가와서 일단 JPA 메서드로 범벅을 해놓고 넘어갔다. 어느 정도 시간이 지나 여유가 생겨서 다시 수정을 해보려고 마음먹었다. JPA..

맥에서 MySql, MaraiDB 두개 다 사용하기 (Feat. Docker 이래서 쓰는구나, 맥 mariaDB 설치하기)

문제의 시작은 이번 프로젝트에서 mariadb를 사용해 보기로 하면서 발생했다. 채용 공고들을 보면 RDBMS 중에는 MySql과 MariaDB가 많은 것 같아 사용해보지 않았던 MariaDB를 데이터 베이스로 선택했다. (maraidb는 mysql에서 파생되어 나온 데이터베이스여서 거의 동일하다고 한다 :]) 어제의 지옥편 맥은 homebrew를 통해 많은 프로그램들을 다운받기에 역시 brew install mariadb를 시원하게 입력했다. 찾아보니 둘은 거의 모든 곳에서 같은 구조를 이루고 있어 같은 로컬에 동시 설치하면 많은 오류가 발생할 수 있다고 했다. 이것을 알고 빠르게 다른 방법을 생각 했어야했는데.. "port를 다르게 설정하면 되지 않을까?"라는 천진난만한 생각으로 이것저것 만지다가....

java boolean? Boolean? (feat. boolean 값에 false만 들어오는 이유)

문제상황 트렌드 설문 조사를 Get 요청하는 api에 참여 여부에 따라 설문 참여 페이지, 이미 참여한 페이지로 네비게이팅을 해야 하는데 그것을 판단할 수 있는 응답이 추가되어야 한다는 프론트 개발자 분의 요청이 있었다. 그래서 나는 응답으로 유저가 참여한 설문인지를 나타내는 boolean 형 변수 isParticipated를 추가했다. 포스트맨으로 테스트를 진행해 보니 항상 isParticipated에는 false만 담겼다. 프로젝트 막바지에 일어난 예상치 못한 에러는 멘탈에 상당한 데미지를 입혔다.. 정신 차리고 구글링을 해보니 생각해보지도 못한 정보들을 와르르 보게 되었다. 원인 java에는 원시 타입(int, short, char, double)과 참조 타입(Double, Integer, Stri..