Data Engineering
키바나 Map 활용 - 서울시 지하철 위치 데이터 (Index template)
들어가며.. 시험기간엔 역시 공부 빼고 다 재미있다. 그래서 엘라스틱 스택 중 가장 화려한 친구인 "키바나"를 가지고 가장 화려한 시각화인 "지도"를 활용해보는 내용을 준비했다. 참고로 키바나의 map을 사용하면 다음과 같이 재미난 친구들을 만들 수 있다! 세 개를 연달아두다 보니 잘 안보 이긴 하지만 오늘은 셋 중에 가운데 친구를 한번 만들어보려고 한다! 데이터는? 우선 데이터는 공공 데이터 포털, 서울시 열린 데이터 광장에서 쉽게 찾을 수 있는 서울시 지하철 데이터를 기반으로 추가적인 전처리 작업을 조금 한 뒤에 "지하철 호선", "역명", "위도", "경도", "역사가 위치한 지역 구명" 이렇게 5개의 칼럼을 가진 친구로 만들어 주었다. 서울시 내에 위치한 역을 기준으로 데이터를 전 처리해주었고 2..
2.1.1 엘라스틱 서치의 구성 요소 및 구조 (클러스터)
들어가며.. 시작에 앞서 현재 포스팅은 7.13.X 버전을 기준으로 작성됩니다. (현재 ES 버전은 7.14.x) 엘라스틱이 아무래도 버전 업데이트가 빠른 편이다 보니 공식 Document가 아닌 블로그 글 등을 읽을 때는 해당 글의 작성일자나 기준이 되는 버전을 먼저 확인하는 것을 추천한다. 추가적으로 잘못된 내용에 대한 지적은 언제나 환영합니다. 거의 한 두 달 만에 글을 쓰는 게으름뱅이지만, 오래간만에 쓰는 만큼 더 열심히 써야겠다,, 오늘 다뤄볼 내용은 엘라스틱 서치 (elastic search) 내부의 구성 요소와 구조에 대해 작성해보려 한다. + 글을 쓰다보니 또 내용이 길어져서 이 내용도 여러번에 나눠서 써야할 거 같다..... + 이번 글은 클러스터 먼저,, 우선 복습..! Elastic ..
2.1 Elastic Stack - ElasticSearch
들어가며.. 엘라스틱에 관한 첫 번째 글을 드디어 쓰게 되었다. 간단한 소개와 왜 엘라스틱이 좋은지에 대한 내용을 정리해보려 한다. 시작에 앞서 현재 포스팅은 7.13.X 버전을 기준으로 작성된다는 사실을 알린다. 엘라스틱이 아무래도 버전 업데이트가 빠른 편이다 보니 그만큼 공식 문서의 변화도 잦아 블로그 글 등을 읽을 때는 해당 글의 작성일자나 기준이 되는 버전을 먼저 확인하는 것을 추천한다. 추가적으로 잘못된 내용에 대한 지적은 언제나 환영합니다. 글을 쓰다 현생이 바빠서 마무리를 못하던 중에 엘라스틱이 또 업데이트 됐다.... 현재 최신은 7.14 버전으로 일단은 블로그 포스팅은 기존 7.13 버전을 기반으로 작성하겠지만 추가적인 변경 사항도 다룰 수 있으면 다뤄보는걸로..... Elastic St..
Elastic Scripting으로 승률 계산
들어가며.. 원래는 엘라스틱 document를 공부하고 정리한 내용을 먼저 올리려 했으나... 진행 중인 프로젝트에서 나름 큰 진전(?)이 있어서 그 과정을 간단히 정리하게 됐다. 프로젝트에 관해서 간단히 말하자면 쿠킹덤 내의 아레나 콘텐츠의 데이터를 수집하고 그 데이터를 가지고 엘라스틱을 통해 여러 인사이트를 도출해보는 그런 프로젝트이다. 프로젝트에 대해서는 쓰고 싶은 이야기가 많지만 오늘은 간단하게 쿠키 조합별 승률을 기존 index에 존재하는 "WIN_CNT (승리 횟수)"와 "ALL_CNT (전체 경기 수)" data를 가지고 scripting을 통해 승률로 변환 & 인덱스에 매핑하는 과정만 다뤄보겠다. 이론적인 부분은 제외하고....... Scripting..? 어려운 개념은 아니고, 인덱스 내..
1. 목적성,,
Elastic에 관해서 책이나 공식 document, 기타 블로그 등을 통해 알게 된 내용을 공부하며 정리해보려고 한다. 나도 잘 아는 건 아니지만 주변 친구들이 처음 엘라스틱을 접할 때의 모습이나 내가 처음 공부를 시작했을 때를 생각해보면 저게 도대체 뭔 소린가 싶었던 것들이 많았다. 맥을 사용하고 있지만 리눅스라곤 깃허브에 push, pull 하는 정도로만 쓰고 있었고 RDBMS에 대해서도 수업을 통해 개념 정도만 알고 그저 유니티, 언리얼로 게임 개발만 주구장창 해봤으니 말이다. 그런 의미에서 이해한 것을 바탕으로 최대한 간단하게 누구나 쉽게 개념 정도는 이해할 수 있도록 하는 게 목표라고 할 수 있다. 글 목차는 생각은 안해봤지만, 일단 인턴 근무하면서 매일 조사 & 발표하는 키워드 순으로 글을 ..