분류 전체보기
키바나 Map 활용 - 서울시 지하철 위치 데이터 (Index template)
들어가며.. 시험기간엔 역시 공부 빼고 다 재미있다. 그래서 엘라스틱 스택 중 가장 화려한 친구인 "키바나"를 가지고 가장 화려한 시각화인 "지도"를 활용해보는 내용을 준비했다. 참고로 키바나의 map을 사용하면 다음과 같이 재미난 친구들을 만들 수 있다! 세 개를 연달아두다 보니 잘 안보 이긴 하지만 오늘은 셋 중에 가운데 친구를 한번 만들어보려고 한다! 데이터는? 우선 데이터는 공공 데이터 포털, 서울시 열린 데이터 광장에서 쉽게 찾을 수 있는 서울시 지하철 데이터를 기반으로 추가적인 전처리 작업을 조금 한 뒤에 "지하철 호선", "역명", "위도", "경도", "역사가 위치한 지역 구명" 이렇게 5개의 칼럼을 가진 친구로 만들어 주었다. 서울시 내에 위치한 역을 기준으로 데이터를 전 처리해주었고 2..
2021 데이터야놀자 후기!
기다리고 기다리던,,,! 어제 그러니까 10월 16일 토요일 기다리고 기다리던 데놀 행사 당일이었다! 듣고 싶은 세션들이 많이 있기도 했고 머리에 털나고 처음으로 "메타버스"를 경험해 보는 것도 그렇고 무엇보다 발표자로 참여했기 때문에....ㅋㅋㅋㅋㅋ 더 기대를 많이 하고 있었다! 그리고 포스터에서부터 느껴지는 데놀 운영진 분들의 미적 감각이 데놀 게더 타운을 더 기대하게 만들었다. 행사의 메인인 발표 세션은 이벤터스를 통해 실시간으로 송출됐고 점심 먹고 딱 좋은 시간 오후 1시에 시작했다. 이번 2021 데놀은 4개의 트랙으로 구성되어있었는데 매 타임마다 네 개 중에 한 개만 골라서 들을 수 있는 형태였다. 그래서,,,, 정말,,,,,,, 힘들었다,,,, 매 타임마다 듣고 싶은 세션이 최소 2개 이상이..
2.1.1 엘라스틱 서치의 구성 요소 및 구조 (클러스터)
들어가며.. 시작에 앞서 현재 포스팅은 7.13.X 버전을 기준으로 작성됩니다. (현재 ES 버전은 7.14.x) 엘라스틱이 아무래도 버전 업데이트가 빠른 편이다 보니 공식 Document가 아닌 블로그 글 등을 읽을 때는 해당 글의 작성일자나 기준이 되는 버전을 먼저 확인하는 것을 추천한다. 추가적으로 잘못된 내용에 대한 지적은 언제나 환영합니다. 거의 한 두 달 만에 글을 쓰는 게으름뱅이지만, 오래간만에 쓰는 만큼 더 열심히 써야겠다,, 오늘 다뤄볼 내용은 엘라스틱 서치 (elastic search) 내부의 구성 요소와 구조에 대해 작성해보려 한다. + 글을 쓰다보니 또 내용이 길어져서 이 내용도 여러번에 나눠서 써야할 거 같다..... + 이번 글은 클러스터 먼저,, 우선 복습..! Elastic ..
2021 데이터야놀자 촬영 후기
운이 좋게도 학교 선배님이 참여하면 좋을것 같다고 추천해주신 데이터야놀자 2021에 발표자로 참여할 수 있게 되었다...! 정말 큰 기대 없이 교내 데이터 공모전으로 준비했던 프로젝트 기반으로 신청했는데 정말 운이 좋게 참가할 수 있게된거 같다,,, 어제, 그러니까 9/25(토)에 사전 촬영을 마치고 신청 당시에 글을 다시 살펴보는데 조금 부끄럽기도 하고 맞춤법도 많이 틀린 메모장 글을 발견했다... 학생 수준에서 너무 거창하게 써놓은 글 같은데 좋게 평가해주시고 기회를 주신 데놀 운영진분들께 다시 감사해진다,,, 그냥 별건 아니지만 신청할때 초안으로 작성했던 글을 캡쳐해서 올려놨다..! 자랑은 아니지만, 나중에 누군가 나처럼 학생 신분으로 참여하고자 하시는 분들이 도움이 될까해서,, 촬영 환경은 스튜디..
2.1 Elastic Stack - ElasticSearch
들어가며.. 엘라스틱에 관한 첫 번째 글을 드디어 쓰게 되었다. 간단한 소개와 왜 엘라스틱이 좋은지에 대한 내용을 정리해보려 한다. 시작에 앞서 현재 포스팅은 7.13.X 버전을 기준으로 작성된다는 사실을 알린다. 엘라스틱이 아무래도 버전 업데이트가 빠른 편이다 보니 그만큼 공식 문서의 변화도 잦아 블로그 글 등을 읽을 때는 해당 글의 작성일자나 기준이 되는 버전을 먼저 확인하는 것을 추천한다. 추가적으로 잘못된 내용에 대한 지적은 언제나 환영합니다. 글을 쓰다 현생이 바빠서 마무리를 못하던 중에 엘라스틱이 또 업데이트 됐다.... 현재 최신은 7.14 버전으로 일단은 블로그 포스팅은 기존 7.13 버전을 기반으로 작성하겠지만 추가적인 변경 사항도 다룰 수 있으면 다뤄보는걸로..... Elastic St..
Elastic Scripting으로 승률 계산
들어가며.. 원래는 엘라스틱 document를 공부하고 정리한 내용을 먼저 올리려 했으나... 진행 중인 프로젝트에서 나름 큰 진전(?)이 있어서 그 과정을 간단히 정리하게 됐다. 프로젝트에 관해서 간단히 말하자면 쿠킹덤 내의 아레나 콘텐츠의 데이터를 수집하고 그 데이터를 가지고 엘라스틱을 통해 여러 인사이트를 도출해보는 그런 프로젝트이다. 프로젝트에 대해서는 쓰고 싶은 이야기가 많지만 오늘은 간단하게 쿠키 조합별 승률을 기존 index에 존재하는 "WIN_CNT (승리 횟수)"와 "ALL_CNT (전체 경기 수)" data를 가지고 scripting을 통해 승률로 변환 & 인덱스에 매핑하는 과정만 다뤄보겠다. 이론적인 부분은 제외하고....... Scripting..? 어려운 개념은 아니고, 인덱스 내..