분류 전체보기
-
[kakao if] 데이터가 없는데 예측을 해달라고요? 런칭 전에 LTV 구하기강의 및 컨퍼런스 2020. 11. 30. 23:05
Fermi Estimate : 복잡한 상황에 예측하기 힘든 수치를 간단하게 구할 수 있다 BUT 오차는 많다 LTV = 누적결재 금액 기댓값 중요한 변수: 가입시점, 국가코드, 유입경로 → 변수마다 가중치 부여 (변수 간의 상관관계는 독립이라고 가정) part 1 step 1) 가입경과일이 지날수록 정체될 것 → 가입 경과일에 따른 LTV 예측 step 2) 가입시점이 빠르다면 흥미 有 → LTV가 클 것 → 가입 시점에 따른 LTV 예측 part2 각 국가의 결재 성향은 소득 수준과 취향으로 결정 유사 게임 매출비중과 국가별 인당 GDP의 선형 결합이라고 가정 part3 유입경로는 구하기 힘드므로 시존 카카오게임 유입경로를 사용 ⇒ 각 변수의 가중치를 구했으므로 이를 사용해서 예측 여러 feature와..
-
Zeppelin Setting빅데이터/Spark 2020. 11. 30. 22:44
spark를 편리하게 사용하기 위해 Zeppelin을 셋팅하였다. 셋팅은 쭈우루미 블로그를 참고하였다. iamksu.tistory.com/66 zeppelin 설치 □ Apache Zeppelin ▶ Apache Zeppelin은 Apache Spark을 기반으로 한 웹기반 노트북&시각화 툴 ▶ 처음 Spark를 시작하는 분과 보고서 제출용 그래프를 그리려는 분들에게 추천 □ 파일 다운로드.. iamksu.tistory.com Download Apache Zeppelin zeppelin.apache.org/download.html Download Note: From Zeppelin version 0.6.2, Spark interpreter in binary package is compatible with..
-
spark executor core, memory 설정빅데이터/Spark 2020. 11. 30. 22:12
spark property 설정은 SparkConf, spark-shell, spark-submit, spark-defaults.conf 에서 할 수 있는데 spark-submit 상에서 core와 memory를 효율적으로(최대한으로) 쓰고 싶어서 다음과 같이 설정해보았다. 전체 node 수는 9개, 각 node당 core는 40개, 각 node당 memory는 92GB 전체 core 갯수 ≥ 총 executor 갯수 * executor당 core 갯수 executor가 여러 노드에 걸쳐서 띄워지지 않으므로 executor memory를 설정할 때, 각 node의 memory도 고려해야 한다. 한 executor당 5 core를 잡았으므로 1 node당 8개의 executor가 띄워진다.(40/5 = 8..