Review (10) 썸네일형 리스트형 [if(kakao) 2021] 추천 시스템 airflow 2.0 도입기 Review 출처 : https://if.kakao.com/session/29 if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com 추천시스템 내 workflow 개선을 위해 airflow를 도입했던 이유와, 쿠버네티스에서 airflow를 안정적으로 운영하기 위해 했던 고민들, 그리고 2.0으로의 버전업 경험과 추천시스템 내에서 이를 어떻게 활용하고 있는지 공유합니다. 리뷰 포인트 Airflow 1.10 도입 계기 기존 구조의 문제점과 Airflow 2.0으로 업그레이드를 고민한 이유 카카오 추천시스템 내 airflow 활용 (2021년 기준) Airflow 1.10 도입 계기 문제점 복잡해지는 추천 시스템 파이프라인 ML 모델 개발, 배포 난이도에 비해 ML 시스템을 유지하고 관리하는 비용이.. [if(kakao) 2021] 실시간 로그 처리를 위한 Flink on k8s 구축 사례 Review 출처 : https://if.kakao.com/session/25 if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com Flink와 Kubernetes 기반 실시간 로그 처리 플랫폼의 구축 경험을 소개합니다. 먼저, Flink가 무엇인지 간단하게 소개 드리고, Kubernetes 환경에서 Flink를 배포하고 운영할 때 도움이 될만한 부분들을 공유드리고자 합니다. 이를 통해 Kubernetes에서 Flink를 시작하시는 분들에게 조금이나마 도움이 되었으면 좋겠습니다. 리뷰 포인트 Flink를 선택한 이유 Flink on Kubernetes 구축과정 Flink 운영 Flink를 선택한 이유 기존에는 Apache Storm을 기반으로 실시간 로그 처리를 수행했다. 카카오 서비스의 증가.. [if(kakao) 2020] How to make log based Alert with Flink Review 출처 : https://if.kakao.com/2020/session/112 if(kakao)2020 오늘도 카카오는 일상을 바꾸는 중 if.kakao.com Apache Flink 플랫폼을 이용하여 Log를 기반으로 알람을 보내는 방법을 설명합니다. 추가로 플링크의 윈도우의 개념과 동작 방식, 플링크의 워터마크 흐름 및 개념을 설명합니다. 리뷰 포인트 Flink Window 소개 카카오의 Log 알람 Process Flink Window 소개 Apache Flink : Data Stream을 처리하는 프레임워크 구성 요소 Window Data Stream의 무한하고 연속적인 Element들에 대해 Window 단위로 시작과 끝을 정의함 Tumbling Window : Element a, b, c, d가.. [if(kakao)2020] Flink 기반 log streaming pipeline - log와 사용자를 잇는 무지개 다리 출처 : https://if.kakao.com/2020/session/116 if(kakao)2020 오늘도 카카오는 일상을 바꾸는 중 if.kakao.com Apache Flink를 이용하여 카카오의 로그 파이프라인을 개선한 경험을 소개합니다. 카카오의 전사 로그 파이프라인과 apache Flink에 대한 개념을 설명합니다. 리뷰 포인트 log pipline, streaming 소개 Apache Flink 기반 log streaming pipline 프로젝트 소개 log pipline, streaming 소개 용어 Pipline 데이터 처리 단계의 출력이 다음 단계의 입력으로 이어지는 구조 src와 dst가 있는 데이터의 흐름 데이터의 전송과 변환을 자동화 실시간성과 배치성을 모두 포함 Log Pipl.. [if(kakao) dev 2019] 카카오톡 적용 사례를 통해 살펴보는 카카오 클라우드의 Kubernetes as a Service Review 출처 : https://if.kakao.com/2019/program?sessionId=eebbe5ae-0c77-4f52-83af-5818f9fd6c26 if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com 카카오 프라이빗 클라우드의 KaaS(Kubernetes as a Service) DKOSv3 를 소개 하고, 카카오톡에 적용된 쿠버네티스 사례와 서비스 운영에 대해 공유합니다. 리뷰 포인트 카카오가 Kubernetes를 사용하는 방법 Kubernetes 기반 카카오톡 백엔드 배포 및 운영 카카오가 Kubernetes를 사용하는 방법 Kubernetes를 도입한 이유 흐름 Monolithic Architecture : 하나의 커다란 Application 이 모든 기능을 다 수행 .. [if(kakao) dev 2019] Airflow를 활용하여 아름다운 데이터 파이프라인 구성하기 Review 출처 : https://if.kakao.com/2019/program?sessionId=de3ff829-ac4c-4090-9ea1-046df55429a0 if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com 먼저 Airflow와 같은 workflow management tool이 왜 필요한지에 대해 살펴보고, 유사한 기능을 하는 Oozie, Azkaban, AWS Data Pipeline 등과 장단점을 비교하여 카카오페이지가 Airflow를 선택한 이유에 대해 설명한다. 그리고 Airflow에 익숙하지 않은 데이터 엔지니어를 위해 주요 개념 및 구조에 대해서 설명하고, 기본적인 활용법을 소개한다. 또한 해당 플랫폼의 가용성을 높게 유지하려면 어떠한 구성을 취하면 되는지 살펴본다. .. [if(kakao) dev 2019] 광고 데이터 처리 시스템 소개 Review 출처 : https://if.kakao.com/2019/program?sessionId=e5695f93-8c50-4be2-b8dd-c275fbcf85df if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com 광고의 시작에서 끝, 그 사이에는 여러 데이터가 있고 광고시스템 내의 서로 다른 시스템간 데이터를 연결하기 위해 우리가 하고 있는 노력, 시행착오 그리고 앞으로 해결해야 할 일들에 대해 소개합니다. 리뷰 포인트 카카오 광고 시스템 소개 카카오 데이터 시스템 구성 요소(기술 스택) 카카오 광고 시스템 데이터 파이프라인 카카오 광고 시스템 소개 광고 플랫폼 종류 SSP(Supply Side Platform) : 어떤 서비스에는 광고를 내보낼 수 있는 공간이 존재한다 예를 들어 카카.. [if(kakao) 2020] 엔터프라이즈 환경에서의 ITSM을 고려한 Kubernetes 도입 Review 출처 : https://if.kakao.com/2020/session/118 if(kakao)2020 오늘도 카카오는 일상을 바꾸는 중 if.kakao.com 카카오에서의 쿠버네티스 활용 사례와 엔터프라이즈 환경에서 쿠버네티스를 도입할 때, 전사적 ITSM 관점에서 고려해야 하는 사항들에 대해서 공유합니다. 리뷰 포인트 카카오에서의 Kubernetes 도입 사례 ITSM 을 고려한 Kubernetes 도입 카카오에서의 Kubernetes 도입 사례 DKOS 플랫폼, 카카오의 Kubernetes as a Service 클릭 몇 번으로 인프라와 Kubernetes 클러스터를 생성할 수 있는 플랫폼으로 카카오 크루들은 개인학습, 테스트, 서비스를 위해 나만의 Kubernetes 클러스터를 생성할 수 있다. 카.. [DEVIEW 2020] Kubernetes를 이용한 효율적인 데이터 엔지니어링 (Airflow on Kubernetes VS Airflow Kubernetes Executor) Review 출처 : https://deview.kr/2020/sessions/341 Kubernetes를 이용한 효율적인 데이터 엔지니어링 (Airflow on Kubernetes VS Airflow Kubernetes Executor) 발표자 : 이웅규 deview.kr 이 자리를 통해 Airflow Executor의 여러 가지 종류와 동작 방식에 대해 공유하고 일반적인 Kubernetes Airflow 환경과 새로운 방식의 특징 및 장/단점을 비교하고자 합니다. 마지막으로 새로운 방식인 "Kubernetes Executor" 및 "KubernetesPodOperator"를 적용하여 어떻게 데이터 플랫폼을 운영하고 개발하고 있는지 공유하려 합니다. 이를 통해 다양한 원천 데이터 소스, 다양한 타켓 데이터 소스 환.. [if(kakao)2021] 스마트 메시지 서비스 개발기 Review 출처 : https://if.kakao.com/session/22 if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com 리뷰 포인트 스마트 메시지 서비스 소개 스마트 메시지 서비스 설계 스마트 메시지 서비스를 설계, 개발하면서 고민한 문제들과 해결 사례 kafka streams 기술 소개 kafka streams 적용 과정 스마트 메시지 서비스 소개 "스마트 메시지 서비스는 카카오톡 채널 광고 메시지의 일종입니다." 라는 말을 듣고 생각에 빠졌다. '카카오톡 채널 광고 메시지? 그게 뭐지?' 카카오톡 채널은 광고를 위해 만들어진 계정이라고 보면된다. 우리가 어떤 채널을 추가(구독)하면 그 채널로 부터 광고 메시지를 받을 수 있다. 필자는 광고를 선호하지 않아서 채널 서비스는 사용하.. 이전 1 다음
