전체 글 (26) 썸네일형 리스트형 Youtube 댓글 수집 Youtube Data API 사용방법 한국 지역 인기동영상 모든 댓글 및 답글 수집 코드 단점 예외처리가 어려움 API를 사용하기 때문에 여러 요인의 예외가 발상하지만 예외처리가 코드를 추가하면 코드가 복잡해지고 가독성이 떨어짐 토큰을 하드코딩 해야 함 확장성 문제 병렬처리를 못하기 때문에 수집해야 하는 댓글이 늘어나면 그 만큼 시간도 늘어남 동영상에 댓글이 추가/수정되면 업데이트를 반영하기 위해서는 처음부터 다시 수집해야 함 직접 실행해야 한다. 가용성 문제 Airflow가 실행되고 있는 Node에 장애가 발생하면 댓글 수집에 장애가 발생함 로컬 파일 시스템에 수집된 데이터를 저장하고 있기 때문에 로컬 파일 시스템에 장애가 발생하면 댓글 수집에 장애가 발생함 RabbitMQ 기초 RabbitMQ 기초 개념 RabbitMQ 기초 사용법 Rabbitpy 사용법 Airflow 기초 (작성중) DAG 안 이야기 데이터 파이프라인이란? Apache Airflow란? Airflow 기초 사용법 Backfill 명령어 태스크의 상태 더 효율적인 데이터 처리 태스크 디자인 모범사례 태스크 간 데이터를 전달하는 방법 PostgreSQL에 데이터 저장하기 기본 의존성 유형 브랜치 조건부 태스크 트리거 규칙 Taskflow API DAG 밖 이야기 워크플로우 트리거 - 센서 워크플로 트리거 - 다른 DAG 트리거 하기 이전 1 2 3 4 5 ··· 9 다음