Technology Stack/DataCollect (1) 썸네일형 리스트형 Youtube 댓글 수집 Youtube Data API 사용방법 한국 지역 인기동영상 모든 댓글 및 답글 수집 코드 단점 예외처리가 어려움 API를 사용하기 때문에 여러 요인의 예외가 발상하지만 예외처리가 코드를 추가하면 코드가 복잡해지고 가독성이 떨어짐 토큰을 하드코딩 해야 함 확장성 문제 병렬처리를 못하기 때문에 수집해야 하는 댓글이 늘어나면 그 만큼 시간도 늘어남 동영상에 댓글이 추가/수정되면 업데이트를 반영하기 위해서는 처음부터 다시 수집해야 함 직접 실행해야 한다. 가용성 문제 Airflow가 실행되고 있는 Node에 장애가 발생하면 댓글 수집에 장애가 발생함 로컬 파일 시스템에 수집된 데이터를 저장하고 있기 때문에 로컬 파일 시스템에 장애가 발생하면 댓글 수집에 장애가 발생함 이전 1 다음