- Youtube Data API 사용방법
- 한국 지역 인기동영상 모든 댓글 및 답글 수집
- 코드 단점
- 예외처리가 어려움
- API를 사용하기 때문에 여러 요인의 예외가 발상하지만 예외처리가 코드를 추가하면 코드가 복잡해지고 가독성이 떨어짐
- 토큰을 하드코딩 해야 함
- 확장성 문제
- 병렬처리를 못하기 때문에 수집해야 하는 댓글이 늘어나면 그 만큼 시간도 늘어남
- 동영상에 댓글이 추가/수정되면 업데이트를 반영하기 위해서는 처음부터 다시 수집해야 함
- 직접 실행해야 한다.
- 가용성 문제
- Airflow가 실행되고 있는 Node에 장애가 발생하면 댓글 수집에 장애가 발생함
- 로컬 파일 시스템에 수집된 데이터를 저장하고 있기 때문에 로컬 파일 시스템에 장애가 발생하면 댓글 수집에 장애가 발생함
- 예외처리가 어려움
Technology Stack/DataCollect