본문 바로가기

전체 글

 (26)
NFS를 사용한 동적 볼륨 프로비저닝 Kubernetes에 RabbitMQ를 띄우기 위해 bitnami의 rabbitmq Helm chart를 사용하고자 하였다. 하지만 Prerequisites에 PV provisioner support를 만족하기 위해 동적 볼륨 프로비저닝이 필요해졌다. 순서 NFS 설치 NFS Dynamic Provisioner 구성 StorageClass 구성 PersistentVolumeClaim 구성 pod에서 PersistentVolumeClaim 사용 (추가) Default StorageClass 구성 NFS 설치 Server apt install nfs-kernel-server -y mkdir /nfsvolume vi /etc/exports systemctl restart nfs-kernel-server Cli..
Helm 설치 https://helm.sh/docs/intro/install/ Installing Helm Learn how to install and get running with Helm. helm.sh curl https://baltocdn.com/helm/signing.asc | gpg --dearmor | sudo tee /usr/share/keyrings/helm.gpg > /dev/null sudo apt-get install apt-transport-https --yes echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/helm.gpg] https://baltocdn.com/helm/stable/debian/ all ma..
[데이터 시스템 구축기] 3. Airflow를 활용한 유튜브 댓글 수집 아키텍처 개선 0. 기존 댓글 수집 아키텍처 https://geup.tistory.com/29 Youtube 댓글 수집 Youtube Data API 사용방법 한국 지역 인기동영상 모든 댓글 및 답글 수집 코드 단점 예외처리가 어려움 API를 사용하기 때문에 여러 요인의 예외가 발상하지만 예외처리가 코드를 추가하면 코드가 geup.tistory.com 하지만 이 방식은 예외처리가 어렵고, 토큰을 하드코딩 해야 하며, 병렬처리가 어렵고, 수집을 위해 운영자가 직접 실행해야 하고, 댓글 혹은 답글이 수정되거나 추가되면 다시 수집해야 한다는 등 여러 단점이 있다. 1. Airflow, RabbitMQ를 활용한 댓글 수집 아키텍처 해소된 문제점 예외처리가 어렵다? Airflow를 사용하면 댓글 수집 파이프라인을 하나의 긴 스..

티스토리툴바