Technology Stack (11) 썸네일형 리스트형 NFS를 사용한 동적 볼륨 프로비저닝 Kubernetes에 RabbitMQ를 띄우기 위해 bitnami의 rabbitmq Helm chart를 사용하고자 하였다. 하지만 Prerequisites에 PV provisioner support를 만족하기 위해 동적 볼륨 프로비저닝이 필요해졌다. 순서 NFS 설치 NFS Dynamic Provisioner 구성 StorageClass 구성 PersistentVolumeClaim 구성 pod에서 PersistentVolumeClaim 사용 (추가) Default StorageClass 구성 NFS 설치 Server apt install nfs-kernel-server -y mkdir /nfsvolume vi /etc/exports systemctl restart nfs-kernel-server Cli.. Helm 설치 https://helm.sh/docs/intro/install/ Installing Helm Learn how to install and get running with Helm. helm.sh curl https://baltocdn.com/helm/signing.asc | gpg --dearmor | sudo tee /usr/share/keyrings/helm.gpg > /dev/null sudo apt-get install apt-transport-https --yes echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/helm.gpg] https://baltocdn.com/helm/stable/debian/ all ma.. Youtube 댓글 수집 Youtube Data API 사용방법 한국 지역 인기동영상 모든 댓글 및 답글 수집 코드 단점 예외처리가 어려움 API를 사용하기 때문에 여러 요인의 예외가 발상하지만 예외처리가 코드를 추가하면 코드가 복잡해지고 가독성이 떨어짐 토큰을 하드코딩 해야 함 확장성 문제 병렬처리를 못하기 때문에 수집해야 하는 댓글이 늘어나면 그 만큼 시간도 늘어남 동영상에 댓글이 추가/수정되면 업데이트를 반영하기 위해서는 처음부터 다시 수집해야 함 직접 실행해야 한다. 가용성 문제 Airflow가 실행되고 있는 Node에 장애가 발생하면 댓글 수집에 장애가 발생함 로컬 파일 시스템에 수집된 데이터를 저장하고 있기 때문에 로컬 파일 시스템에 장애가 발생하면 댓글 수집에 장애가 발생함 RabbitMQ 기초 RabbitMQ 기초 개념 RabbitMQ 기초 사용법 Rabbitpy 사용법 Airflow 기초 (작성중) DAG 안 이야기 데이터 파이프라인이란? Apache Airflow란? Airflow 기초 사용법 Backfill 명령어 태스크의 상태 더 효율적인 데이터 처리 태스크 디자인 모범사례 태스크 간 데이터를 전달하는 방법 PostgreSQL에 데이터 저장하기 기본 의존성 유형 브랜치 조건부 태스크 트리거 규칙 Taskflow API DAG 밖 이야기 워크플로우 트리거 - 센서 워크플로 트리거 - 다른 DAG 트리거 하기 Github Action을 활용한 CI/CD on Kubernetes CI/CD란? Github Action 기초 개념 Github Action을 활용한 Test 자동화 Github Action을 활용한 Build, Deploy 자동화 (on k8s) Code : https://github.com/GEUP/CICD_tutorial 쉽고 빠르게 k8s에 Open Source Software 띄우기 k8s에 hadoop, kafka, influxDB와 같은 Open Source Software를 띄워야 하는 경우가 있다. 직접 Helm 혹은 yaml을 작성해 띄우는 방법도 있으나, 다른 사람이 작성한 Helm을 가져와 사용하면 쉽고 빠르게 OSS를 띄울 수 있다. Arifact Hub 에서 필요한 OSS를 검색하고 k8s 클러스터에서 Installing the Chart에 있는 명령을 입력하면 OSS를 띄울 수 있다. [How to choose a tech stack] DataBase DB Ranking DB-Engines Ranking per database model category db-engines.com DB 요약 Database of Databases The on-line encyclopedia of databases systems from Carnegie Mellon University. dbdb.io 어떤 DB를 쓸 것인지 판단하는 방법 내가 저장하고자 하는 데이터의 특징은 ~ 하고, ~한 특징을 가진 데이터를 효율적으로 처리할 수 있는 데이터 모델은 ...이 있으며 ...을 데이터 모델로 가지는 DB에는 @@@들이 있고 @@@들의 장단점을 모두 비교해 보았을 때 XXX가 현재 프로젝트에 가장 적합하여 XXX를 선택하였다. Docker 기초 Docker가 필요한 이유 Window에 Docker 설치하기 Docker 사용법 Kubernetes 기초 Container Orchestration 이란? Kubernetes 기본 개념 Kubernetes 설치 Kubernetes 사용하기 이전 1 2 다음
