프로젝트 (1) 썸네일형 리스트형 [실습] 진짜 간단한 CDC 0. 목적이번에 어떤 회사에 면접을 보러 가게되었음, 데이터 엔지니어 직무이 회사는 ELK 러버같아 보여서, 더해서 우리 플젝에서도 좀 사용할 이유들이 있음.CDC를 ELK랑 카프카 기반으로 실시간 해보자는 말이 있었음.따라서 실습 겸해서 간단하게 레포 파서 작업해보게 됨.1. 구조 설명repo├── app└── logstash └── pipeline전체 프로그램들은 docker compose 기반으로 로컬에서 간단히 테스트목록: 앱 - postgres - Debizium - kafka - logstash - Elastic Searchapp 폴더에는 fast api로 작성된 간단한 어플리케이션 코드와 빌드용 Dockerfile이 들어감10초마다 CRUD 쿼리를 postgres에 남겨서 트랜잭션 로그.. 이전 1 다음