프로젝트 개요
Flamingo는 데이터 수집, 적재, 모니터링, 시각화, 워크플로우를 함께 다루는 Hadoop 기반 제품 개발이었습니다. Collector / Agent 구조, MQ와 HBase 적재, Hadoop 시각화, 워크플로우 기능을 구현하며 이후 SmartFactory 파이프라인으로 이어지는 기반 경험을 쌓았습니다.
해결 과제
여러 Hadoop 구성 요소의 상태와 데이터를 한 제품 안에서 수집·적재·시각화해야 했고, 운영자가 실제로 사용할 수 있는 모니터링과 워크플로우 기능까지 함께 제공해야 했습니다.
구현과 설계
수집·적재·모니터링 제품 구조
Collector / Agent 기반 수집 구조와 MQ, HBase 적재 흐름을 구현해 Hadoop 환경의 데이터를 제품 안에서 다룰 수 있도록 구성했습니다.
- Collector / Agent 기반 데이터 수집 구조 구현
- MQ 연계 및 HBase 적재 구조 구현
- Hadoop 구성 요소 상태와 데이터 흐름 모니터링
- 제품형 운영 화면과 시각화 기능 반영
시각화와 워크플로우 기능
Hadoop 상태를 시각적으로 확인하고 작업 흐름을 관리할 수 있도록 제품 기능을 확장했습니다.
- Hadoop 모니터링 및 시각화 화면 개발
- 워크플로우 설계 및 실행 관리 기능 반영
- 운영자가 사용 가능한 관리 기능 정리
- 이후 SmartFactory 파이프라인으로 이어지는 기반 확보
주요 결과
- Collector / Agent 기반 데이터 수집 구조 구현
- MQ와 HBase 적재 구조 구현
- Hadoop 모니터링 및 시각화 기능 개발
- SmartFactory 파이프라인으로 이어지는 제품 기반 경험 확보
사용 기술
- Collector / BCI Agent
- Collector / Agent 기반 수집 구조
- MQ
- MQ 기반 데이터 전달
- HBase
- HBase 적재 구조
- Hadoop
- Hadoop 상태 시각화
- Workflow
- 워크플로우 기능
- System Agent
- System Agent OS Layer 지표 수집
- Monitoring
- 제품형 모니터링 구조
- Product Architecture
- SmartFactory로 이어진 기반 경험
배운 점
- 제품형 데이터 플랫폼은 수집, 적재, 시각화가 함께 설계되어야 함
- 운영자가 바로 사용할 수 있는 화면과 흐름이 제품 완성도에 큰 영향을 줌
- 제품 경험은 이후 프로젝트형 데이터 파이프라인 설계에도 직접 이어짐
- 공개용 설명에서도 실제 구현 범위에 맞는 표현을 유지하는 것이 중요함