프로젝트 개요
인증 이벤트를 여러 대상에 전달하고 Databricks에 적재해 운영·분석 조직이 활용할 수 있도록 설계한 이벤트 파이프라인과 분석 구조입니다. NSP는 사내 이벤트 수집 플랫폼이며, SOLE은 Databricks 기반 데이터 플랫폼입니다.
해결 과제
Identity instrumentation부터 NSP·SOLE 적재와 자연어 SQL 조회까지 연결해야 했습니다. 문서 검색용 Knowledge Base/Vector DB/RAG는 별도 기술 맥락으로 구분합니다.
구현과 설계
이벤트 파이프라인과 다중 타겟 전송 구조
SNS → SQS → EventBridge Pipes → NSP Event Producer 구조와 NSP → SOLE(Databricks) Medallion ingestion job을 구축했습니다.
- SNS / SQS / EventBridge Pipes / NSP 기반 다중 타겟 전달
- Adobe 포함 다중 타겟 전송 구조 마련
- SOLE(Databricks) Medallion 적재 구조 구축
- 운영/분석 활용을 위한 데이터 흐름 구성
Text-to-SQL 챗봇과 별도 문서 검색 경험
Moneyball Squad Chatbot은 자연어 질문을 SQL 조회로 연결하는 Text-to-SQL 방식으로 구현했습니다. 기존 Knowledge Base/Vector DB/RAG 경험과 동일 기술로 합치지 않습니다.
- 자연어 질문을 SQL 조회로 연결
- Moneyball Squad의 KPI 자율 조회 지원
- 별도 문서 추출·인덱싱 및 Vector DB 업데이트 경험
- 문서 검색 RAG와 데이터 조회 Text-to-SQL의 범위 구분
주요 결과
- SNS / SQS / EventBridge Pipes / NSP 이벤트 파이프라인 구축
- NSP → SOLE(Databricks) Medallion ingestion job 구축
- Identity NSP3 audit streaming 프로덕션 전환을 포함한 end-to-end instrumentation 주도
- 2025.06–2026.05 리뷰 Q4에 Moneyball Squad Text-to-SQL 챗봇 구현
사용 기술
- SNS / SQS
- SNS / SQS 이벤트 전달
- EventBridge Pipes / NSP
- EventBridge Pipes / NSP 연계
- Databricks / SOLE
- SOLE 데이터 플랫폼
- Medallion
- Medallion 적재 구조
- Text-to-SQL
- 자연어 SQL 조회
- Knowledge Base / RAG
- 별도 문서 검색 경험
배운 점
- 인증 이벤트는 운영과 분석 활용까지 고려한 구조가 필요함
- 데이터 적재 구조와 질의 인터페이스를 함께 설계해야 self-service가 가능해짐
- 지식 베이스와 벡터 DB는 문서 업데이트 흐름까지 함께 설계해야 함
- RAG 구조는 라우팅 기준과 문서 품질이 결과를 크게 좌우함