직무 Summary
넥스트증권 컨텐츠플랫폼팀과 함께 AI 기반 금융 컨텐츠 플랫폼을 만들어갈 데이터 엔지니어(경력)를 모집합니다. Databricks Delta Lake 기반 레이크하우스와 Kafka 기반 실시간 이벤트 파이프라인을 설계하고 운영하며, 미국 주식 시세, 뉴스, 재무 데이터의 수집부터 AI 서비스 서빙까지 End-to-End 데이터 파이프라인을 책임집니다. AI 분석, 컨텐츠 생성, 컴플라이언스 검증 등 AI 서비스 레이어가 필요로 하는 데이터를 공급합니다.
주요업무
· 실시간 데이터 수집 파이프라인 구축: Kafka 기반 이벤트 파이프라인을 운영하고, 실시간 시세 데이터, 뉴스 데이터, 재무제표와 컨센서스 데이터를 수집합니다.
· 데이터 레이크하우스 설계 및 운영: Databricks Delta Lake 위에 Bronze/Silver/Gold 메달리온 아키텍처를 구축하고, Delta Live Tables(DLT)와 Lakeflow를 활용하여 선언적 데이터 파이프라인을 개발합니다.
· AI 서비스 데이터 서빙: 컨텐츠 생성 및 컴플라이언스 검증에 필요한 데이터를 제공하고, AI Analyst가 활용하는 분석 쿼리, 시맨틱 검색, 뉴스 RAG 검색 등 데이터 접근 경로를 최적화합니다.
· 데이터 거버넌스 및 규제 준수: Databricks Unity Catalog 기반 데이터 접근 제어, PII 마스킹/탐지, 금융 규제 준수를 위한 아카이빙 및 보안 아키텍처를 구현합니다.
· 크로스팀 협업: AI/ML 엔지니어, 컨텐츠 플랫폼팀과 긴밀히 협업하여 시세 데이터, 뉴스 데이터, 행동 분석 데이터 등의 요구사항을 파악하고 최적의 데이터 솔루션을 제공합니다.
자격요건
· 7년 이상의 데이터 엔지니어 경력
· Python에 능숙하고, Go 또는 Kotlin 중 하나 이상의 언어 경험이 있으신 분
· SQL 활용 능력이 뛰어나고 데이터 모델링에 대한 깊은 이해를 갖추신 분
· Apache Kafka 기반 대규모 실시간 스트리밍 데이터 처리 경험이 있으신 분
· Apache Spark 또는 Databricks 등 대용량 데이터 처리 프레임워크 사용 경험이 있으신 분
· AWS 등 퍼블릭 클라우드 환경에서 데이터 인프라 구축 및 운영 경험이 있으신 분
· RDBMS(PostgreSQL, Oracle 등)에 대한 이해가 있으신 분 
