[메가존] [MZD] [제조AX] 데이터 엔지니어 채용

담당업무

• SeaTunnel 기반 배치 수집 및 DB·파일 커넥터 구현

• Spark 기반 변환 로직 및 개인정보 마스킹 처리

• Apache Iceberg 테이블 적재 및 Polaris 카탈로그 등록

• Airflow 일정 기반 파이프라인 실행 및 Kubernetes 실행 자원 분리

• OpenLineage 이벤트 기반 데이터 흐름 기록 및 Great Expectations 품질 규칙 적용

• 화면에서 정의한 파이프라인을 실행 코드와 설정 파일로 변환

• 실행 모니터링 및 Keycloak·OPA 기반 역할 권한 연동

• Data Alchemy Studio의 데이터 수집·변환·저장·카탈로그·흐름 추적 기능 개발

자격요건

• Python과 SQL 기반 데이터 파이프라인 구현 및 운영 경험

• Airflow 배치 워크플로 설계 및 장애 대응 경험

• Spark 대용량 변환 작업 작성 및 성능 문제 대응 경험

• Docker와 Kubernetes 환경의 데이터 서비스 배포 경험

• 원천 시스템 데이터 커넥터 개발 또는 개선 경험

• 예외 상황과 실패 처리를 고려한 기능 구현 역량

우대사항

• 제조업 MES·ERP·SCM 데이터 연결 기능 개발 경험

• 원천 스키마 변경에도 파이프라인 중단을 방지한 경험

• Apache Iceberg 등 테이블 포맷의 스키마 진화·파티셔닝·컴팩션 경험

• DataHub·OpenMetadata·OpenLineage 연동 및 데이터 흐름 추적 경험

• Great Expectations 등 데이터 품질 규칙 정의 및 운영 경험

• 폐쇄망 또는 온프레미스 환경의 오픈소스 설치·운영 경험

• 보훈대상자 및 장애인 우대

복리후생

• 직무 관련 교육 및 도서 지원

전형절차

1. 지원서 제출 및 서류 전형

2. 실무 면접 및 기술 인터뷰

3. 최종 면접 및 임원 인터뷰

4. 입사 조건 검토

5. 최종 합격

근무환경

• 고객사 프로젝트가 아닌 Data Alchemy Studio 자체 제품 개발

• MVP 범위와 오픈소스 선정이 완료된 구현 단계부터 참여

• 제품 전체 아키텍처를 팀과 함께 결정

• 기획·컨설팅, 데이터 엔지니어링, ML, 백엔드·프론트엔드, MLOps, DevOps·인프라 직군과 협업

• 면접에서 라이브 코딩 또는 시스템 설계 질문 진행 가능

마감기한

채용시 마감