[메가존] [MZD] [제조AX] 데이터 엔지니어 채용

담당업무

• SeaTunnel 기반 배치 수집 및 DB·파일 커넥터 구현

• Spark 변환 로직 및 개인정보 마스킹 처리

• Apache Iceberg 테이블 적재 및 Polaris 카탈로그 등록

• Airflow 기반 파이프라인 실행 및 Kubernetes 실행 자원 분리

• OpenLineage 데이터 흐름 기록 및 Great Expectations 품질 규칙 적용

• 화면 정의 파이프라인의 실행 코드·설정 파일 변환 기능 개발

• 실행 모니터링 및 Keycloak·OPA 역할 기반 권한 연동

자격요건

• Python·SQL 기반 데이터 파이프라인 구현·운영 경험

• Airflow 배치 워크플로 설계 및 장애 대응 경험

• Spark 대용량 변환 작업 작성 및 성능 문제 대응 경험

• Docker·Kubernetes 환경 데이터 서비스 배포 경험

• 원천 시스템 데이터 커넥터 개발 또는 수정 경험

• 예외 상황 및 실패 처리를 고려한 기능 구현 역량

우대사항

• 제조업 MES·ERP·SCM 데이터 연결 기능 개발 경험

• 원천 스키마 변경에도 파이프라인 중단을 방지한 대응 경험

• Apache Iceberg의 스키마 진화·파티셔닝·컴팩션 경험

• DataHub·OpenMetadata·OpenLineage 연동 경험

• Great Expectations 기반 데이터 품질 규칙 정의·운영 경험

• 폐쇄망·온프레미스 환경 오픈소스 설치·운영 경험

전형절차

1. 지원서 제출 및 서류 전형

2. 실무 면접 및 기술 인터뷰

3. 최종 면접 및 임원 인터뷰

4. 입사 조건 검토

5. 최종 합격

마감기한

채용시 마감