데이터 엔지니어

소개

아티스트컴퍼니는 쉽게 경험하기 힘든 대용량의 데이터와 트래픽을 보유하고 이를 바탕으로 시장에서 기술력을 인정받아 코스닥에 상장한 회사입니다. 1. 광고지면 / 행태정보 처리량 : 일 약 60억 건 2. 방문 사용자수 : 일 3천만명 이상 3. Cluster 규모 : PB급 hadoop cluster 및 production spark cluster 운영 중 4. Cloud Strategy : Google Cloud Platform, BigQuery Warehouse 이중화

주요업무

실시간 데이터 집계를 위한 스트리밍 파이프라인 개발 및 운영 로그/운영 데이터에 대한 아카이빙 및 배치 파이프라인 운영 비즈니스 연계 데이터의 주기적 적재 및 가공 처리 Hadoop 기반의 DataLake 및 Spark 클러스터 운영 및 최적화 Kafka 기반 로그 수집 및 실시간 이벤트 처리 시스템 유지관리 Data Pipeline의 Lifecycle 관리: 배포, 장애 대응, 백업 및 복구 자원 할당 및 스케줄 관리(Resource & schedule managing)

자격요건

Hadoop 기반 분산처리 환경 운영 경험 Spark, Hive, Airflow 등 활용한 배치 및 실시간 파이프라인 개발 경험 Kafka, Flink 등 실시간 처리 시스템에 대한 이해 GCP (BigQuery, GCS 등) 환경에서의 데이터 분석 및 저장소 운용 경험 SQL 기반 데이터 모델링 및 대용량 쿼리 튜닝 경험 데이터 파이프라인의 장애 대응 및 복구 실무 경험 Linux 환경에서의 시스템 운영 및 Shell/Python 스크립팅 역량

우대사항

광고/마케팅 도메인에서의 로그 분석 및 지표 구축 경험 Python 기반의 ETL 자동화 및 스케줄링 작업 개발 경험 Tableau 등 BI 툴을 통한 대시보드 구축 및 시각화 경험 Prometheus, Grafana, ELK Stack 등 모니터링/로깅 도구 사용 경험 Docker, Ansible, GitLab CI 등 DevOps 도구 활용 경험 SLA 기반 운영 체계 및 장애 대응 프로세스에 익숙한 분

혜택 및 복지

4대 보험, 퇴직금, 회식/워크샵 지원 점식식대 제공 (일 12,000원) 무료 음료/커피, 야근 식대/교통비, 경조사비 연차/반차/반반차 (사유를 묻지않는 휴가 사용) 장기근속(리프레쉬) 휴가 지원 맥북프로 14인치, 32인치 모니터 지급 100% 자율복장