Senior AI Data Pipeline Engineer

소개

About the Team & Mission 42dot의 AI 데이터 파이프라인 엔지니어는 전 세계에서 수집되는 데이터를 처리하고 관리하는 글로벌 데이터 파이프라인을 설계하고 확장합니다. 페타바이트(PB)급 데이터를 대규모 GPU 인프라에 안정적으로 전달하여, 핵심적인 AI 워크로드를 가동하는 고처리량 시스템을 구축하고 운영하게 됩니다. At 42dot, our AI Data Pipeline Engineer architect and scale global data pipelines that ingest and process data from worldwide sources. You will design and operate high-throughput systems to reliably deliver petabyte-scale data to our large-scale GPU infrastructure, powering mission-critical AI workloads.

주요업무

• 다양한 AI 및 머신러닝 프로젝트를 지원하기 위한 고성능·고확장성 데이터 파이프라인 설계 및 구축 • 글로벌 데이터 가용성 및 원활한 동기화를 위한 멀티 리전(Multi-region) 데이터 인프라 아키텍처 설계 및 구현 • 여러 AI 프로젝트를 동시 지원할 수 있도록 복잡한 브랜칭 및 로직 격리가 가능한 유연한 파이프라인 아키텍처 개발 • Databricks 및 Spark를 활용한 대규모 데이터 처리 워크로드 최적화(처리량 극대화 및 비용 최소화) • Kubernetes 기반 컨테이너 데이터 환경 유지 보수 및 고도화로 데이터 워크로드의 안정적 실행 보장 • AI 리서처 및 플랫폼 팀과 협업하여 고품질 데이터를 학습 및 평가 파이프라인으로 효율적으로 공급 • Design and build high-performance, scalable data pipelines to support diverse AI and Machine Learning initiatives across the organization. • Architect and implement multi-region data infrastructure to ensure global data availability and seamless synchronization. • Develop flexible pipeline architectures that allow for complex branching and logic isolation to support multiple concurrent AI projects. • Optimize large-scale data processing workloads using Databricks and Spark to maximize throughput and minimize processing costs. • Maintain and evolve the containerized data environment on Kubernetes, ensuring robust and reliable execution of data workloads. • Collaborate with AI researchers and platform teams to streamline the flow of high-quality data into training and evaluation pipelines.

자격요건

• 대규모 AI/ML 데이터셋을 위한 프로덕션급 데이터 파이프라인 구축 및 운영 경험 • Apache Spark 및 Databricks 생태계 등 분산 처리 프레임워크에 대한 높은 숙련도 • Apache Airflow 등 워크플로우 오케스트레이션 도구를 활용한 복잡한 의존성 관리 및 실무 경험 • Kubernetes 및 컨테이너 기술을 활용한 데이터 처리 컴포넌트 배포 및 확장 능력 • Apache Kafka 등 분산 메시징 시스템을 활용한 고처리량 데이터 수집 및 이벤트 기반 아키텍처 이해 • Python을 활용한 시스템 레벨 최적화 및 수준 높은 프로그래밍 역량 • 보안과 확장성을 고려한 클라우드 네이티브 서비스 및 인프라 구축 best practices에 대한 이해 • 복잡하고 거대한 시스템에서 근본 원인을 찾아 해결하는 논리적인 문제 해결 능력 • 다양한 유관 부서 및 파트너와 원활하게 소통할 수 있는 커뮤니케이션 역량 • Extensive professional experience in building and operating production-grade data pipelines for massive-scale AI/ML datasets. • Strong proficiency in distributed processing frameworks, particularly Apache Spark and the Databricks ecosystem. • Deep hands-on experience with workflow orchestration tools like Apache Airflow for managing complex dependency graphs. • Solid understanding of Kubernetes and containerization for deploying and scaling data processing components. • Proficiency in distributed messaging systems such as Apache Kafka for high-throughput data ingestion and event-driven architectures. • Expert-level programming skills in Python for system-level optimizations. • Strong knowledge of cloud-native services and best practices for building secure and scalable data infrastructure. • Logical approach to problem-solving with the persistence to identify and resolve root causes in complex, large-scale systems. • Strong communication skills to effectively collaborate with cross-functional teams and external partners.

우대사항

• 글로벌 멀티 리전 파이프라인 설계 및 국가 간 데이터 전송/지연 시간(Latency) 이슈 해결 경험 • Ray 등 AI 워크로드를 위한 분산 컴퓨팅 프레임워크 구현 경험 또는 깊은 관심 • Spark Streaming 또는 Flink를 이용한 실시간/준실시간(Near real-time) 파이프라인 구축 경험 • Terraform 등 Infrastructure as Code(IaC) 도구를 활용한 복잡한 데이터 환경 관리 경험 • 전체 ML 생애주기(MLOps) 및 데이터 인프라가 모델 실험과 배포를 지원하는 메커니즘에 대한 이해 • Experience in architecting global, multi-region data pipelines and solving challenges related to cross-border data transfer and latency. • Practical experience or a strong interest in implementing distributed computing frameworks like Ray for AI workloads. • Experience in building real-time or near-real-time pipelines using Spark Streaming or Flink. • Familiarity with Infrastructure as Code (IaC) tools such as Terraform to manage complex data environments. • Understanding of the end-to-end ML lifecycle (MLOps) and how data infrastructure supports model experimentation and deployment.

혜택 및 복지

[42dot만의 업무 몰입 프로그램] https://42dot.ai/ko/careers/employee-engagement-program