Staff/ Principal Software Engineer (L6/L7): AI Platform Model Serving

담당업무

• 실시간·비동기·에이전트 워크로드를 위한 AI/ML 모델 서빙 플랫폼 및 인프라 구축

• 사내 추론 인프라, 제3자 모델 호스팅, 외부 LLM 제공자를 통합하는 서빙·라우팅·실험 계층 구축

• 모델 배포, 라우팅, A/B 테스트를 지원하는 공통 플랫폼 개발

• GPU 용량 프로비저닝 및 활용 효율 개선

• 분산 서빙, 모델·제공자 간 지능형 라우팅, speculative decoding, prompt caching, multi-GPU inference 최적화

• 장시간 실행되는 에이전트 워크로드를 위한 재개 가능한 실행 구조 구축

• 기술 아키텍처 및 기술 방향 설정, 장기 기술 로드맵 수립과 여러 팀 간 아키텍처 의사결정 조율

자격요건

• AI/ML 인프라 및 분산 시스템 관련 경험

• 고트래픽 분산 서비스와 AI/ML 모델 추론 인프라 구축 경험

• 고가용성, 보안, 성능을 고려한 모델 추론 인프라 설계 경험

• 파운데이션 모델을 위한 확장 가능한 모델 서빙 솔루션 구축 및 지연시간·비용 최적화 경험

• NVIDIA Triton Inference Server, vLLM 또는 SGLang 기반 모델 배포 경험

• Kubernetes를 활용한 모델 서빙 확장 경험

• AWS, Azure 또는 GCP 등 퍼블릭 클라우드 인프라 경험

• 신뢰와 데이터, 전문성을 바탕으로 권한에 의존하지 않고 아키텍처 결정과 여러 팀의 정렬을 이끄는 역량

• 2~3년을 내다보는 기술 로드맵 수립과 확장성·유지보수성·사업 우선순위 조율 역량

• 제품 관리자, 운영 및 경영진과 기술적 절충안을 조율하는 협업 능력

• 비기술 이해관계자에게 기술 내용을 설명하고 문서, ADR 및 제안서를 작성하는 커뮤니케이션 역량

우대사항

• AI/ML, 분산 시스템 또는 인프라 분야 오픈소스 기여

• AI 모델 구축 실무 및 양자화, 모델 압축, 모델 가지치기 등 최적화 경험

• 소프트웨어 개발에서 AI 코딩 도구 활용 경험

• 요청 맥락에 따라 적합한 모델을 선택하는 모델 게이트웨이 및 지능형 라우팅 경험

• 멀티 어댑터 모델 서빙, 분리형 prefill/decode 또는 대규모 KV 캐시 관리 경험

• LLM 및 AI 에이전트 평가·벤치마킹 도구 활용 경험

• GPU 토폴로지, NVIDIA CUDA 프로그래밍 및 머신러닝 컴파일러 지식

기술 환경

• PyTorch, TensorFlow, JAX, Hugging Face Transformers

• vLLM, SGLang, TensorRT-LLM, TGI, DeepSpeed-Inference, NVIDIA Dynamo

• CUDA, NCCL, NVIDIA Nsight 등 프로파일링 도구

보상 및 복리후생

• 연간 보상 범위: $890,000.00 - $1,690,000.00, 근무 지역에 따라 달라질 수 있음

• 연간 보상 구성에서 급여와 스톡옵션 비중을 매년 선택

• 성과급 없음

• 고용주 매칭이 포함된 401(k) 퇴직연금, 스톡옵션 프로그램

• 건강보험, 정신건강 지원, 장애 및 생명·중상해 보장, 건강저축 및 유연지출 계좌

• 가족 형성 지원 및 유급 휴직 제도

• 급여직 정규직의 유연 휴가

면접 편의 안내

장애 또는 기타 사유로 면접 과정에서 편의 조정이 필요한 경우 채용 담당자에게 요청

마감기한

채용시 마감