LLM 서빙 및 추론 최적화 엔지니어

담당업무

• LLM 구조·서빙 워크로드·GPU 특성 프로파일링 및 병목 분석

• 서비스 요구사항에 맞는 LLM 추론 시스템 설계·구현

• 추론 성능과 GPU 자원 사용 현황 모니터링

• 모델·엔진 변경 전후 회귀 테스트

• Kubernetes 환경에서 추론 시스템 배포·운영 및 요청·GPU 자원 배분

• vLLM·SGLang 기반 추론 서버 구현·구성·튜닝

• 모델 압축, KV 캐시 최적화, 요청 스케줄링 및 다중 GPU 분산 추론 적용·검증

• Speculative Decoding, Prefill/Decode Disaggregation, Expert Parallelism 등 기법 검토·구현·검증

필수경험과 역량

• 최신 LLM 구조와 추론 과정 이해

• 모델·워크로드 특성에 따른 성능 병목 분석 및 최적화 방향 설정

• vLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상의 업무 사용 및 내부 코드 분석·수정·튜닝 경험

• Python 능숙한 사용 및 추론 엔진 최적화 기능 직접 구현·검증

• 모델 압축·KV 캐시 최적화, 서빙 시스템 최적화, 고급 추론·서빙 최적화 중 한 분야 이상에 대한 깊은 이해와 직접 구현·튜닝 경험

우대사항

• CUDA, Triton, TileLang을 활용한 GPU 커널 구현·튜닝 경험

• 다중 GPU LLM 분산 서빙 및 GPU 간 통신 비용·부하 불균형 개선 경험

• MoE·긴 문맥·멀티모달 모델 서빙과 메모리·연산 병목 해결 경험

• LLM·NLP 논문 발표 또는 추론 엔진·프레임워크 오픈소스 기여 경험

• Kubernetes 환경에서 플랫폼팀과 협업한 대규모 LLM 추론 서비스 배포·운영 경험

• 금융 등 규제 산업의 보안·규제 요건을 시스템 설계와 운영에 반영한 경험

• 국가유공자 및 장애인 등 취업보호대상자 관계법령에 따른 우대

급여

회사 내규에 따름

지원방법

당사 채용 홈페이지 지원

마감기한

2026년 10월 21일 23:59까지