[기술혁신실] AI Software Engineer(VLM-Eval)

담당업무

• 실제 운동·재활 영상 기반 VideoLLM 평가 데이터셋과 벤치마크 구축

• 의학팀·데이터 매니저와 정답 및 채점 기준 설계

• Annotation 가이드라인 작성 및 평가자 간 일치도 관리

• LLM/MLLM-as-a-Judge 기반 자동 채점 파이프라인 설계·구현

• 학습·배포 파이프라인에 연결되는 자동 평가 하네스 구축

• FlowEx 평가 보드 연동 및 모델 성능 회귀 추적

• 정확성·안전성·일관성·환각·응답 지연 등 평가축 정량화

• 실패 사례 수집·유형화 및 평가셋 개선 루프 운영

• 모델 변화와 파이프라인 문제의 원인 분석

• 의학팀과 임상적 타당성 검증 프로토콜 설계

• ISO/IEC 42001 기반 재현 가능성 및 감사 추적성 보장

• AI Research Engineer, MLOps Engineer, 의학팀, 제품팀, RA/QA와 협업

자격요건

• Python 기반 실험·평가 파이프라인 설계 및 구현 역량

• LLM 또는 Multimodal LLM 활용 경험

• 모호한 품질 문제를 측정 가능한 지표로 정량화한 경험

• 진행 상황 공유 및 문서 기반 소통 역량

우대사항

• LLM/VLM 평가 벤치마크 또는 평가셋 설계·구축 경험

• LLM-as-a-Judge 자동 평가 및 사람 평가 비교 검증 경험

• lm-evaluation-harness, DeepEval, Ragas, W&B, Langfuse 활용 경험

• Video understanding 또는 영상 데이터 처리 경험

• Human evaluation, Annotation 가이드라인, 평가자 간 일치도 관리 경험

• vLLM 기반 대규모 배치 추론·평가 경험

• A/B 테스트 및 통계적 유의성 검정 경험

• 의료·헬스케어·피트니스 데이터 처리 경험

• ISO/IEC 42001, SaMD 등 규제 환경 검증 문서 작성 경험

• 스스로 문제를 정의하고 해결을 시도한 경험

보상과 복리후생

• 연봉 협의

• 경조금

• 장기근속 포상

• 유연근무제

• 음료·간식 제공

전형절차

1. 서류 전형

2. 1차 면접

3. 2차 면접(필요시)

4. 최종 면접

5. 처우협의

6. 최종 합격

접수방법

• 대표 프로젝트 최대 3개의 구체적인 결과 작성

• 측정 기준과 기준 설정 이유 및 의사결정 활용 방식 작성

• 평가 체계 구축 과정의 문제와 해결 방법 작성

• 논문·오픈소스·기술 블로그 등 공개 가능한 성과 링크 첨부

• 외부 공개가 민감한 기술 정보는 제외

마감기한

채용시 마감