Principal AI Architect - M365 IC3 Team (Intelligent Conversation and Communications Cloud)

담당업무

• AI·LLM·RAG·에이전트 평가 시스템의 기술 비전 및 아키텍처 정의

• 제품 개발 전 과정의 평가 프레임워크 설계 및 운영

• 비결정적 에이전트 시스템의 작업·사용자·컨텍스트·도구별 동작 분석

• 행동 격차, 실패 모드, 모델 한계, 검색·오케스트레이션 결함 및 제품 품질 위험 식별

• 프롬프트, 도구 사용, 검색·검색증강, 랭킹, UX, 정책, 텔레메트리, 제품 코드별 문제 해결 지점 결정

• ML·데이터 사이언스·LLM·RAG·에이전트 평가 방법의 제품 코드 및 개발 워크플로 통합

• 평가 시스템을 빌드 파이프라인, 릴리스 게이트, 실험 시스템, 엔지니어링 워크플로에 통합

• 대시보드, 스코어카드, 품질 보고서, 제품 상태 화면을 통한 평가 결과 제공

• 제품 텔레메트리, 오프라인 평가, 사람 평가, 자동 평가, 실험, RAG 품질, 에이전트 동작 및 고객 품질 신호 연결

• Copilot 등 제품의 엔터프라이즈 검색, RAG, 그라운딩, 인덱싱, 랭킹, 권한, 최신성, 관련성 평가

• 모호한 제품 목표를 평가 전략, 성공 기준, 일정 및 기술 계획으로 전환

• 서비스, 데이터 파이프라인, 모델 인터페이스, 검색 시스템, 검색 계층, 평가 하네스, 대시보드 및 보고 시스템 전반의 아키텍처 결정

• 제품 리더와 평가 투자 및 제품 마일스톤·출시 의사결정 조율

• 시니어 엔지니어 및 응용과학자의 평가 인프라 구축 멘토링

자격요건

• LLM 평가 데이터셋 설계 및 품질 지표 정의 경험

• 모델 행동 분석, 실패 모드 식별 및 결과 기반 제품·시스템 개선 경험

• LLM, 에이전트 시스템, RAG, ML 파이프라인, 평가 방법론, 실험 및 제품 텔레메트리 이해

• 다중 컴포넌트·서비스·모델·데이터 흐름·도구·검색 시스템·제품 화면이 연동되는 복합 시스템 아키텍처 설계 역량

• 비결정적 AI 시스템의 통계적·행동적·제품 영향 기반 품질 평가 경험

• ML·데이터 사이언스·LLM·응용과학 개념을 제품 코드 및 운영 시스템에 적용한 경험

• CI/CD, 빌드 파이프라인, 릴리스 게이트, 대시보드, 모니터링 워크플로 통합 역량

• 검색, 검색증강, 그라운딩, 관련성, 랭킹 및 엔터프라이즈 RAG 이해

• 기술 전략, 제품 품질 지표, 마일스톤 및 실행 계획 수립 능력

• 제품 코드베이스에서 작업할 수 있는 코딩 및 기술 설계 역량

• 엔지니어, 과학자, 제품 관리자 및 경영진과의 효과적인 커뮤니케이션 능력

• LLM 제품, 에이전트, 엔터프라이즈 검색, 추천 시스템 또는 생성형 AI 애플리케이션 평가 경험

• 오프라인 평가, 온라인 실험, 사람 평가, 레드팀, 합성 데이터, 모델 모니터링, RAG 평가 및 에이전트 행동 분석 경험

• 평가 대시보드, 스코어카드, 품질 보고, 제품 상태 모니터링 또는 데이터 시각화 시스템 경험

• 책임 있는 AI, 안전성, 신뢰성, 개인정보, 보안, 권한, 컴플라이언스 및 엔터프라이즈 준비도 이해

• 평가 플랫폼, 실험 시스템, 모델 관측성, 에이전트 평가 인프라 또는 제품 품질 인프라 구축 경험

• Principal, Architect 또는 시니어 기술 리더십 수준의 업무 수행 경험

우대사항

• 연구 프로그램 기반의 학술 또는 산업 연구 경험

• 특허, 라이브러리 또는 동료심사 학술 논문 등 연구 성과 발표 경험

• 학술·산업 커뮤니티 초청 발표 경험

• 제품 아이디어 구상부터 출시까지 여러 단계의 제품·시스템 개발 및 배포 경험

• 책임 있는 AI 및 엔터프라이즈 AI 품질·안전성에 대한 실무 이해

보상

• 미국 전체 기준 기본 연봉 USD $142,800~$274,800

• 샌프란시스코 베이 지역 및 뉴욕시 권역 별도 기본 연봉 USD $188,000~$304,200

• 일부 포지션의 복리후생 및 추가 보상 대상 가능

근무환경

• 성장 마인드셋 기반 협업

• 존중, 진 integrity 및 책임감 중시

• 포용적 조직문화

• 제품·엔지니어링·응용과학·데이터 사이언스 팀 간 협업

마감기한

채용시 마감