멀티모달 모델 엔지니어

소개

• 하루 3천만+ 사용자, 60억+ 이벤트 규모의 데이터 위에서 이미지/텍스트를 함께 이해하는 멀티모달 모델로 검색/추천/광고 품질을 끌어올립니다. • VLM(예: CLIP·OpenCLIP·SigLIP), OCR, LLM을 결합해 상품 검색/브라우징/광고 랜딩 경험을 개선하고, RAG 기반 질의응답/요약/리랭킹을 실험합니다. • 임베딩과 Vector DB(Qdrant/FAISS/Pinecone 등)를 이용해 대규모 후보 탐색을 운영합니다. • PB급 데이터 인프라(GCP/BigQuery, Hadoop/Spark) 위에서 온·오프라인 평가 체계를 정교하게 설계하고, A/B 테스트로 제품 임팩트를 검증합니다. • 광고/커머스 도메인 경험이 없어도 괜찮습니다. 입사 후 빠르게 적응할 수 있도록 온보딩과 멘토링, 데이터/실험 가이드를 제공합니다.

주요업무

- 임베딩 파이프라인: CLIP/SigLIP 등으로 상품 이미지/텍스트 임베딩 생성 및 정제, 배치 파이프라인 구성 - 후보 탐색: Qdrant (FAISS, 등) 기반 ANN 인덱스 구축(HNSW, IVF 등), 증분 업데이트 및 모니터링 - 리랭킹: 크로스 인코더 또는 LLM 기반 리랭커 적용, 지연시간-정확도 trade-off tuning - 평가/실험: MRR, nDCG, Recall@K 중심의 오프라인 평가 팀과 함께 A/B 테스트 설계/분석 - 협업: 재현 가능한 Python 코드/실험(MLflow/W&B), 코드 리뷰 & 문서화, 데이터/백엔드/PM과의 서비스 연동 - 스택 - torch, tf, OpenCLIP/CLIP/SigLIP - SQL, BigQuery/GCP, Spark/Hadoop - Vector DB: FAISS, Qdrant, Pinecone, Milvus 등 - Ops: Git, Docker, Airflow/Argo, MLflow/Weights & Biases - 서빙/최적화: ONNX/TensorRT, Triton/KServe, gRPC/REST

자격요건

• 학사이상 (전공: 통계학, CS, Data Science, AI related) • 2–5년 내외의 딥러닝 기반 CV 또는 NLP/멀티모달 프로젝트 실무 혹은 동등 경험(인턴, 연구, 대회 포함) • Python으로 데이터 전처리, 모델 학습, 평가 가능, PyTorch 또는 TensorFlow 숙련 • 텍스트/이미지 임베딩 생성과 Vector DB(FAISS/Qdrant 등) 연동 경험 • 검색/추천 평가 지표(MRR, nDCG, Recall@K 등)와 오프라인온라인 실험 전환에 대한 기본 이해 • SQL로 데이터 추출/분석 가능, 기초 통계 및 실험 설계 이해(가설검정, 편향/분산 등) • 재현 가능한 실험과 Git 기반 협업 경험, 명확한 커뮤니케이션, 재현 가능한 실험 습관

우대사항

• VLM/LLM 파인튜닝(LoRA/QLoRA/PEFT), 양자화/경량화(ONNX/TensorRT) 경험 • OCR, Text2SQL, RAG, 리랭킹(크로스 인코더/LLM) 실무 또는 프로젝트 경험 • ANN 인덱싱 튜닝(HNSW/IVF) 및 증분 업데이트 운영, 모니터링 경험 • GCP/BigQuery 또는 Spark 경험, Airflow/Argo-MLflow/W&B 사용 경험 • A/B 테스트 도구 활용 또는 실험 설계 및 분석 실무 경험 • 디지털 광고, 커머스 검색/추천 도메인 경험 • 영어 논문/오픈소스 리딩 및 구현 능력

혜택 및 복지

4대 보험, 퇴직금, 회식/워크샵 지원 점식식대 제공 (일 12,000원) 무료 음료/커피, 야근 식대/교통비, 경조사비 연차/반차/반반차 (사유를 묻지 않는 휴가 사용) 맥북프로 14인치, 32인치 UHD 모니터 지급 100% 자율복장