Senior Data Engineer

담당업무

• Databricks, Python, PySpark, SQL 기반 확장형 데이터 파이프라인 설계·개발·최적화

• PDF, 이메일, 첨부파일, Excel/XLSX, 보험 신청서, Statements of Values(SOV) 등 문서의 수집·분류·추출·검증·변환 파이프라인 구축

• LLM 및 AI 모델을 데이터 처리 워크플로에 통합해 비정형·반정형 문서에서 구조화 정보 추출

• LLM 기반 추출 파이프라인의 오탐, 잘못된 메타데이터 및 부정확한 필드 값 해결

• 문서 분류, 출처별 추출 규칙, 데이터 검증·대사 및 품질 관리 체계 구현

• 추출 정보를 후속 애플리케이션과 언더라이팅 워크플로용 표준 JSON 구조로 변환

• 보험 엔터티·업무 개념·관계를 나타내는 온톨로지 기반 데이터 모델 설계 및 구현

• 추출 속성을 표준 온톨로지 개념 및 메타데이터 구조에 매핑

• 대용량·복잡한 Excel/XLSX 및 SOV 파일의 성능·확장성·동시성 최적화

• PostgreSQL, Lakebase 또는 관련 데이터베이스 기술을 활용한 데이터 저장 구현

• 후속 애플리케이션 연동을 위한 API 및 데이터 제품 개발·유지

• 중개, 언더라이팅, AI 및 데이터 엔지니어링 팀과 협업해 추출 결과를 업무 요구사항에 맞춤

• 운영 파이프라인 모니터링, 데이터 처리 문제 해결 및 신뢰성·성능·데이터 품질 개선

자격요건

• 데이터 엔지니어링, 소프트웨어 개발 또는 운영 데이터 파이프라인 개발 경험

• Databricks 및 확장형 데이터 처리 파이프라인 실무 경험

• Python, PySpark, SQL 활용 경험

• PDF, 이메일, Excel, JSON 등 비정형·반정형 데이터 처리 경험

• 문서 처리·데이터 추출 파이프라인에 LLM 또는 AI 모델을 통합한 경험

• 구조화 데이터 추출, 문서 분류, 검증, 대사 및 데이터 품질 관리 경험

• 데이터 모델링, 스키마, 메타데이터, 엔터티 관계 및 온톨로지·시맨틱 모델링 이해

• JSON 출력, API 및 후속 애플리케이션용 데이터 제품 설계 경험

• PostgreSQL, Lakebase 또는 유사한 관계형 데이터베이스 경험

• 운영 환경의 성능, 확장성, 동시성 및 데이터 처리 문제 해결 경험

• 클라우드 데이터 아키텍처, 분산 처리 및 파이프라인 최적화 이해

• 분석적 문제 해결, 커뮤니케이션 및 부서 간 협업 역량

우대사항

• 보험, 상업보험, 중개, 언더라이팅 또는 리스크 관리 경험

• 보험 신청서, SOV, 보험증권 및 언더라이팅 제출 문서 처리 경험

• LLM 프레임워크, 프롬프트 엔지니어링, 구조화 출력 및 AI 평가 기법 경험

• 맞춤형 온톨로지, 지식 그래프 또는 시맨틱 데이터 계층 구축 경험

• 문서 AI, OCR, 정보 추출 및 문서 인텔리전스 플랫폼 경험

• Delta Lake, Lakehouse 아키텍처, Databricks Workflows 및 Delta Live Tables 경험

• AWS, Azure 또는 Google Cloud 경험

• 대규모 문서 수집 및 분산 처리 워크로드 최적화 경험

근무환경

일부 직무에서 원격 또는 하이브리드 근무 옵션을 제공할 수 있으며, 고객 요구사항에 따라 변경될 수 있음. 사무실 또는 고객사 인근 직원은 업무상 회의나 행사 참석을 위해 출근이 요구될 수 있음

지원방법

온라인 지원

마감기한

상시채용