빅데이터 엔지니어링

소개

빅데이터 엔지니어링

담당업무

1.클라우데라 하둡 기반의 빅데이터 분석 플랫폼 개발/운영 2.실시간 데이터 수집, 처리, 적재 등의 파이프라인 설계 및 자동화 3.Kafka, Kudu, Spark streaming 프로그램 개발/운영 4.다양한 오픈소스, 클라우드 등을 활용하여 분석 플랫폼 아키텍처 개선 5.EDW환경(RDB)과 빅데이터 분석 플랫폼 간의 연계 설계/개발

자격요건

1. Hadoop, Hive, Kafka, Kudu, impala 등 빅데이터 분산 처리 시스템 기술 2.Spark Streaming, Flink 등 대용량 스트림 처리 기술

우대사항

1. 리눅스 엔지니어링 전반 우대 기술 2. NoSQL 구축/운영 (MongoDB, ElasticSearch) 3. 클라우드 환경에서 빅데이터 플랫폼 구축 운영 4. 데이터 분석, 시각화 솔루션 구축/운영 (Jupyter, Tableau, Redash 등) 5. RestAPI 서비스 개발 경험

혜택 및 복지

협의에 따라 정규직 또는 전문계약직으로 신한카드에서 제공하는 모든 복지를 제공받으며, 주 40시간 근무제에 따라 PC off 운영 중. 시차 출퇴근 형태의 유연근무제를 이용할 수 있음

기술스택

Hadoop, Kafka, Impala, 데이터 처리, 데이터 엔지니어링, Linux, MongoDB, Elasticsearch

기타

대한민국에서 가장 많은 payment 트래픽과 data가 발생하는 금융회사로서, big data 분야에서는 선두에 있는 금융회사입니다. 데이터엔지니어가 근무할 부서는 <신한카드 빅데이터연구소> 산하 입니다. 각종 내외부 data들을 효과적으로 엔지니어링 해서 각 시스템들과 분석 환경에서 최고의 서비스를 제공하는데 기여하는 경험을 할 수 있습니다.