|
|
|
|
|
 |
저는 이러한 환경에서 데이터 엔지니어로 첫 경력을 시작하고, 향후 AI 기반 분석 자동화, 데이터 플랫폼 구축, 파이프라인 운영 등 기술적 전문성을 확장하고 싶습니다.
이 과정에서 가장 중심이 되었던 것은 모델 성능이 아니라 데이터 전처리파이프라인의 안정성이었습니다.
이 경험은 데이터 설계가 분석보다 더 중요하다는 사실을 명확하게 깨닫게 한 프로젝트였습니다.
데이터 엔지니어에게 가장 중요한 역량은 안정적인 데이터 흐름을 설계하고 운영할 수 있는 구조적 사고라고 생각합니다.
저는 프로젝트 수행 과정에서 데이터 수집 오류를 해결하기 위해 파이프라인 구조를 단계별로 나누어 원인을 추적한 경험이 있으며, 이를 통해 안정성 중심의 사고방식을 갖추게 되었습니다.
대규모로 그 데이터를 활용한 사용자 행동 분석 프로젝트가 가장 대표적인 경험입니다.
SK플래닛 AI 활용 데이터 엔지니어 과정은 이 목표를 실현하기위 한 가장 중요한 출발점이 될 것입니다.
|
|
|
 |
SK플래닛 AI 활용 데이터 엔지니어 2기에 지원한 이유는 기술 중심의 교육이 아니라 실제 산업현장의 문제를 해결하는 데이터 엔지니어링 역량을 체계적으로 훈련할 수 있는 유일한 교육과정이라고 판단했기 때문입니다.
특히 SK플래닛은 오랜 기간 축적된 데이터 기술자산과 상업적 실전 데이터 셋을 보유하고 있어, 단순히 모델링을 배우는 수준이 아니라 데이터파이프라인 전체를 직접 구성하고 운영해 볼 수 있다는 점이 제게 가장 큰 매력으로 다가왔습니다.
SK플래닛과정은 실무담당자 멘토링, 실제 기업 문제 기반 프로젝트, 클라우드 환경교육 등 저의 목표를 실현할 수 있는 가장 현실적이고 강력한 프로그램입니다.
저는 이러한 환경에서 데이터 엔지니어로 첫 경력을 시작하고, 향후 AI 기반 분석 자동화, 데이터 플랫폼 구축, 파이프라인 운영 등 기술적 전문성을 확장하고 싶습니다.
데이터 분석과 전처리에는 Pandas, Numpy, Scikit-learn 등을 사용하고 있으며, AI 모델링 실습에서는 TensorFlow와 PyTorch 기반 실험 경험이 있습니다.
데이터파이프라인 구축 시에는 Airflow와 Cron기반 워크플로우 자동화 경험이 있으며, 데이터 크롤링은 Selenium, Beautiful Soup, Requests 등을 활용합니다.
Docker를 활용한 환경 컨테이너 구성 경험도 있으며, 간단한 도커 라이징 프로젝트도 수행했습니다.
두 번째 프로젝트는 웹 기반 서비스로 그 데이터를 활용한 사용자 행동 분석이었습니다.
데이터 엔지니어에게 가장 중요한 역량은 안정적인 데이터 흐름을 설계하고 운영할 수 있는 구조적 사고라고 생각합니다.
저는 프로젝트 수행 과정에서 데이터 수집 오류를 해결하기 위해 파이프라인 구조를 단계별로 나누어 원인을 추적한 경험이 있으며, 이를 통해 안정성 중심의 사고방식을 갖추게 되었습니다.
대규모로 그 데이터를 활용한 사용자 행동 분석 프로젝트가 가장 대표적인 경험입니다.
이 경험을 통해 대규모 데이터는 기술적 처리뿐 아니라 논리적 구조가 매우 중요하다는 사실을 깊이 이해하게 되었습니다.
또한 수집 단계에 장애가 발생하면 자동으로 Slack알림을 보내거나 이전 버전로직으로 롤백되는 기능을 구현해 안정성을 확보했습니다.
이 경험은 데이터 파이프라인 설계에 서 가장 중요한 것은 실패를 줄이는 것이 아니라 실패하더라도 전체 시스템이 붕괴되지 않도록 만드는 것임을 깨닫게 해주었습니다.
전처리시저는 첫째로 결측 처리 전략을 설계해 단순 평균 대치가 아닌데이터 특성 기반 대치 방식과 통계적 보완방법을 적용했습니다.
마지막으로 학습 데이터와 테스트 데이터 가 겹치지 않도록 시간 기반 분리전략을 적용해 데이터 누수 가능성을 차단했습니다. |
 |
데이터, 기반, 과정, 기술, 처리, 구조, 파이프라인, 엔지니어, 설계, 프로젝트, ai, 이다, 활용, 가장, 경험, 분석, 수행, 전체, sk, 해결 |
|
|
|
|
|
|
 |
|
|
|
|
|
|
|
|
|
|
|
| |
|
|
|
2025.12.11
6페이지
