koss

본 과정은 Azure 클라우드 환경에서 확장 가능하고 안전한 엔터프라이즈 데이터 인프라를 구축하고 자격증을 취득하려는 데이터 엔지니어 및 아키텍트를 위한 과정입니다. 현대적 데이터 아키텍처(Modern Data Architecture) 생태계를 기반으로 대용량 데이터 수집, 메달리온 구조 기반의 분산 처리 변환, 하이브리드 파이프라인 오케스트레이션, 그리고 엔터프라이즈급 데이터 보안 및 모니터링까지 실무 핵심 기술을 종합적으로 학습합니다.

비즈니스 요구사항에 최적화된 Azure 데이터 스토리지 인프라(ADLS Gen2)를 설계하고 계층화할 수 있습니다.

Azure Synapse Analytics와 Azure Databricks의 컴퓨팅 자원을 활용하여 분산 데이터 변환 솔루션을 구현할 수 있습니다.

Azure Data Factory를 통해 다차원 데이터 수집 파이프라인을 구축하고 대규모 오케스트레이션을 제어할 수 있습니다.

Stream Analytics 및 Event Hubs를 연동하여 지연 없는 실시간 스트리밍 데이터 처리 체계를 설계할 수 있습니다.

데이터 거버넌스, 기밀성 유지(Key Vault 통합), 네트워크 격리 및 액세스 제어(RBAC, ACL)를 통해 엔터프라이즈 보안 기준을 충족할 수 있습니다.

Day 1	Azure 데이터 스토리지 설계 및 대규모 데이터 수집 현대적 데이터 아키텍처 설계 (람다/카파 아키텍처, 메달리온 데이터 레이크 설계 원칙) Azure Data Lake Storage Gen2 구성 (디렉터리 구조 최적화, 계층적 네임스페이스 활용) Azure Data Factory를 활용한 대용량 데이터 수집 (자가 호스팅 통합 런타임 SHIR 구성, 복사 작업 최적화) 대규모 파일 인프라 제어 (Delta Lake 포맷 변환 및 Parquet 파일 구조 이해)
Day 2	분산 분석 플랫폼 기반의 데이터 변환 및 처리 Azure Synapse Analytics 서버리스 및 전용 SQL 풀을 활용한 하이브리드 데이터 가공 Azure Databricks 환경 구성 (클러스터 아키텍처 설계, 작업 영역 및 유니티 카탈로그 Unity Catalog 기초) Apache Spark 기반 대규모 데이터 변환 (PySpark/Spark SQL을 활용한 클렌징, 집계 및 데이터 파티셔닝) 데이터 자산 가속화 및 성능 최적화 (인덱싱, 분산 스타일 설계, 파일 컴팩션 작업)
Day 3	파이프라인 오케스트레이션 및 실시간 스트리밍 데이터 처리 고급 오케스트레이션 설계 (Data Factory 매개변수화, 조건부 분기, 제어 흐름 자동화) 연속적 통합 및 배포 (데이터 파이프라인용 CI/CD 체계 구축 및 Git 연동) 실시간 스트리밍 데이터 수집 및 처리 (Azure Event Hubs 및 IoT Hub 연동) Azure Stream Analytics 및 Databricks Structured Streaming을 활용한 실시간 분석 윈도우 함수 구현
Day 4	엔터프라이즈 데이터 보안, 거버넌스 및 DP-700 자격증 취득 전략 심층 데이터 보안 아키텍처 (Azure Key Vault 연동을 통한 자격 증명 관리, 프리빗 엔드포인트 네트워크 격리) 데이터 자산 액세스 제어 (POSIX ACL 관리, 역할 기반 액세스 제어 RBAC, 행/열 수준 보안 구현) 데이터 플랫폼 모니터링 (Azure Monitor, Log Analytics를 활용한 파이프라인 오류 추적 및 경고 설정) 종합 실습 프로젝트 (수집부터 분산 변환, 실시간 처리, 보안 결합까지 엔드투엔드 데이터 엔지니어링 파이프라인 구축 랩) DP-700 자격시험 준비 (출제 가이드라인 분석, 핵심 도메인 요약 및 유형별 모의평가 풀이)