ETL(Extract, Transform, Load)

ETL(Extract, Transform, Load)

ETL은 추출, 변환, 로드의 약자로 다양한 소스로부터 데이터를 추출하고, 믿을 수 있는 리소스로 변환하며, 그 데이터를 로드하여 최종 사용자가 액세스할 수 있도록 처리하는 과정을 말한다.

 

추출(Extract)

소스 데이터베이스에서 관련 데이터를 추출한다. 추출을 수행하는 데에는 세 가지 방법이 있다. 레코드가 변경되면 시스템이 알려주거나, 특정 레코드(증분데이터)를 지정하여 주기적인 간격으로 추출을 하거나, 전체를 추출하는 방법이다.

 

변환(Transform)

추출한 원시 데이터를 사용할 수 있는 형태로, 운영 요구사항에 맞춰 변환한다. 오류를 제거하고 데이터 형식에 맞춰 정리하고, 중복을 제거하거나, 일관된 형식으로 변환하는 등의 과정이 있다.

 

로드(Load)

변환한 데이터를 애플리케이션의 요구사항에 따라 적재하는 것을 말한다. 데이터 파이프라인 혹은 배치를 통해 증분을 로드하거나, 전체 데이터를 로드한다. 데이터 분석을 위한 결과 예측, 대시보드 등에 활용한다.

 

 

---

참고자료

ETL이란 무엇입니까?, https://aws.amazon.com/ko/what-is/etl/

추출, 변환, 로드(ETL), https://www.databricks.com/kr/glossary/extract-transform-load