페이지 트리
메타 데이터의 끝으로 건너뛰기
메타 데이터의 시작으로 이동

소개

  • ETL이란 데이터를 추출하고 변환하고 올리는 기능을 의미함
    • Extraction → Transformation → Loading
  • ETL 도구는 본질적으로 데이터 마이그레이션을 위한 도구로 사용됨

ETL 소프트웨어

  • ETL 도구 중에서 Pentaho Kettle과 Talend가 대표주자라고 할 수 있음
  • Kettle은 상용이라서 기능은 많지만 비용 문제가 존재함
  • 결국 선택지는 Talend 밖에 없음

활용 방안

  • Oracle DB –> ETL 도구 –> MySQL
  • 물론 데이터 소스는 DB 뿐만 아니라 파일, FTP, Hadoop도 가능함

특징

  • 이 과정을 복잡하게 코드로 만들 필요가 없음
  • 다음의 과정대로 몇 번 클릭하고 설정을 입력해주면 배치 job이 만들어짐
    1. source 연결 설정 해주고
    2. target 정하고
    3. source로부터 가져올 필드 고르고
    4. 실행
    5. 데이터가 변환되어서 마이그레이션됨
  • 매번 작업할 때마다 매핑을 해줄 필요도 없음
    • 자체 프로젝트 파일로 저장해두면 됨
    • 심지어는 배치 프로그램으로 실행할 수 있도록 자바 소스코드로 export하는 기능도 제공됨

예제

  • mysql에서 데이터를 뽑아서 json 파일로 dump하는 job 예제
  • 레이블 없음
댓글 쓰기...