플럼1 [데이터엔지니어링] 4. 빅데이터 수집 빅데이터 수집 개요 "정보 없이 데이터만 가질 수 있다. 하지만 데이터 없이 정보를 가질 수는 없다." - 대니얼 키즈 모란 빅데이터 수집에 활용할 기술 1. 플럼 (Flume) 공식홈페이지 http://flume.apache.org 주요 구성 요소 Source 수집한 데이터를 Channel로 전달 Sink 수집한 데이터를 Channel로 전달받아 최종 목적지에 저장하기 위한 기능 Channel Source와 Sink를 연결하며, 데이터를 버퍼링하는 컴포넌트로 메모리, 파일, 데이터베이스를 채널의 저장소로 활용 Interceptor Source와 Channel 사이에서 데이터 필터링 및 가공하는 컴포넌트 Agent Source → (Interceptor) → Channel → Sink 컴포넌트 순으로 구.. 2021. 7. 27. 이전 1 다음
