빅데이터기술4 [데이터엔지니어링] 4. 빅데이터 수집 빅데이터 수집 개요 "정보 없이 데이터만 가질 수 있다. 하지만 데이터 없이 정보를 가질 수는 없다." - 대니얼 키즈 모란 빅데이터 수집에 활용할 기술 1. 플럼 (Flume) 공식홈페이지 http://flume.apache.org 주요 구성 요소 Source 수집한 데이터를 Channel로 전달 Sink 수집한 데이터를 Channel로 전달받아 최종 목적지에 저장하기 위한 기능 Channel Source와 Sink를 연결하며, 데이터를 버퍼링하는 컴포넌트로 메모리, 파일, 데이터베이스를 채널의 저장소로 활용 Interceptor Source와 Channel 사이에서 데이터 필터링 및 가공하는 컴포넌트 Agent Source → (Interceptor) → Channel → Sink 컴포넌트 순으로 구.. 2021. 7. 27. [데이터엔지니어링] 3. 가상 머신 복제 (3개의 서버 구축) 가상 머신 복제 (Server02) 저는 3개의 서버가 필요하기 때문에 2개의 서버를 더 만들기 위해 가상 머신을 복제를 수행하겠습니다. 성공적으로 가상 머신을 복제하면 Server02에 로그인합니다. 접속하면 다음 명령을 입력합니다. vi /etc/sysconfig/network-scripts/ifcfg-eth0 기존에 Server01에 MAC 주소와 고정 IP를 수정해야 합니다. 고정 IP : 192.168.56.101 → 192.168.56.102 MAC 주소는 설정 → 네트워크 → 어댑터 2에서 MAC 주소를 확인할 수 있습니다. vi /etc/udev/rules.d/70-persistent-net.rules 다음은 Server01에서 설정한 네트워크 룰에서 더 추가된 사항들을 주석처리해줍니다. .. 2021. 7. 15. [데이터엔지니어링] 2. CentOs 6 환경 설정 (빅데이터 소프트웨어 설치 준비) CentOs에 환경을 설정하여 빅데이터 관련 소프트웨어를 설치할 준비를 합니다. 1. X-Window 부팅 해제하기 su root를 처음 실행할 경우 초기 비밀번호를 설정하게 됩니다. su root vi /etc/inittab id:5:initdefault → id:3:initdefault 로 변경 설정 저장(:wq) 후 reboot하면 앞으로 CentOs 실행 시 X-Window 없이 실행됩니다. 앞으로 root 계정을 이용하겠습니다. reboot 2. 가상 머신에 고정 IP와 네트워크 설정 vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=본인MAC주소입력 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static IPA.. 2021. 7. 10. [데이터엔지니어링] 1. 가상화 환경 구축 (VirtualBox, CentOs 6 설치) 가상화 환경을 구축하기 Oracle VirtualBox를 설치하고 그 위에 CentOs 6(Linux) 환경을 설치 후 설정까지 해보겠습니다. 1. Oracle VirtualBox 설치 설치 링크 https://www.virtualbox.org/ Oracle VM VirtualBox Welcome to VirtualBox.org! News Flash Important May 17th, 2021We're hiring! Looking for a new challenge? We're hiring a VirtualBox senior developer in 3D area (Europe/Russia/India). New April 29th, 2021VirtualBox 6.1.22 released! Oracle to.. 2021. 7. 7. 이전 1 다음
