Breaking
빅데이터/블록체인/데이터마이닝
빅 데이터에 대한 통찰력, '스파크' 성공비결
2017-12-06 12:07:00
박유환

[에이아이타임스=박유환 기자] ▲아파치 스파크는 오늘날 가장 큰 빅 데이터 플랫폼 중 하나다(사진=123rf)

하둡의 후속작으로 언급된 아파치 스파크는 오늘날 가장 큰 빅 데이터 플랫폼 중 하나다.  오랜 시간 동안 빅 데이터에는서 큰 진보를 이뤘고 2017년도 마찬가지다. 

스파크의 채택은 주요 데이터 플랫폼이 스파크와 연동해 상호 운용돼 커뮤니티가 기하 급수적으로 성장함에 따라 갈수록 유명해지고 있다. 주 계약자와 프로젝트 관리 위원회(PMC)는 이미 유명한 IBM, 페이스북 및 마이크소로프트다.

최신 데이터브릭스 기술에 추가 된 델타는 모든 데이터 프로세싱이 클라우드의 모든 부분과 스케일에서 처리되도록 AWS S3 스토리지보다 상위의 스마트 캐시 레이어며 구글과 Azure도 곧 뒤따를 예정이다.

스파크의 성공 비결은 간단하다. 유용성과 성능에 중점을 둔 통합 프레임 워크, 강력한 오픈 소스 기반과 커뮤니티는 모두 현재의 성공에 기여한다.