목록dataframe (1)

sean.log

Spark 이론

Spark란?Spark: 빅데이터 처리를 위한 오픈소스 분산 처리 플랫폼메모리 기반의 빠른 분산 처리 엔진으로, 대규모 데이터를 빠르게 처리하고 이를 토대로 다양한 분석 및 실시간 서비스에 활용할 수 있도록 인프라와 API를 제공하는 역할을 한다⇒ 처리 엔진이기 때문에 HDFS, S3와 같은 저장소 위에서 계산만 하는 역할!예: 데이터가 요리 재료, HDFS는 냉장고라면 Spark는 요리사 Spark Component요리에 한식, 중식, 양식 등 다양하게 있는 것처럼 Spark의 라이브러리도 비슷하다!예: 구조화된 데이터 처리에는 SparkSQL, 실시간 처리는 Structured StreamingSpark는 여러 워크로드를 위한 라이브러리를 제공한다각각의 컴포넌트는 중심 엔진(Spark Core)과 별..
분산 시스템 2026. 2. 4. 22:06
이전 Prev 1 Next 다음