목록spark (1)

아쿠의 개발 일지

[Data] Apache Spark : 대규모 데이터 처리

Apache Spark란 ?Apache Spark는 대규모 데이터를 빠르게 처리하기 위한 분산 컴퓨팅 시스템입니다. Spark는 메모리 내 처리(in-memory processing) 방식으로, 하둡(MapReduce)보다 빠르게 데이터를 처리할 수 있습니다. Spark는 다양한 데이터 소스와 통합이 가능하고, 실시간 처리(Streaming), 기계 학습(MLlib), SQL 쿼리(Spark SQL), 그래프 처리(GraphX) 등 여러 용도로 사용할 수 있습니다. Spark 활용 방법데이터 처리: Spark는 RDD(Resilient Distributed Dataset)를 사용하여 데이터를 분산 처리합니다. 이를 통해 대규모 데이터를 빠르게 처리할 수 있습니다.실시간 데이터 처리: Spark Strea..
DataBase 2025. 1. 10. 12:38
이전 Prev 1 Next 다음