목록spark-shell (1)

Leeds Coding

[Spark] #2. 스파크 분산처리 3대 vs 컴퓨터 1대 속도 비교!

이전 글에서 집에 있는 윈도우 컴퓨터 3대에 스파크 클러스터 환경 구축을 완료하였다. (이전 글에서 방법 참고) 분산처리의 효과를 직접 확인해보기 위하여, 3대의 컴퓨터를 연결한 Spark 클러스터와 그냥 1대의 컴퓨터에서 실행한 것의 속도 차이를 비교해보려고 한다. scala 문법은 아직 모르고 PySpark도 설치하지 않았지만, 간단한 scala 명령은 찾아가며 실행할 수 있을 것이기 때문에 spark-shell을 사용하기로 했다. spark-shell을 실행하기 전에, 이전글에서 처럼 컴퓨터 1대를 Master로 구동하고, 다른 컴퓨터 2대를 Worker로 구동해놓은 상태여야 한다. 그리고 클러스터 환경에서 spark-shell을 실행하려면 주의해야 할 점이 있다. 처음에 잘 몰라서 Master로 ..
데이터엔지니어링 2023. 4. 12. 22:02
이전 Prev 1 Next 다음