목록HadoopEco/Spark (1)
.__.
[Spark 개요] 01. 소개, 특징, RDD
- 01.1 Apache Spark가 도대체 뭘까? - 01.2 Apache Spark 특징은 ? - 01.3 RDD가 뭔데? 01.1 Apache Spark 가 도대체 뭘까? 최근 실무에서, 스파크 환경 세팅을 하느라 시스템엔지니어링팀과 짧게 회의를 했다. (방화벽, 네트워크 관련해서...) 그때, 해당 팀 팀원분이 "아 근데, 스파크가 뭐에요?" 라고 하셨다. 나는 "아.. 스파크는요~ 대규모 데이터를 처리하는 분산 처리 API라고 생각해주시면 됩니다 :)" 라고 (얼버무려) 대답했다.ㅋㅋㅋ 취준 시절에는 데이터를 다룰 때 Pandas, Numpy, TF만 사용했었는데.. 어쩌다보니 지금은 Spark 와 MR 만 사용하게 됐다. (그럴수밖에 없는게, 실무에서는 데이터사이즈가 워낙 크니깐..., 아 그..
HadoopEco/Spark
2022. 9. 25. 22:15