Data Analysis and ML, DL/스파크

[Pyspark] py4j.protocol.Py4JError

junha6316 2020. 11. 18. 15:39

 

spark 버전과 pyspark 버전이 다를 때 발생하는 에러로

 

pip3 freeze로 pyspark 버전을 확인하고 spark-shell --version으로 spark 버전을 확인하고 두개를 비교해보고 돌리도록 하자