spark 버전과 pyspark 버전이 다를 때 발생하는 에러로
pip3 freeze로 pyspark 버전을 확인하고 spark-shell --version으로 spark 버전을 확인하고 두개를 비교해보고 돌리도록 하자
'Data Analysis and ML, DL > 스파크' 카테고리의 다른 글
| [Pyspark] Colab No module Named 'mmlspark.lightgbm._LightGBMRegressor' (0) | 2020.11.18 |
|---|---|
| [Pyspark] Pyspark 데이터 전처리 기본기 (0) | 2020.11.18 |
| [Pyspark] Pyspark 데이터 전처리 기본기 (0) | 2020.11.17 |
| [Pyspark] Trouble Shooting (0) | 2020.11.17 |
| [Pyspark] java gateway process exited before sending the driver its port number (0) | 2020.11.17 |