[Spark 에러] Service 'sparkDriver' could not bind on a random free port.

PySpark로 코드 작성 중 실행하니 갑자기 아래와 같은 에러가 발생했다.

 

WARN Utils: Service 'sparkDriver' could not bind on a random free port. You may check whether configuring an appropriate binding address.

ERROR SparkContext: Error initializing SparkContext.
java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries (on a random free port)! Consider explicitly setting the appropriate binding address for the service 'sparkDriver' (for example spark.driver.bindAddress for SparkDriver) to the correct binding address.

 

이는 두가지 방법으로 해결이 가능한데

 

1) Spark config설정에서 아래와 같이 설정해주거나

 

spark.driver.bindAddress=127.0.0.1

 

2) 호스트네임을 hosts 파일에 추가해주면 된다.

 

hostname은 Terminal에서 hostname 명령어 입력시 알수있다.

출력된 이름을 /etc/hosts 파일에 아래와 같이 추가해주면된다.

 

127.0.0.1 <your hostname>

 

 

 

설정 후 정상적으로 실행되는것을 확인할수있다.