Spark(10) - 프로그램 구조

Spark Session 생성

Spark 프로그램의 시작은 Spark Session 이라는 Object를 만드는 것 그리고 Spark Session에 다양한 환경설정을 하게 됨 

• 프로그램마다 하나를 만들어 Spark Cluster와 통신: Singleton 객체
• Spark 2.0에서 처음 소개됨

Spark Session을 통해 Spark이 제공해주는 다양한 기능을 사용 

• DataFrame, SQL, Streaming, ML API 모두 이 객체로 통신
• config 메소드를 이용해 다양한 환경설정 가능
• 단 RDD와 관련된 작업을 할때는 SparkSession 밑의 sparkContext 객체를 
  사용

Spark Session API 문서

pyspark.sql.SparkSession — PySpark 3.1.1 documentation (apache.org)

pyspark.sql.SparkSession — PySpark 3.1.1 documentation