-
spark maxRecordsPerFile 로 파일 크기 관리카테고리 없음 2021. 5. 1. 23:45
df.write.option("maxRecordsPerFile", 5000)
파일당 5000개의 row를 가지도록 저장된다.
spark property에서도 spark.sql.files.maxRecordsPerFile로 설정할 수 있다.
spark.apache.org/docs/latest/configuration.html
Configuration - Spark 3.1.1 Documentation
Spark Configuration Spark provides three locations to configure the system: Spark properties control most application parameters and can be set by using a SparkConf object, or through Java system properties. Environment variables can be used to set per-mac
spark.apache.org