Apache Spark ofrece soporte integrado para leer y escribir datos en una amplia variedad de formatos y fuentes, lo que facilita la integración con diversos sistemas y herramientas.

Principales Fuentes y Formatos de Datos

1. Archivos locales y distribuidos:
   • CSV, JSON, Parquet, Avro, ORC.
   • Sistemas de archivos distribuidos como HDFS, S3, o Azure Blob Storage.
2. Bases de datos relacionales:
   • MySQL, PostgreSQL, SQL Server mediante conectores JDBC.
3. Bases de datos NoSQL:
   • Cassandra, MongoDB, HBase.

Lectura de Datos

Lectura de archivos CSV

# Leer un archivo CSV
df_csv = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/ruta/archivo.csv")
df_csv.show()

Lectura de archivos JSON

# Leer un archivo JSON
df_json = spark.read.format("json").load("/ruta/archivo.json")
df_json.printSchema()
df_json.show()

Lectura de archivos Parquet

# Leer un archivo Parquet
df_parquet = spark.read.format("parquet").load("/ruta/archivo.parquet")
df_parquet.show()

Lectura desde bases de datos relacionales

# Leer desde MySQL
jdbc_url = "jdbc:mysql://host:puerto/base_de_datos"
propiedades = {"user": "usuario", "password": "contraseña"}

df_mysql = spark.read.jdbc(url=jdbc_url, table="tabla", properties=propiedades)
df_mysql.show()

Escritura de Datos

Escritura en formato CSV

# Guardar un DataFrame en formato CSV
df_csv.write.format("csv").option("header", "true").save("/ruta/salida.csv")