Taller: SparkR (R on Spark) VI

Conclusiones

Ya podemos usar Spark desde R un lenguaje sencillo y conocido para los que trabajamos con los datos.
Por ahora SparkR es limitado y nos permite tratar con grandes DataFrames de una manera parecida a dplyr.
Si queremos trabajar con más funcionalidades de Spark hay que trabajar con otro lenguaje (¡Python es fácil!).
Se espera que en futuras versiones el paquete sea más completo y poder usar más funcionalidades de Spark.

Además de los ejemplos que hemos visto en este taller podemos hacer algunas más cosas:

Trabajar con tablas de Hive, y otros formatos de Hadoop como Avro de manera fácil.
Conectarnos a bases de datos libres como MySQL o Postgres y también a comerciales como Oracle o Teradata gracias a JDBC como si fuesen Dataframes.
Usar R para muestras pequeñas y de manera exploratoria: Boxplots, gráficos de densidades…
Ampliar el funcionamiento de Spark con paquetes: http://spark-packages.org.
Hacer modelos glm de manera distribuida. Pero no nativamente, si no usando la librería MLlib de Spark: https://spark.apache.org/docs/latest/sparkr.html#machine-learning.