rdd – 智云一二三科技

Spark入门详解——2

转换， Transformations 操作是 Lazy 的，也就是说从一个 RDD 转换生成另一个 RDD 的操作不是马上执行， Spark 在遇到 Transformations操作时只会记录需要这样的操作，并不会去执行，需要等到有 Actions 操作的时候才会真正启动计

java 2023年9月8日点赞(2)评论关闭阅读(59)

1，transformation是得到一个新的RDD，方式很多，比如：1.1 从Hadoop文件系统（如HDFS、Hive、HBase）输入创建1.2 从父RDD转换得到新RDD1.3 通过parallelize或makeRDD将单机数据创建为分布式RDD1.

java 2023年7月30日点赞(1)评论关闭阅读(70)

市面上大多都是Scala的教程，这里专门介绍如何使用Java编写相关Spark程序。什么是RDDRDD 全称是 resilient distributed dataset ，中文大概意思是“弹性分布式数据集”。

java 2023年7月29日点赞(1)评论关闭阅读(102)

1.应用库SparkSQLSparkSQL的特点：1、支持多种数据源：Hive、RDD、Parquet、JSON、JDBC等。

java 2023年6月19日点赞(1)评论关闭阅读(58)

1，transformation是得到一个新的RDD，方式很多，比如：1.1 从Hadoop文件系统（如HDFS、Hive、HBase）输入创建1.2 从父RDD转换得到新RDD1.3 通过parallelize或makeRDD将单机数据创建为分布式RDD1.

java 2023年2月9日点赞(1)评论关闭阅读(103)

1，transformation是得到一个新的RDD，方式很多，比如：1.1 从Hadoop文件系统（如HDFS、Hive、HBase）输入创建1.2 从父RDD转换得到新RDD1.3 通过parallelize或makeRDD将单机数据创建为分布式RDD1.

java 2022年12月12日点赞(0)评论关闭阅读(126)