全部 大数据新闻动态 大数据技术文章 大数据常见问题 技术问答

• • 

    RDD有什么特征？

    RDD( Resilient Distributed Dataset，弹性分布式数据集)，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，若是后面需要中间结果参与计算时，则可以直接从内存中读取，从而可以极大地提高计算速度。 查看全文>>

    大数据技术文章2020-12-22 |传智教育 |RDD特征

  • 

    win10下载安装Scala及环境变量配置教程【亲测生效】

    Scala语言可以在Windows、Linux、Mac OS等系统上编译运行。由于Scala是运JVM平台上的，所以安装Scala之前必须配置好JDK环境(JDK版本要求不低于1.5)。 查看全文>>

    大数据技术文章2020-12-22 |黑马程序员 |win10下载安装Scala,Scala环境变量配置

  • 

    RDD为什么要进行数据持久化？持久化操作步骤

    在Spark中，RDD是采用惰性求值，即每次调用行动算子操作，都会从头开始计算。然而，每次调用行动算子操作，都会触发一次从头开始的计算，这对于迭代计算来说，代价是很大的，因为迭代计算经常需要多次重复的使用同一组数据集，所以，为了避免重复计算的开销，可以让Spark对数据集进行持久化。 查看全文>>

    大数据技术文章2020-12-22 |传智教育 |RDD数据持久化操作,持久化机制,RDD,Spark

  • 

    如何远程登录Hadoop虚拟机和开启SSH服务？

    完成虚拟机的安装和网络配置，虽然可以正常使用，但是工作中还需要远程操纵服务器进行各项操作，所以就需要对虚拟机实行配置远程登录和SSH免密登录，进行相关操作。接下来，就分别对这两种服务配置进行说明和详细讲解。 查看全文>>

    大数据技术文章2020-12-22 |传智教育 |Hadoop虚拟机,SSH服务,远程登录虚拟机

  • 

    如何使用HBase分布式数据库？常见的Java API类型有几种？

    HBase是由Java语言开发的，它对外提供了Java API的接口。接下来，通过Java API来操作HBase分布式数据库，包括增、删、改以及查等对数据表的操作，具体操作步骤如下： 查看全文>>

    大数据技术文章2020-12-22 |传智教育 |HBase的Java API操作步骤,常见的Java API

  • 

    RDD是如何操作数据转换的？RDD转换算子API示例

    RDD处理过程中的“转换”操作主要用于根据已有RDD创建新的RDD，每一次通过Transformation算子计算后都会返回一个新RDD，供给下一个转换算子使用。面，我们通过结合具体的示例对这些转换算子API进行详细讲解。 查看全文>>

    大数据技术文章2020-12-21 |传智教育 |RDD,转换算子,RDD数据处理

  • 

    Scala语言是什么？有什么特点？如何安装？

    Scala于2001年由瑞士洛桑联邦理工学院(EPFL)编程方法实验室研发，它由Martin Odersky(马丁·奥德斯基)创建。目前，许多公司依靠Java进行的关键性业务应用已转向或正在转向Scala，以提高应用程序的可扩展性和整体的可靠性，从而提高开发效率。Scala是Scalable Language的简称，它是一门多范式的编程语言，其设计初衷是实现种可扩展的语言，并集成面向对象编程和函数式编程的各种特性。基于这个目标与设计，Scala具有以下显著的特性。 查看全文>>

    大数据技术文章2020-12-21 |传智教育 |Scala语言是什么,Scala特点

  • 

    怎样使用Spark Shell来读取HDFS文件？

    使用Scala语言开发单词计数Spark程序，现有文本文件words.txt(读者需要在本地创建文件并上传至指定目录)在HDFS中的/spark/test路径下如果使用Spark Shell来读取HDFS中的/spark/test/ words.txt文件，具体步骤如下： 查看全文>>

    大数据技术文章2020-12-21 |传智教育 |Shell读取文件,运行Spark

  << < 1 2 3 4 5 6 7 8 9 ... 38 > >>