标签： hadoop

大数据系列（二）之 hdfs 分布式文件系统详解

在了解HDFS之前，我们先来简单介绍一下Hadoop：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

java 2023年9月10日点赞(2)评论关闭阅读(71)

主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。

java 2023年9月7日点赞(9)评论关闭阅读(109)

【此文章转自乐字节】目前来说Java的应用领域很广，可以说是现在最普及的，遍布各行各业，可见其优势所在。1、大数据领域Hadoop以及其他大数据处理技术普遍用的都是Java，当然其他语言也有用到，基于Java 的 HBase和Accumulo以及ElasticSearchas。

java 2023年8月31日点赞(1)评论关闭阅读(78)

1 openssh安装，便于远程上传文件。可以在Xshell工具中通过rz调出上传文件的窗口进行文件上传，也可以通过sz 文件名下载某一个文件。

java 2023年8月29日点赞(3)评论关闭阅读(65)

1、故障现象MicrosoftWindows[版本10.0.18362.239]。C:\Users\Chirius>hadoopversion。

java 2023年8月18日点赞(1)评论关闭阅读(49)

它有着MPP数据库分析的性能，支持丰富合规的ANSI SQL，能够被hadoop生态圈集成和管理，灵活可扩展的数据格式的支持。

java 2023年8月13日点赞(5)评论关闭阅读(86)

一、回顾常用的命令在上篇文章中整理了 HDFS 常用的命令，这里进行简单的回顾。ls 命令用来查看 HDFS 系统中的目录和文件，命令如下：$ hadoop fs -ls /put 命令用来将本地文件上传到 HDFS 系统中，命令如下：$ hadoop fs -put test.

java 2023年8月10日点赞(2)评论关闭阅读(63)

本次实验，在 Hadoop 平台上，使用 MapReduce 实现了数据的全局排序。集群模式我们没有足够的机器，单机模式很难体现出分布式的优势，所以我们选用伪分布式。

java 2023年8月9日点赞(1)评论关闭阅读(70)

Hive中有3种UDF：UserDefined Functions、User Defined Aggregation Functions、User Defined Table Generating Functions。

java 2023年8月3日点赞(2)评论关闭阅读(86)

1. Spark的简介 Spark是UC Berkeley AMPLab开发的是一种计算框架，分布式资源工作交由集群管理软件，底层是用scala语言实现的。

java 2023年7月24日点赞(1)评论关闭阅读(95)