hadoop的发展历史

❶ 大数据与Hadoop之间的关系

大数据开发人员可复以制通过Hadoop提供的系统级服务支持从而帮助企业完成大数据改造，对于开发人员来说，只需要关注于具体的服务实现就可以了，系统级功能已经由Hadoop提供了实现。所以，Hadoop是大数据开发人员的重要基础。

由于Hadoop对硬件的要求并不高，所以很多初学者（有Ja-va基础）都是从Hadoop开始学习大数据的，目前很多商用大数据平台也是基于Hadoop的。

❷ 如何删除 hadoop spark 历史application

hadoop 添加删除datanode及tasktracker

首先：

建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。

1、删除datanode

修改namenode上的hdfs-site.xml

<property>
<name>dfs.hosts</name>
<value>/usr/local/hadoop/conf/datanode-allow-list</value>
</property>

<property>
<name>dfs.hosts.exclude</name>
<value>/usr/local/hadoop/conf/datanode-deny-list</value>
</property>

其中dfs.host列出了连入namenode的节点，如果为空，则所有的datanode都可以连入namenode。如果不为空，则文件中存在的datanode可以连入。
dfs.hosts.exclude列出了禁止连入namenode的节点。
如果一个节点同时存在于dfs.hosts和dfs.hosts.exclude，则禁止连入。

具体步骤

（1）将要删除的datanode加入到dfs.hosts.exclude指定的文件中。（最好使用主机名，IP有时可能不生效）

（2）动态刷新配置，不需要重启namenode

hadoop dfsadmin -refreshNodes

（3）通过hadoop dfsadmin -report或webui，可以看到，该datanode的状态为Decommissioning

（4）等待一段时间，该节点为dead状态。

（5）删除dfs.hosts文件中该节点 即下架目标机器后，再次编辑dfs.hosts.exclude，把刚才下架的机器的ip或机器名移走

（6）

hadoop dfsadmin -refreshNodes

注：按照上面的操作后，如果你想要重新启用该节点为datanode，从dfs.hosts.exclude中删除该节点，refreshNodes，然后，到该节点上，重启启动该datanode：

/usr/local/hadoop/bin/hadoop-daemon.sh stop datanode
/usr/local/hadoop/bin/hadoop-daemon.sh start datanode

注:正确的删除datanode的方法应该是按照上面的方法，使用exclude文件，而不应该直接去datanode上去sotp datanode，这样会造出数据丢失，而且stop以后，webui和hadoop dfsadmin -report都仍然显示该datanode节点。除非重新启动namenode。
之所以重新启用exclude的节点时可以stop datanode，因为此时该datanode不包含在cluster中，所以，stop后不会造成数据丢失。

2、添加datanode
如果存在dfs.hosts文件，且不为空，则添加新的datanode到该文件中，refreshNodes。
到新节点上，启动即可

/usr/local/hadoop/bin/hadoop-daemon.sh start datanode

如果不存在dfs.hosts文件，或文件为空，直接启动新节点即可。

3、删除tasktracker
原理和步骤与删除datanode一样。
<property>
<name>mapred.hosts</name>
<value>/usr/local/hadoop/conf/tasktracker-allow-list</value>
</property>

<property>
<name>mapred.hosts.exclude</name>
<value>/usr/local/hadoop/conf/tasktracker-deny-list</value>
</property>

动态刷新配置的命令为：
hadoop mradmin -refreshNodes
立刻生效，可以在webui中看到，nodes节点数量的变化，以及Excluded Nodes节点的变化。
具体的步骤参考上面的删除datanode的步骤

注：按照上面的操作后，如果你想要重新启用该节点为tasktracker，从mapred.hosts.exclude中删除该节点，refreshNodes，然后，到该节点上，重启启动该tasktracker：

/usr/local/hadoop/bin/hadoop-daemon.sh stop tasktracker
/usr/local/hadoop/bin/hadoop-daemon.sh start tasktracker

注:正确的删除tasktracker的方法应该是按照上面的方法，使用exclude文件，而不应该直接去tasktracker上去sotp tasktracker，这样会造成job失败，而且stop以后，webui上仍然显示该tasktracker节点。除非重新启动jobtracker。

我遇到的一个问题：
在exclude文件中，我使用了IP，发现tasktracker仍然参与计算。
在webui中发现，Excluded Nodes中存在该IP，Nodes中仍然存在该tasktracker的hostname。
解决的办法就是，在exclude中使用hostname而不使用IP。
判断是否真正生效：如果exclued文件中正确的填写了要失效的node，则总得nodes数量应该减小。

4、添加tasktracker
如果存在mapred.hosts文件，且不为空，则添加新的tasktracker到该文件中，refreshNodes。
到新节点上，启动即可

/usr/local/hadoop/bin/hadoop-daemon.sh start tasktracker

如果不存在mapred.hosts文件，或文件为空，直接启动新节点即可。

6、添加或删除datanode后，平衡磁盘利用率
运行bin/start-balancer.sh，这个会很耗时间
备注：
如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mr的工作效率；

/usr/local/hadoop/bin/start-balancer.sh -threshold 0.1
7下架目标机器后，再次编辑mapred.hosts.exclude，把刚才下架的机器的ip或机器名移走

threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长。
balancer也可以在有mr job的cluster上运行，默认dfs.balance.bandwidthPerSec很低，为1M/s。在没有mr job时，可以提高该设置加快负载均衡时间。
在namenode的hdfs-site.xml中增加设置balance的带宽，默认只有1M：

<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value><description>Specifies themaximum bandwidth that each datanode can utilize for the balancing purpose interm of the number of bytes per second.</description>
</property>

❸ Hadoop，Hive，Spark 之间是什么关系

历史上存在复的原理制，以前都是使用hive来构建数据仓库，所以存在大量对hive所管理的数据查询的需求。而hive、shark、sparlSQL都可以进行hive的数据查询。shark是使用了hive的sql语法解析器和优化器，修改了执行器，使之物理执行过程是跑在spark上；而sparkSQL是使用了自身的语法解析器、优化器和执行器，同时sparkSQL还扩展了接口，不单单支持hive数据的查询，可以进行多种数据源的数据查询。大讲台为您解答，希望可以帮助到你

❹ 如何学习hadoop

推荐一些Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

一、学习路线图
Hadoop家族学习路线图 开篇必读
Hive学习路线图
Mahout学习路线图
二、编程实践
Hadoop历史版本安装
用Maven构建Hadoop项目
Hadoop编程调用HDFS
用Maven构建Mahout项目
Mahout推荐算法API详解
用MapRece实现矩阵乘法
从源代码剖析Mahout推荐引擎
Mahout分步式程序开发 基于物品的协同过滤ItemCF
Mahout分步式程序开发 聚类Kmeans
PageRank算法并行实现
三、案例分析
海量Web日志分析 用Hadoop提取KPI统计指标
用Hadoop构建电影推荐系统
用Mahout构建职位推荐引擎
Mahout构建图书推荐系统
PeopleRank从社交网络中发现个体价值

❺ 如何架构大数据系统 hadoop

大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。

一、大数据建设思路

1）数据的获得

四、总结

基于分布式技术构建的大数据平台能够有效降低数据存储成本，提升数据分析处理效率，并具备海量数据、高并发场景的支撑能力，可大幅缩短数据查询响应时间，满足企业各上层应用的数据需求。

❻ 大数据时代发展历程是什么

可按照时间点划分大数据的发展历程。

❼ hadoop的历史日志如何查看

hadoop的日志主要是MapRece程序，运行过程中，产生的一些数据日志，除了系统的日志外专，还包含一属些我们自己在测试时候，或者线上环境输出的日志，这部分日志通常会被放在userlogs这个文件夹下面，我们可以在mapred-site.xml里面配置运。

❽ 如何清理hadoop过期历史数据

hadoop过期历史数据？指的是任务日志以及任务记录文件吗？直接删除就好了吧

❾ 有hadoop 还需要历史拉链表吗

1.采集当日全量数据存储到 ND（当日） 表中。
2.可从历史表中取出昨日全量数据存储到 OD（上日数据）表中。
3.用ND－OD为当日新增和变化的数据（即日增量数据）。

❿ hadoop操作命令记录在哪

Hadoop自身是否有记录不清楚，但Hadoop是部署在linux上的，可以通过linux的历史命令查看。
1、专history
2、fc -l
可以用grep过滤，例如：
history |属 grep 'hadoop'
或history | grep 'hdfs'