按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 114
海峡 | 2016-04-27 18:59:36 | 阅读(0) | 评论(0)
http://www.thebigdata.cn/hadoop/9572.html 注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。   1. ResourceManager相关配置参数   (1) yarn.resourcemanager.address   参数解释:ResourceManager 对客户端暴露的地址。客户端【阅读全文】
Larpenteur | 2016-04-27 03:40:54 | 阅读(0) | 评论(0)
【HADOOP】 hadoop+lucene
hiyachen | 2016-04-23 13:24:26 | 阅读(30) | 评论(0)
http://www.iteye.com/topic/1134660 hadoop是Lucene的子项目,现在发展如火如荼,如何利用hadoop的分布式处理能力,来给Lucene提高建索引的效率呢,如此一来,便能充分利用HDFS的所有优点,但众所周知,HDFS系统,对随机读支持的并不友好,而像Lucene这种全文检索的框架,几乎所有的检索操作,都离不开随机读写的操作,那么如何才能使Lucene【阅读全文】
【系统运维】 hadoop 常用命令
海峡 | 2016-04-22 14:01:04 | 阅读(0) | 评论(0)
hadoop dfs –ls就是查看/usr/root目录下的内容,默认如果不填路径这就是当前用户路径; hadoop dfs –rmr xxx就是删除目录,还有很多命令看看就很容易上手; hadoop dfsadmin –report这个命令可以全局的查看DataNode的情况; hadoop job后面增加参数是对于当前运行的Job的操作,例如list,kill等; 【阅读全文】
虹波2016 | 2016-04-19 10:13:51 | 阅读(4470) | 评论(0)
zghover | 2016-04-14 15:54:55 | 阅读(0) | 评论(0)
在linux系统上安装hadoop 说明: 我的系统是centos 5.4 1, 添加hadoop管理账号 hadoop-user useradd hadoop-user 2, 修改主机名 vi /etc/hosts 192.168.0.4 master 192.168.0.3 node1 192.168.0.5 node2 3, 开启ssh服务,并把ssh设置成无密码登录。 注意要使用用户hadoop【阅读全文】
海峡 | 2016-04-12 15:39:31 | 阅读(0) | 评论(0)
1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ? 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,可是随着代【阅读全文】
【架构设计与优化】 hadoop进程启动过程分析
海峡 | 2016-04-11 21:27:15 | 阅读(0) | 评论(0)
http://blog.csdn.net/zklth/article/details/11617479 http://weixiaolu.iteye.com/blog/1397519 使用start-dfs.sh启动hdfs进程的详细过程 涉及的脚本有: bin下: hadoop-config.sh start-dfs.sh hadoop-daemons.sh slaves.sh hadoop-daemon.sh hadoop conf下: hadoop-env.sh 其中 hadoop-config.sh 和 hadoop-e【阅读全文】
【大数据】 hadoop集群快速搭建
dusir120 | 2016-04-10 17:15:45 | 阅读(0) | 评论(0)
我们将部署一个五结点的hadoop集群,集群架构如下图: 1.其中nameNode主节点和DataNode从节点的分布情况如下: nameNode主节点 DataNode从节点 192.168.10.161 192.168.10.162 【阅读全文】
【服务器与存储】 hadoop2集群搭建过程
niao5929 | 2016-03-24 13:08:59 | 阅读(90) | 评论(0)
hadoop2集群搭建过程 [日期:2016-03-23] 来源:Linux社区 作者:zouqingyun [字体:大中小] 在这里我选用4台机器进行示范,各台机器的职责如下表格所示 (说明: 1. ZooKeepe使用其它节点的 2.hadoop0节点安装所有的master, h【阅读全文】
海峡 | 2016-03-22 16:25:23 | 阅读(0) | 评论(0)
注:本文的主要目的是为了转载前辈的学习过程,也方便与大家做交流。转载请注明来自: http://blog.csdn.net/ab198604/article/details/8250461 要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起【阅读全文】
zzjlzx | 2016-03-21 10:38:53 | 阅读(30) | 评论(0)
hadoop虚拟化扩展(HVE)之资源扩展技术 作者:vBigData发布日期:2013-11-07 10:22:29 背景 在虚拟化的云环境中,hadoop可以有更好的“弹性”,这是云计算的一个重要优势,例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个Hado【阅读全文】
zzjlzx | 2016-03-21 10:35:48 | 阅读(30) | 评论(0)
正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置 作者:weir2010发布日期:2014-06-09 18:03:05 环境虚拟机centos6.5 主机名h3 IP 192.168.137.11 作为DNS FNS的服务器 主机名h4 IP 192.168.137.12 主机名h3 IP 192.168.137.13 【阅读全文】
levy-linux | 2016-03-17 17:42:57 | 阅读(30) | 评论(0)
hadoop之steaming介绍 hadoop有个工具叫做steaming,能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言,其运行原理可以通过和标准java的map-reduce程序对比来说明: 使用原生java语言实现Map-reduce程序 hadoop准备好数据后,将数据传送给java的map程序 java的map程序将数据处理后,输出O1 had【阅读全文】
jelon521 | 2016-03-15 15:58:04 | 阅读(30) | 评论(0)
niao5929 | 2016-03-10 08:06:32 | 阅读(60) | 评论(0)
hadoop2.2.0上Spark伪分布式安装 [日期:2016-03-09] 来源:Linux社区 作者:yeruby [字体:大中小] hadoop2.2.0上Spark伪分布式安装过程笔记。 1. 从官网上下下载合适的版本: http://spark.apache.org/downloads.html 【阅读全文】
niao5929 | 2016-03-10 08:05:36 | 阅读(60) | 评论(0)
CentOS 6.4+hadoop2.2.0 Spark伪分布式安装 [日期:2016-03-09] 来源:Linux社区 作者:sunflower_cao [字体:大中小] hadoop版本是2.2.0的稳定版本 下载地址 spark版本:spark-0.9.1-bin-hadoop2 下载地址http://spark.apache.org/downloads.htm【阅读全文】
【大数据】 hadoop伪分布式
zhaoritian | 2016-03-04 17:33:08 | 阅读(0) | 评论(0)
speckle | 2016-03-01 08:23:49 | 阅读(0) | 评论(0)
转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/ NameNode 高可用整体架构概述 在 hadoop 1.0 时代,hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 【阅读全文】