hadoop开发环境搭建
hadoop是一个能够对大量数据进行分布式处理的软件框架。 hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。hadoop 还是可伸缩的，能够处理 pb 级数据。此外，hadoop 依赖于社区服务，因此它的成本比较低，任何人都可以使用。
hadoop开发环境 一、在windows上安装linux双系统
hadoop是运行在linux下的并行计算框架，在windows上搭建也是通过cygwin模拟linux的环境来运行，所以个人觉得直接在windows下搭建hadoop几乎没有任何好处，还不如在windows上安装linux的虚拟机，通过虚拟机中的linux系统来运行hadoop。所以安装linux双系统还是很有必要的。
二、在linux上安装jdk，并配置java环境
0.下载jdk8
登录网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择对应jdk版本下载。（可在windows下下载完成后，通过文件夹共享到linux上）
1.登录linux，切换到root用户
su 获取root用户权限，当前工作目录不变（需要root密码）
2.在usr目录下建立java安装目录
mkdir usr/java
3.将jdk-8u60-linux-x64.tar.gz拷贝到java目录下并解压
cp /mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz /usr/java/
tar -zxvf jdk-8u60-linux-x64.tar.gz得到文件夹jdk1.8.0_60
4.编辑配置文件，配置环境变量
vi /etc/profile
添加如下内容：
java_home=/usr/java/jdk1.8.0_60
classpath=$java_home/lib/
path=$path：$java_home/bin
exportpath java_home classpath
5.重启机器或执行命令：source/etc/profile
查看安装情况：
java-version
javaversion “1.8.0_60”
java（tm）se runtime environment （build 1.8.0_60-b27）
javahotspot（tm） client vm （build 25.60-b23， mixed mode）
三、配置ssh免密码登录
1.确认已经连上互联网，输入命令
sudo apt-get install ssh
2.配置为可以无密码登录本机
首先查看在hewei（对应自己用户）用户下是否存在.ssh文件夹（注意ssh前面有“。”，表示这
是一个隐藏文件夹），输入命令：
ls -a /home/hewei
一般来说，安装ssh时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手动创建
一个。接下来，输入命令：
ssh-keygen -t dsa -p ‘’ -f ~/.ssh/id_dsa
这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是ssh的一对私钥和公钥，
类似于钥匙及锁，把id_dsa.pub（公钥）追加到授权的key里面去。
输入命令：
cat ~/.ssh/id_dsa.pub 》》 ~/.ssh/authorized_keys
这条命令是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。
3.验证ssh是否已安装成功，以及是否可以无密码登录本机
输入命令：
ssh -version
显示结果：
1
显示ssh已经安装成功了。
输入命令：
ssh localhost
显示结果：
2
说明安装成功。
四、安装并运行hadoop ——伪分布式配置
1.进入conf文件夹，修改配置文件：
a.指定jdk的安装位置：
在hadoop-env.sh中：
exportjava_home=”你的jdk安装位置”
b.配置hdfs的地址和端口号：
在conf/core-site.xml中：
《configuration》
《property》
《name》fs.default.name《/name》
《value》hdfs://localhost:9000《/value》
《/property》
《/configuration》
c.配置hdfs的备份方式：
在conf/hdfs-site.xml中：
《configuration》
《property》
《name》dfs.replication《/name》
《value》1《/value》
《/property》
《property》
《name》dfs.permissions《/name》
《value》false《/value》
《/property》
《/configuration》
d.配置mapreduce中jobtracker的地址和端口：
在conf/mapred-site.xml中：
《configuration》
《property》
《name》mapred.job.tracker《/name》
《value》localhost:9001《/value》
《/property》
《/configuration》
f.格式化hadoop并启动验证：
格式化hadoop：
。/bin/hadoop namenode-format
启动hadoop：
。/bin/start-all.sh（全部启动）
验证hadoop是否安装成功，打开浏览器，分别输入网址：
http://localhost:50030（mapreduce的web页面）
http://localhost:50070（hdfs的web页面）
若都能查看，说明hadoop已经安装成功。
五、在linux上安装eclipse
1.安装eclipse：
（1）到http://www.eclipse.org/downloads/，下载eclipsefor linux版本，我下载后文件的完整名称为：
eclipse-java-galileo-sr1-linux-gtk.tar.gz
解压缩后，可以查看根目录下的
（2）将eclipse-sdk-3.2.1-linux-gtk.tar.gz这一个文件放到/opt目录下面（用root执行mv_ _语句才能移进opt文件夹）
（3）在shell中进入/opt/，执行：tar －zxvf eclipse-sdk-4.2.1-linux-gtk.tar.gz语句，解压缩下载文件
（4）在shell中，进入到eclipse目录，cd/opt/eclipse设置文件eclipse执行权：chown-r root：你的用户名eclipse
（5）创建桌面连接
sudogedit /usr/share/applications/eclipse.desktop
加入以下内容：
［desktopentry］encoding=utf-8name=eclipsecomment=eclipsesdkexec=/home/hewei/app/eclipse/eclipseicon=/home/hewei/app/eclipse/icon.xpmterminal=falsetype=applicationcategories=application;development;2.在eclipse中添加hadoop插件
（1）找eclipse安装目录
安装目录：/home/app/eclipse/eclipse/plugins
把/home/hewei/下载/eclipse-plugin/hadoop-1.0.1-eclipse-plugin.jar
复制到plugins中，就有加载hadoop插件
（2）配置hadoop安装目录
window -》preference -》 hadoop map/reduce -》 hadoopinstallation
directory:/home/grid/hadoop-1.0.1 -》点击“ok”
（3）配置map/reduce视图
window -》open perspective -》 map/reduce -》 点击“ok”
window -》show view -》 搜索“map/reducelocations”视图选上-》点击“ok”
在eclipse下方就出现了一个“map/reducelocations选项卡”-》空白地方右键选“new
hadoop location”
location name：mymapred
map/reduce master ： host -》 localhost
dfsmaster ： host -》 localhost
（4）在左边projectexplorer列表框中找到“dfslocations”右键refresh，就会看到
一个目录树，eclipse提供了一个目录树来管理hdfs系统，右键可以创建/删除目录，上传/
查看文件，操作起来很简单，内容与命令hadoopdfs -ls 结果一致
load加载
unload 卸载
upload 上传
download 下载
射频采样：频率规划产生洁净频谱介绍
跳过5G研发6G通信,美国现在都在用6G网络?
各大厂商多款行业5G终端数量曝光，华为数量最多
新能源汽车续航技术大功率（液冷）充电枪组成及原理
明尼苏达大学创造出能避免碰撞事故的新型智能自行车
hadoop开发环境搭建
全球汽车零部件行业发展状况和产业链分析和进入和的发展主要障碍
通信系统关键的AD器件发展情况及瓶颈
聚类分析基本概念梳理
即时通讯系统为什么选择 GaussDB(for Redis)？
TI推出全新的4K超高清UHD芯片组 4K超高清应用再扩展
基于HX711的高精度电子秤的设计
力科公司推出quantumdata M42de生成器 支持最新DisplayPort 2.1规范
冰箱压缩机是干什么用的_冰箱压缩机启动方式
全新IoT MCU芯片联盛德W806
针对双SCART机顶盒设计的两种方案介绍
陈记顺和潮汕牛肉加盟费多少
手机厂商的最终生态闭环：苹果自造运营商计划测试下一代5G无线技术
智能家居小助手——黑科技智能魔镜
魅蓝5C和魅蓝5S哪个好？魅蓝5C和魅蓝5S区别对比分析
hadoop开发环境 一、在windows上安装linux双系统
hadoop是运行在linux下的并行计算框架，在windows上搭建也是通过cygwin模拟linux的环境来运行，所以个人觉得直接在windows下搭建hadoop几乎没有任何好处，还不如在windows上安装linux的虚拟机，通过虚拟机中的linux系统来运行hadoop。所以安装linux双系统还是很有必要的。
二、在linux上安装jdk，并配置java环境
0.下载jdk8
登录网址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
选择对应jdk版本下载。（可在windows下下载完成后，通过文件夹共享到linux上）
1.登录linux，切换到root用户
su 获取root用户权限，当前工作目录不变（需要root密码）
2.在usr目录下建立java安装目录
mkdir usr/java
3.将jdk-8u60-linux-x64.tar.gz拷贝到java目录下并解压
cp /mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz /usr/java/
tar -zxvf jdk-8u60-linux-x64.tar.gz得到文件夹jdk1.8.0_60
4.编辑配置文件，配置环境变量
vi /etc/profile
添加如下内容：
java_home=/usr/java/jdk1.8.0_60
classpath=$java_home/lib/
path=$path：$java_home/bin
exportpath java_home classpath
5.重启机器或执行命令：source/etc/profile
查看安装情况：
java-version
javaversion “1.8.0_60”
java（tm）se runtime environment （build 1.8.0_60-b27）
javahotspot（tm） client vm （build 25.60-b23， mixed mode）
三、配置ssh免密码登录
1.确认已经连上互联网，输入命令
sudo apt-get install ssh
2.配置为可以无密码登录本机
首先查看在hewei（对应自己用户）用户下是否存在.ssh文件夹（注意ssh前面有“。”，表示这
是一个隐藏文件夹），输入命令：
ls -a /home/hewei
一般来说，安装ssh时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手动创建
一个。接下来，输入命令：
ssh-keygen -t dsa -p ‘’ -f ~/.ssh/id_dsa
这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是ssh的一对私钥和公钥，
类似于钥匙及锁，把id_dsa.pub（公钥）追加到授权的key里面去。
输入命令：
cat ~/.ssh/id_dsa.pub 》》 ~/.ssh/authorized_keys
这条命令是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。
3.验证ssh是否已安装成功，以及是否可以无密码登录本机
输入命令：
ssh -version
显示结果：
1
显示ssh已经安装成功了。
输入命令：
ssh localhost
显示结果：
2
说明安装成功。
四、安装并运行hadoop ——伪分布式配置
1.进入conf文件夹，修改配置文件：
a.指定jdk的安装位置：
在hadoop-env.sh中：
exportjava_home=”你的jdk安装位置”
b.配置hdfs的地址和端口号：
在conf/core-site.xml中：
《configuration》
《property》
《name》fs.default.name《/name》
《value》hdfs://localhost:9000《/value》
《/property》
《/configuration》
c.配置hdfs的备份方式：
在conf/hdfs-site.xml中：
《configuration》
《property》
《name》dfs.replication《/name》
《value》1《/value》
《/property》
《property》
《name》dfs.permissions《/name》
《value》false《/value》
《/property》
《/configuration》
d.配置mapreduce中jobtracker的地址和端口：
在conf/mapred-site.xml中：
《configuration》
《property》
《name》mapred.job.tracker《/name》
《value》localhost:9001《/value》
《/property》
《/configuration》
f.格式化hadoop并启动验证：
格式化hadoop：
。/bin/hadoop namenode-format
启动hadoop：
。/bin/start-all.sh（全部启动）
验证hadoop是否安装成功，打开浏览器，分别输入网址：
http://localhost:50030（mapreduce的web页面）
http://localhost:50070（hdfs的web页面）
若都能查看，说明hadoop已经安装成功。
五、在linux上安装eclipse
1.安装eclipse：
（1）到http://www.eclipse.org/downloads/，下载eclipsefor linux版本，我下载后文件的完整名称为：
eclipse-java-galileo-sr1-linux-gtk.tar.gz
解压缩后，可以查看根目录下的
（2）将eclipse-sdk-3.2.1-linux-gtk.tar.gz这一个文件放到/opt目录下面（用root执行mv_ _语句才能移进opt文件夹）
（3）在shell中进入/opt/，执行：tar －zxvf eclipse-sdk-4.2.1-linux-gtk.tar.gz语句，解压缩下载文件
（4）在shell中，进入到eclipse目录，cd/opt/eclipse设置文件eclipse执行权：chown-r root：你的用户名eclipse
（5）创建桌面连接
sudogedit /usr/share/applications/eclipse.desktop
加入以下内容：
［desktopentry］encoding=utf-8name=eclipsecomment=eclipsesdkexec=/home/hewei/app/eclipse/eclipseicon=/home/hewei/app/eclipse/icon.xpmterminal=falsetype=applicationcategories=application;development;2.在eclipse中添加hadoop插件
（1）找eclipse安装目录
安装目录：/home/app/eclipse/eclipse/plugins
把/home/hewei/下载/eclipse-plugin/hadoop-1.0.1-eclipse-plugin.jar
复制到plugins中，就有加载hadoop插件
（2）配置hadoop安装目录
window -》preference -》 hadoop map/reduce -》 hadoopinstallation
directory:/home/grid/hadoop-1.0.1 -》点击“ok”
（3）配置map/reduce视图
window -》open perspective -》 map/reduce -》 点击“ok”
window -》show view -》 搜索“map/reducelocations”视图选上-》点击“ok”
在eclipse下方就出现了一个“map/reducelocations选项卡”-》空白地方右键选“new
hadoop location”
location name：mymapred
map/reduce master ： host -》 localhost
dfsmaster ： host -》 localhost
（4）在左边projectexplorer列表框中找到“dfslocations”右键refresh，就会看到
一个目录树，eclipse提供了一个目录树来管理hdfs系统，右键可以创建/删除目录，上传/
查看文件，操作起来很简单，内容与命令hadoopdfs -ls 结果一致
load加载
unload 卸载
upload 上传
download 下载
射频采样：频率规划产生洁净频谱介绍
跳过5G研发6G通信,美国现在都在用6G网络?
各大厂商多款行业5G终端数量曝光，华为数量最多
新能源汽车续航技术大功率（液冷）充电枪组成及原理
明尼苏达大学创造出能避免碰撞事故的新型智能自行车
hadoop开发环境搭建
全球汽车零部件行业发展状况和产业链分析和进入和的发展主要障碍
通信系统关键的AD器件发展情况及瓶颈
聚类分析基本概念梳理
即时通讯系统为什么选择 GaussDB(for Redis)？
TI推出全新的4K超高清UHD芯片组 4K超高清应用再扩展
基于HX711的高精度电子秤的设计
力科公司推出quantumdata M42de生成器 支持最新DisplayPort 2.1规范
冰箱压缩机是干什么用的_冰箱压缩机启动方式
全新IoT MCU芯片联盛德W806
针对双SCART机顶盒设计的两种方案介绍
陈记顺和潮汕牛肉加盟费多少
手机厂商的最终生态闭环：苹果自造运营商计划测试下一代5G无线技术
智能家居小助手——黑科技智能魔镜
魅蓝5C和魅蓝5S哪个好？魅蓝5C和魅蓝5S区别对比分析