利用Ant构建Hadoop高效开发环境

最近Hadoop的研究中，都是利用Mockito来模拟数据进行，下一个阶段需要在Hadoop服务器上做大量的运行进行验证，同时也要为正式使用做准备。 

今天考虑使用Ant来搭建一个Hadoop的开发和调试环境，不使用hadoop自带的插件。

思路如下：

1、  利用Ant在开发机器上将代码编译、打包，最终得到可执行的jar包。

2、  利用Ant的SSH属性，将jar包传到hadoop服务器的指定工作目录。

这样就开发机器做为编码客户端，与执行服务器之间关联，代码部署的时间基本不用考虑，开发效率可以提高，也利于在真实环境进行验证程序。 

再扩展开来，可以利用Ant操作hadoop服务器，实现与开发客户端的交互，因为Ant可以通过SSH实现Linux服务器的命令操作。 

如下是根据需要改造的Ant的bulid.xml文件，实现了：目录清理、目录构建、编译、打包、SFTP上传功能： 

1. xml version="1.0" encoding="UTF-8"?>  
2. <project name="AntTest" default="all" basedir=".">  
3.       
4.     <property name="src" location="./src" />  
5.     <property name="build" location="./build/classes" />  
6.     <property name="dist" location="./lib" />  
7.   
8.   
9.     <path id="project.classpath">  
10.         <fileset dir="D:\Project\Java\OpenSource\Hadoop\hadoop-0.20.205.0-bin\hadoop-0.20.205.0\lib">  
11.             <include name="*.jar" />  
12.         fileset>  
13.     path>  
14.   
15.     <target name="all" depends="clean,sshexec">target>  
16.       
17.     <target name="init">  
18.         <tstamp />  
19.         <mkdir dir="${build}" />  
20.         <mkdir dir="${dist}" />  
21.     target>  
22.   
23.       
24.     <target name="compile" depends="init">  
25.         <javac srcdir="${src}" destdir="${build}" includeantruntime="no">  
26.             <compilerarg line="-encoding GBK " />  
27.               
28.             <classpath refid="project.classpath" />  
29.         javac>  
30.     target>  
31.       
32.     <target name="dist" depends="compile">  
33.         <mkdir dir="${dist}" />  
34.         <jar jarfile="${dist}/hadoop_project.jar" basedir="${build}" />  
35.     target>  
36.   
37.       
38.     <target name="clean">  
39.         <delete dir="${build}" />  
40.         <delete dir="${dist}" />  
41.         <echo message="clean dir">  
42.         echo>  
43.     target>  
44.   
45.       
46.     <target name="run" depends="dist">  
47.         <java classpath="${build}" classname="demo.guide.chp7.HelloWorld">  
48.             <classpath refid="project.classpath" />  
49.               
50.         java>  
51.     target>  
52.   
53.       
54.     <target name="sshexec" depends="run">  
55.         <scp todir="root:****@192.168.9.181:/tmp/" trust="true">  
56.             <fileset dir="${dist}" />  
57.         scp>  
58.     target>  
59.   
60. project>