现在的位置: 首页 > 综合 > 正文

linux、Hadoop相关的常用东西总结

2018年02月20日 ⁄ 综合 ⁄ 共 1378字 ⁄ 字号 评论关闭

总结一下最近的工作,如下,且会不断更新:


1、window远程登录linux 、windows与linux共享文件资源

1)下载软件SecureCRT或者putty(or pietty),可用来在windows远程登录(ssh1、ssh2)到linux服务器。

      SecureCRT和pietty各有优缺点,两个都用过,体会后的总结如下:

  •  pietty安装使用直接方便,不怎么需要配置,直接拿来用即可,且默认设置挺漂亮。而SecureCRT安装后根据使用习惯需要设置字体等
  • SecureCRT的好处是,可以多tab来回切换、可以clone(putty通过插件,也可以同时多个tab)。还有一个好处就是在下面这种情形下:如果登陆线上服务器,首先登陆跳板机,然后再ssh到线上服务器,正常需要两个手工操作的步骤,输入两次密码,而SecureCRT的好处就是可以保存多个session,每个session配置下登陆跳板机后再要的ssh信息。这样的话用户通过跳板机登陆线上服务器的时候,只需要输入一次跳板机的密码,简单方便。
  • secureCRT还有一个好处就是可以设置上传下载目录,直接通过命令rz、sz即可上传下载windows和linux之间的文件。

2)可通过在linux下装samba,之后再window下通过 ” 映射网络驱动器 “ 来使得window和linux共享文件资源。这样做的好处就是,可以直接在windows下打开、编辑 大的工程;另外的好处就是如果linux下没有装svn,则可用windows下的svn来同步code。

2、常用linux命令

1)find、grep、awk、wc、cut、top、df、free、du、uptime、du、chown、chgrp、tar、su、ldd、涉及到字体export LC_CTYPE...,还有让命令后台运行 & ,若果想退出shell的时候命令仍然执行,则还可在前面加上nohup,使其忽略shell退出时的hunup信号等等

2)定时调度 crontab

3) vim 写c++时格式化:gg->shift+V->shift+G->=

3、使用hadoop的时候,随机选择一台datanode登陆,如果用java写Mapreduce,最好还是本地装个myeclipse(带注册机破解的),看着好多牛人vim 命令行写代码溜得很,虽然自己也用过vim写c++,但写的可没那么溜,还是觉得用myeclipse这样工具在本地写java效率更高。装完myeclipse后再装个fat jar 插件,方便打jar包(最开始用它是@晓风_机器学习 推荐的,确实好用哈),然后可以通过安装的winscp来上传打包好的jar包到linux机器,但最好用的觉得还是secureCRT
的rz命令,方面快捷。之后就可通过hadoop jar。。。等命令来运行MR job了。

4、google下很多fat jar的下载资源,我下了这个:http://sourceforge.net/projects/fjep/。解压后将net.sf.fjep.fatjar_0.0.31.jar:1)MyEclipse
6.5 的话就放到plugins 文件夹下面。2
)MyEclipse 8.6 的话就当道dropins文件夹下面。重启Myeclipse,右击工程就会出现
Build Fat Jar。


抱歉!评论已关闭.