优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。
理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。
长期观察hadoop处理数据的过程，有几个显著的特征:
1.不怕数据多，就怕数据倾斜。
2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，没半小时是跑不完的。map reduce作业初始化的时间是比较长的。
3.对sum，count来说，不存在数据倾斜问题。
4.对count(distinct ),效率较低，数据量一多，准出问题，......
阅读全文
转载自：http://haohaoxuexi.iteye.com/blog/1770554
前言
在前一篇博客中讲了SpringMVC的Controller控制器，在这篇博客中将接着介绍一下SpringMVC视图解析器。当我们对SpringMVC控制的资源发起请求时，这些请求都会被SpringMVC的DispatcherServlet处理，接着Spring会分析看哪一个HandlerMapping定义的所有请求映射中存在对该请求的最合理的映射。然后通过该
HandlerMapping 取得其对应的 Handler，接着再通过相应的 HandlerAdapter 处理该 Handler。HandlerAdapter 在对 Handler 进行处理之后会返回一个 ModelAndView 对象......
阅读全文
Linux 内存和用户空间 API 简介
M. Tim Jones, 自由作者
2010 年 9 月 13 日
因为内核和用户空间存在于不同的虚拟地址空间中，在它们之间移动数据需要特别注意。研究虚拟地址空间和内核 API 理念，用于将数据移入或移出用户空间，并学习其他的一些用于映射内存的映射技术。
Linux 内存
在 Linux 中，用户内存和内核内存是独立的，在各自的地址空间实现。地址空间是虚拟的，就是说地址是从物理内存中抽象出来的（通过一个简短描述的过程）。由于地址空间是虚拟的，所以可以存在很多。事实上，内核本身驻留在一个地址空间中，每......
阅读全文
题意：有n支蜡烛，要插成r圈，第i圈的数量为k^i个，中间可插可不插，求出r*k的最小值，相同时去r最小。
思路：当时加这个比赛时我们已经把思路想出来了，没看到中间可以不插蜡烛。最多不超过四十圈，所以枚举圈数，然后二分找k，因为是一圈的时候一定是1，n-1，所以从2开始枚举。k有个上限就是1000000。
#include<stdio.h>
#include<string.h>
#include<iostream>
using namespace std;
typedef long long LL;
LL find(int x,LL N)
{
LL L,R,mid,bt,sum;
L=2;R=1000000;
while(L<=R)
{
mid=(L+R......
阅读全文
【背景】
原文链接：http://blog.csdn.net/ordeder/article/details/25343633
Python整数对象是不可变对象，什么意思呢？例如执行如下python语句
>>>a = 1023
>>>a = 1024
>>>b = a
>>>c = 1024
>>>d = 195
>>>e = 195
python的整数对象结构为：
typedef struct {
PyObject_HEAD
long ob_ival;
} PyIntObject;
第一条命令执行后，python vm 创建了一个PyIntObject A，其中的ob_ival=1023记录了该整数对象的值,名字a引用该对象，即A 的 ob_refcnt=1。
当执......
阅读全文
经过大半天的折腾，终于在android下面跑通了第一个ndk程序，写此文纪念一下整个过程，以供参考，防止以后遗忘。
1、到Android官网下载Android的开发工具ADT(Android
Development Tool的缩写)，该工具集成了最新的ADT和NDK插件以及Eclipse，还有一个最新版本SDK。解压之后就可以用了，当然环境变量还需要自己配置。下载链接：http://developer.android.com/sdk/index.html。
2、到Android官网下载最新的NDK，注：NDK版本在r7以上之后就集成了Cygwin，而且还是十分精简版。比起下载Cygwin自己安装要方便很多！下载链接：http://d......
阅读全文
在前面几篇文章中都是使用同步方式来调用WebService。也就是说，如果被调用的WebService方法长时间不返回，客户端将一直被阻塞，直到该方法返回为止。使用同步方法来调用WebService虽然很直观，但当WebService方法由于各种原因需要很长时间才能返回的话，就会使客户端程序一直处于等待状态，这样用户是无法忍受的。 当然，我们很容易就可以想到解决问题的方法，这就是多线程。解决问题的基本方法是将访问WebService的任务交由一个或多个线程来完成，而主线程并不负责访问WebService。这样即使被访问的WebService方法长时间不返......
阅读全文
王爽汇编语言第二版，实验10.1
一、实验要求
编写一个显示用0结束字符串的子程序，要求向外提供与显存结构无关的接口
二、子程序接口
名称：show_str功能：在指定位置，用指定的颜色，显示一个用0结束的字符串参数：(dh)=行号（取值范围0-24）， (dl)=列号（取值范围0-79）， (cl)=颜色， ds:si指向字符串的首地址返回值：无
三、实现代码
show_str:
push ax ;保存调用前寄存器环境
push bx
push cx
push dx
push es
push bp
push si
......
阅读全文
Fire Net
Time Limit : 2000/1000ms (Java/Other) Memory Limit : 65536/32768K (Java/Other)
Total Submission(s) : 1 Accepted Submission(s) : 1
Font: Times New Roman | Verdana | Georgia
Font Size: ← →
Problem Description
Suppose that we have a square city with straight streets. A map of a city is a square board with n rows and n columns, each representing a street or a piece of wall.
A blockhouse is a small castle that has four openings through which to shoot. The four openings are facin......
阅读全文
。。。题意在这里。
http://bestcoder.hdu.edu.cn/contests/contest_chineseproblem.php?cid=571&pid=1002
我找出来的规律为 ai+1=ai +2，然后我就用矩阵快速幂。。两个数相乘的时候爆掉范围。。
所以要把乘法变成加法快速幂。。
在矩阵快速幂的基础上再加法快速幂。
代码。
//author: CHC
//First Edit Time: 2015-03-14 19:37
#include <iostream>
#include <cstdio>
#include <cstring>
#include <cmath>
#include <set>
#include <vector>
#include <map>
#include <qu......
阅读全文
由于动态代理是针对接口的，所以首先需要声明一个接口，该测试接口如下所示
public interface TestI {
void test();
}
有了接口，就要有实现类，实现类如下所示
public class TestImpl implements TestI {
@Override
public void test() {
System.out.println("目标方法");
}
}
要使用动态代理，就要创建一个代理类，该代理类实现InvocationHandler，并实现对应的方法
public class TestProxy implements InvocationHandler {
private Object tarObj;
public TestProxy() {
}
public TestProxy(Object tarO......
阅读全文
我们在做jsp或者servlet跳转时，经常用到一次跳转和两次跳转，到底这两者有什么区别呢？下面是服务器端的两个jsp页面：
test1.jsp
<%
request.setAttribute("username","leno");
//response.sendRedirect("test2.jsp");
RequestDispatcher rd = request.getRequestDispatcher("test2.jsp");
rd.forward(request, response);
%>
test2.jsp
<%
out.println(request.getAttribute("username"));
%>
当客户端用户在浏览器地址栏上输入url:http://localhost:8080/domoJsp/test1.jsp时，修改注释部分，可以看到两种跳转......
阅读全文