现在位置: 首页 > PateimpeteDal发表的所有文章
hadoop 性能调优 重要参数设置技巧 分类: hadoop2012-12-16 19:53 43人阅读 评论(0) 收藏 举报 这里主要针对Mapreduce的性能调优。 这一两个月在做mapreduce的性能调优,有些心得,还是要记下来的,以郷后人~ 这里主要涉及的参数包括: HDFS: dfs.block.size Mapredure: io.sort.mb io.sort.spill.percent mapred.local.dir mapred.map.tasks & mapred.tasktracker.map.tasks.maximum mapred.reduce.tasks & mapred.tasktracker.reduce.tasks.maximum mapred.reduce.max.attempts mapred.reduce.parallel.copies......
阅读全文
  • 02月
  • 17日
综合 ⁄ 共 2175字 评论关闭
龟兔赛跑 Time Limit: 1000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Total Submission(s): 11767    Accepted Submission(s): 4423 Problem Description 据说在很久很久以前,可怜的兔子经历了人生中最大的打击——赛跑输给乌龟后,心中郁闷,发誓要报仇雪恨,于是躲进了杭州下沙某农业园卧薪尝胆潜心修炼,终于练成了绝技,能够毫不休息得以恒定的速度(VR m/s)一直跑。兔子一直想找机会好好得教训一下乌龟,以雪前耻。 最近正值HDU举办50周年校庆,社会各大名流齐聚下沙,兔子也趁此机会向乌龟发起挑......
阅读全文
  • 01月
  • 10日
综合 ⁄ 共 2452字 评论关闭
ACE的主动对象模式的实现 对分布式系统设计来说,ACE提供的主动对象模式是让我们在系统框架构建的时候,回归到传统的单线程编程思维。你可能要问,既然有主动对象,那必然有被动对象,没有错,确实有被动对象,那到底什么是主动对象?什么又是被动对象呢? 被动对象: 假如我们要给一个客户端提供一个方法,计算两个数之和。我们一般定义一个对象,然后实现具体的加法运算操作,客户端在调用的时候,首先实例化我们这个对象,然后再执行这个方法。此时,这个对象的加法运算操作的执行和客户端的调用线程在一个线程中完成。这是标准......
阅读全文
  • 06月
  • 10日
综合 ⁄ 共 7487字 评论关闭
摘 要 本文介绍了关联规则的基本概念和分类方法,列举了一些关联规则挖掘算法并简要分析了典型算法,展望了关联规则挖掘的未来研究方向。 1 引言 关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。它在数据挖掘中是一个重要的课题,最近几年已被业界所广泛研究。 关联规则挖掘的一个典型例子是购物篮分析。关联规则研究有助于发现交易数据库中不同商品(项)之间的联系,找出顾客购买行为模式,如购买了某一商品对购买其他商品的影响。分析结果可以应用于商品货架布局、货存安排以及根据购买模式对用户进行分类。 Agr......
阅读全文
  • 05月
  • 02日
综合 ⁄ 共 1421字 评论关闭
Problem Description Farmer John has been informed of the location of a fugitive cow and wants to catch her immediately. He starts at a point N (0 ≤ N ≤ 100,000) on a number line and the cow is at a point K (0 ≤ K ≤ 100,000) on the same number line. Farmer John has two modes of transportation: walking and teleporting. * Walking: FJ can move from any point X to the points X - 1 or X + 1 in a single minute * Teleporting: FJ can move from any point X to the point 2 × X in a single minute. If......
阅读全文
  • 05月
  • 02日
综合 ⁄ 共 825字 评论关闭
78.链表和数组的区别在哪里? 分析:主要在基本概念上的理解。 但是最好能考虑的全面一点,现在公司招人的竞争可能就在细节上产生,谁比较仔细,谁获 胜的机会就大。 /* 78.链表和数组的区别在哪里? 分析:主要在基本概念上的理解。 但是最好能考虑的全面一点,现在公司招人的竞争可能就在细节上产生,谁比较仔细,谁获 胜的机会就大。 1.数组静态分配内存,链表动态分配内存; 数组必须事先定义固定的长度(元素个数),不能适应数据动态地增减的情况, 即在使用数组之前,就必须对数组的大小进行确定。当数据增加时,可能超......
阅读全文
  • 04月
  • 25日
综合 ⁄ 共 8033字 评论关闭
可以解决组件显示不出来的问题!!! 内容如下: 现在我们要做一个简单的界面。 包括一个进度条、一个输入框、开始和停止按钮。 需要实现的功能是: 当点击开始按钮,则更新进度条,并且在输入框内把完成的百分比输出(这里只做例子,没有真正去做某个工作)。 代码1: import java.awt.FlowLayout;    import java.awt.event.ActionEvent;    import java.awt.event.ActionListener;    import javax.swing.JButton;    import javax.swing.JFrame;    import javax.swing.JProgressBar;    import javax.swing.JTextField;    ......
阅读全文
  • 01月
  • 12日
综合 ⁄ 共 2062字 评论关闭
题目链接:https://icpcarchive.ecs.baylor.edu/external/66/6665.pdf 题目大意: 有一个3 * 3 的格子: 每一个格子上面的数字可以朝上下左右四个方向移动,如果移出范围,则到与其边界上字母对应的另一边。如下图所示: 空白部分分别向上下左右移动之后的情况。 现在,给你左右移动的费用ch,上下移动cv。给你一个初始状态(9个数字,其中0代表该空格为空),一个结束状态,问从初始状态移动到结束状态的最小花费。 解题思路: 其实这道题想法很简单,简单的bfs + 优先队列。主要是细节处理方面比较麻烦。 把上述九宫格变为一......
阅读全文
  • 01月
  • 08日
综合 ⁄ 共 1770字 评论关闭
1.肖伯纳的名言:“你有一个苹果,我有一个苹果,你和我交换以后每人只有1个苹果,你有一个思想,我有一个思想,我们交换之后各自有两个思想。”谈谈你对这句话的看法。 这句话体现了知识经济时代知识与信息的重要性和特殊性,思想的交换能产生乘数效应,不同思想的交换更能激发创新,新经济条件下应该鼓励。但要具备鉴别好坏的能力。   2.谈谈你对航空公司机票打折的利与弊的看法。  利:消费者受益,促使航空公司加强管理,降低成本  弊:机票打折跟彩电降价类似,价格的竞争是低层次的竞争,价格大战必将使行业及国家利益损失......
阅读全文
  • 12月
  • 26日
综合 ⁄ 共 1206字 评论关闭
<?xml version="1.0" encoding="UTF-8"?> <person xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="schema3.xsd" name2="25" title="hello world"> <name sex="2010-08-25" /> <book book1="1" > <welcome wel1="welcome"/> </book> </person> <?xml version="1.0" encoding="UTF-8"?> <xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema" elementFormDefault="qualified" attributeFormDefault="unqualified......
阅读全文
  • 12月
  • 21日
综合 ⁄ 共 5163字 评论关闭
F:\golang ├─bin ├─pkg │  │                   └─src     │  mplayer.go     │       └─mplayer         ├─library         │      manager.go         │      manager_test.go         │               └─mp                 mp3.go                 play.go GOPATH设为f:\golang 书中有一些错误的地方,改一下 myplay.go ====== package main import (     "bufio"     "fmt"     "os"     "strconv"     "strings"     "mplayer/library"     "mplayer/mp" ) var lib *library.MusicManager var id int = 1 var ctrl, signal......
阅读全文
  • 12月
  • 10日
综合 ⁄ 共 615字 评论关闭
  VisualSVN Server : 为SVN的server端程序; TortoiseSVN : 为SVN的client端程序;     一 VisualSVN Server VisualSVN Server是一个可视化的Windows版本的SVN Server。主页:http://www.visualsvn.com/server/。安装和配置很简单。 步骤: 1)安装   2)安装 (可以修改repository的位置和选择是否使用security)   3)创建用户 4)创建group   5)创建Repository   6)设置Repository的访问权限     二 TortoiseSVN Client TortoiseSVN 是免费的Windows的SVN Client。主页:http://tortoisesvn.net/。 安装和使用很简单。 T......
阅读全文