第8章 使用R和Hadoop进行统计分析及与之相关的信息
本章主要内容为：
Ø 将R脚本和MapReduce和Streaming集成起来
Ø 理解什么是Rhipe，RHadoop，R+Streaming
R是用于统计分析和图形展示的统计分析语言。R语言可以对数据进行统计和预测分析、数据挖掘、可视化后处理等操作。它有诸多功能且应用广泛，如在金融、生命科学、制造业、零售业等都有所应用，所以R是一种非常流行的工具。
对数据分析科学家而言，有了Hadoop就像拥有了核武库，同时还需要使用R软件包。如果用Java或者其它高级语言重写这些R软件包将非常繁琐且开发速度也会很慢。所以我们需要做的就是将R和Hadoop集成起来，在Hadoop和R中的数据库之间建立一座桥梁将他们连接起来。
在我们工作中，大部分的数据都是文本格式的，比如来自Twitter的tweets，log文件、和库存记录等都是文本类型的。本章将介绍如何使用R对文本类型的库存记录进行简单的平均计算。以这个计算为例，重点介绍R与Hadoop的三种集成方式：R通过Streaming与Hadoop集成、通过Rhipe集成、以及通过RHadoop集成。在本章结束的时候，你将学会R与Hadoop集成的各种方式，并为你的应用选择一种最适合的方式。
R和统计学：
本章主要介绍R和Hadoop的集成。更多关于R的信息参考<<R
inAction>>这本书
(August 2011, http://www.manning.com/kabacoff/).有关统计学的参考书见<<Statistics:A
Gentle Introduction>>, http://www.sagepub.com/books/Book235514.
8.1 R和MapReduce的集成方法概述
本节将介绍三种用于集成R和MapReduce的方法。选择者三种方法是因为其非常流行，为了演示R和MapReduce的集成方式，将使用这三种方法处理同一个问题。
1、R+Streaming：这种方式允许你在MapReduce模式的map和reduce阶段执行R脚本。
2、Rhipe：Rhipe是一个开源项目，它可以让MapReduce和R在客户端紧密结合在一起。
3、RHadoop：RHadoop和Rhipe类似，但其对R进行了MapReduce封装，所以在客户端其能够与MapReduce无缝集成。
表8.1对R和MapReduce的集成方式的某些特性进行了对比。
表8.1 R和MapReduce集成方式对比
|
特性 |
R+Streaming |
Rhipe |
RHadoop |
|
授权方式 |
R是GPL-2和GPL-3授权；Streaming是Apache2.0授权 |
Apache2.0 |
Apache2.0 |
|
安装复杂度 |
安装简单，需要在每台DataNode上安装R，R包可以方便从互联网获取 |
安装最复杂，R必须要安装在每个DataNode上，并和协议缓冲区以及Rhipe集成到一起，因此需要建立协议缓冲区，Rhipe不需要时无缝安装的，如果想让Rhipe工作起来，可能还要做些工作 |
安装中等复杂，R需要安装在每个DataNode上，RHadoop依赖R的某些包，这些包可以用CRAN安装，and the RHadoop installation, while not via CRAN, is straight-forward. |
|
客户端与R集成 |
无集成，必须使用Hadoop的命令行执行Streaming Job并通过参数定义map端和reduce端的R脚本 |
高度集成，Rhipe是一个R的库文件，当调用R函数时，它将控制执行MapReduce的Job。用户在R中写好map和reduce函数，Rhipe能够维护R写成的应用的逻辑传输关系，并在map和reduce的任务中调用R脚本 |
高度集成，RHadoop也是R的一个库，用户可以在R中定义map和reduce脚本 |
|
使用的底层技术 |
Streaning |
和Streaming不同Rhipe没有使用Hadoop的map和reduce函数，Rhipe以协议缓冲区编码的形式将map和reduce的输入分配给Rhipe的可执行C程序，可执行程序使用R调用用户的map和reduce脚本 |
RHadoop技术简单，其在Hadoop和Streaming的顶层做了封装。因此，它没有专门的MapReduce代码，它只有一个简单的能够被Streaming调用的R脚本，以达到轮流调用用户用R编写的map和reduce脚本 |
哪种工具最适合你的应用？当你学习了本章内容之后，你将会找到适合自己的工具。表8.2是作者对这三种工具适用范围的描述。
表8.2 对三种方式适用情况的描述
|
方式 |
适用情况 |
需要牢记的点 |
|
R+Streaming |
如果你想控制你的MapReduce函数，比如控制分割和排序过程 |
与其它方式比起来，该法无法从R脚本中直接调用执行 |
|
Rhipe |
如果你现在R环境中使用R和MapReduce，可以选择该方式 |
为了能够和协议缓冲区的编码数据一起工作，要求此种方法的输入、输入符合特定的数据格式 |
|
RHadoop |
如果你既不想离开R环境，又能够控制MapReduce的输入输出格式，可以采用此方法 |
需要大内存，因为一个键所对应的值都要存储在内存中，值并不会流到reduce函数 |
8.2 R基础
这部分介绍R的安装及R的基本语法结构和数据类型。
安装：
可以参照附录A安装R。需要注意的是：在所有节点上，要将R安装在相同的路径中，而且要求R的版本要一至。
启动R并运行简单的脚本命令：
启动R很简单，在终端输入R即可，如下
快速入门：
下面将介绍一些R的基本知识，以帮助理解本章中所用到的技术，详细内容如图8.1。
在R中向量是很有用的数据结构，因为大多数数值计算的函数都支持向量格式的数据结构。图8.2介绍了一些R 的向量知识。
R语言还支持其它一些数据结构，如：矩阵、数组、数据帧、因子等数据结构。本章中将主要介绍向量的使用，因为本章中主要用到向量。所以其它数据结构不做过多介绍。如果要了解R的更详细知识，可以参考Robert Kabacoff的《R in Action》（http://www.manning.com/kabacoff/）。
图8.1 R中变量使用实例
图8.2 R中向量和函数使用实例
以上已经介绍了R语言的一些简单知识。下面将介绍如何将Hadoop的Streaming与R结合起来。
8.3 R和Streaming
只要是支持标准输入、输出流的脚本语言都可以写成map和reduce函数与Hadoop的Streaming集成。在本节中将会看到R语言如何与Streaming集成，首先介绍只有map的作业情况，然后介绍map和reduce函数都有的作业情况。本例中将使用股票数据并进行简单的计算。目的是介绍如何通过Streaming将R和Hadoop集成起来。
8.3.1Streming和只有map的R脚本
就像普通的MapReduce一样，也可以用R编写只有map而没有reduce的R作业与Streaming集成。在不需要对数据进行合并、分组等操作时，可以使用只有map而没有reduce的作业。
技巧57：计算股票数据的日均值
在这个技术中，介绍Hadoop的Streaming与R集成计算股票数据的日均值。
问题描述：
将R和MapReduce集成起来，不需要对数据进行合并和排序。
解决方法：
采用只有map的作业处理数据。
详细介绍：
该技术将工作在CSV文件上，对于每只股票包括如下信息：
Symbol,Date,Open,High,Low,Close,Volume,AdjClose
查看股票子集内容如下：
$ head -6test-data/stocks.txt
AAPL,2009-01-02,85.88,91.04,85.16,90.75,26643400,90.75
AAPL,2008-01-02,199.27,200.26,192.55,194.84,38542100,194.84
AAPL,2007-01-03,86.29,86.58,81.90,83.80,44225700,83.80
AAPL,2006-01-03,72.38,74.75,72.25,74.75,28829800,74.75
AAPL,2005-01-03,64.78,65.11,62.60,63.29,24714000,31.65
AAPL,2004-01-02,21.55,21.75,21.18,21.28,5165800,10.64
在作业中将计算没行中开始和结束的股价均值。实现功能的R脚本如下：
#! /usr/bin/envRscript //用于识别可以执行脚本的R进程名
options(warn=-1)//屏蔽警告信息，可以减少输出流的杂乱程度
sink("/dev/null")//sink函数控制输出的位置。因为R代码被Streaming使用，用户就需要控制标准输出流的内容，因此重定向R的输出到/dev/null
input <-file("stdin", "r") //打开标准输入句柄
while(length(currentLine<-readLines(input, n=1, warn=FALSE)) > 0) //从标准输入中读入数据，n是每次读入的数据行数，将warn设置为FALSE，因为在标准输入流中无法读取EOF结束标记。如果读取了一个空行，意味着输入结束。
{
fields <- unlist(strsplit(currentLine,",")) //将读取的字符串按照逗号分隔，并将结果转化为向量
lowHigh <- c(as.double(fields[3]),as.double(fields[6]))
//将股票的开盘和收盘价格放到一个向量中
mean <- mean(lowHigh) //计算均值
sink() // 调用无参数的sink函数，恢复输出位置
cat(fields[1], fields[2], mean,"\n", sep="\t") //将每天的股票名称、日期、均值写到标准输出流
sink("/dev/null") // 重定向R的输出到/dev/null.
}
close(input)
总结：
图8.3中展示了只有map时Streaming和R的集成。
图8.3 只有map的R和Streaming数据流
为了测试map脚本的正确性，可以对任何MapReduce的代码进行修改。但是最方便的办法是不用启动MapReeduce而直接在命令行中对map脚本进行测试。下面用Linux的cat命令对R脚本进行测试
$ cattest-data/stocks.txt | src/main/R/ch8/stock_day_avg.R
AAPL 2009-01-0288.315
AAPL 2008-01-02197.055
AAPL 2007-01-0385.045
AAPL 2006-01-0373.565
...
输出无误，所以可以进行Hadoop上的计算了
$ exportHADOOP_HOME=/usr/lib/hadoop //设置Hadooop安装路径，该路径必须是全路径
$ ${HADOOP_HOME}/bin/hadoopfs -rmr output //删除HDFS上的output文件，如果HDFS上不存在output文件，会产生一个警告，该警告可以忽略
$${HADOOP_HOME}/bin/hadoop fs -put test-data/stocks.txt \
stocks.txt // 拷贝股票数据到HDFS
$${HADOOP_HOME}/bin/hadoop \
jar${HADOOP_HOME}/contrib/streaming/*.jar \ //定义运行Streaming的JAR文件，这里必须给出完成路径
-Dmapreduce.job.reduces=0 \ //因为只有map，所以讲reduce的数量设置为0
-inputformatorg.apache.hadoop.mapred.TextInputFormat \
//定义输入格式
-inputstocks.txt \ //设置输入文件
-output output \//设置输出路径
-mapper`pwd`/src/main/R/ch8/stock_day_avg.R \ //通知Streming在map阶段可以运行的文件位置
-file`pwd`/src/main/R/ch8/stock_day_avg.R //定义需要被拷贝到分布式缓存中并被map作业使用的R脚本所在的位置
用cat查看output中的数据，其和直接调用R脚本产生的数据一致：
$ hadoop fs -catoutput/part*
AAPL 2009-01-0288.315
AAPL 2008-01-02197.055
AAPL 2007-01-0385.045
AAPL 2006-01-0373.565
...
在以上的命令中使用了TextInputFormat，该出入格式产生key/value对，key值是value在文件中的偏移量，value是每行数据。在R脚本中仅使用了value。这是因为在Hadoop的Streaming中做了优化处理，如果检测到使用TextInputFormat格式，Streaming将忽略key值，如果希望key值不被忽略可以将属性stream.map.input.ignoreKey设置为true。
图8.4显示了一些Streming的配置
图8.4 map任务的Streaming配置
现在应该理解如何使用R和Streaming实现只有map的作业了。下面介绍如何实现既有map又有reduce的作业。
8.3.2Streaming，R实现完全MapReduce
现在演示如何实现完全的MapReduce作业。在8.3.1的基础上介绍如何构建reduce函数。当map和reduce函数都完成后。我们将会看到Hadoop的Streaming如何将map输出的键值对输出到R的标准输入流中的，以及如何收集R函数的输出结果。
技巧58：计算股票的累积移动平均
在技巧57中计算了股票的每天平均值，下面将使用MapReduce框架收集同一只股票每天的平均值，然后计算股票的累积移动平均（CMA）。
问题描述：
希望在map端和reduce端与Streaming集成
解决方法：
使用R和Hadoop的Streaming编写的map和reduce函数与Streaming集成起来
详细介绍：
只执行map端的作业时，产生如下空格分隔的域：
Symbol Date Mean
MapReduce将对map输出的key值（股票的名称，即Symbol）进行排序和分组。MapReduce将与同一只股票相关的由map输出的值传递给reduce。reduce脚本中对所有的均值进行求和，reduce最终的输出包括CMA。
#! /usr/bin/envRscript
options(warn=-1)
sink("/dev/null")
outputMean <-function(stock, means) //该函数将股票的名称和均值向量作为输入参数，计算CMA后，将股票名称和CMA写入到标准输出中
{
stock_mean <- mean(means)
sink()
cat(stock, stock_mean, "\n",sep="\t")
sink("/dev/null")
}
input <-file("stdin", "r")
prevKey <-"
means <-numeric(0)
while(length(currentLine<- readLines(input, n=1, warn=FALSE)) > 0)
{
fields <- unlist(strsplit(currentLine,"\t"))
key <- fields[1] //读股票名称
mean <- as.double(fields[3]) //从输入流中读取均值
if( identical(prevKey, ") ||identical(prevKey, key))
{
prevKey <- key
means <- c(means, mean)
}
else
{
outputMean(prevKey, means) //当找到一个新的key值时，意味着有一个新的map输出的key，这也意味着此时需要调用参数计算CMA并将结果写到标准输出中
prevKey <- key
means <- c(means, mean)
}
}
if(!identical(prevKey,"))
{
outputMean(prevKey, means)
}
close(input)
图8.5 R和Streaming的MapReduce数据流
总结：
图8.5中显示了Streaming和R脚本在reduce端的工作模式。Streaming的好处是可以使用Linux的流命令此时R脚本，命令如下：
$ cattest-data/stocks.txt | src/main/R/ch8/stock_day_avg.R | \
sort --key 1,1 |src/main/R/ch8/stock_cma.R
AAPL 68.997
CSCO 49.94775
GOOG 123.9468
MSFT 101.297
YHOO 94.55789
上面输出的结果正确，所以下面开始执行Hadoop作业：
$ exportHADOOP_HOME=/usr/lib/hadoop
$${HADOOP_HOME}/bin/hadoop fs -rmr output
$ ${HADOOP_HOME}/bin/hadoopfs -put test-data/stocks.txt stocks.txt
$${HADOOP_HOME}/bin/hadoop \
jar${HADOOP_HOME}/contrib/streaming/*.jar \
-inputformatorg.apache.hadoop.mapred.TextInputFormat \
-inputstocks.txt \
-output output \
-mapper`pwd`/src/main/R/ch8/stock_day_avg.R \ //定义map脚本
-reducer`pwd`/src/main/R/ch8/stock_cma.R \ //定义reduce脚本
-file`pwd`/src/main/R/ch8/stock_day_avg.R \
-file`pwd`/src/main/R/ch8/stock_cma.R
用cat命令查看output结果，其与Linux测试结果相同，结果如下：
$ hadoop fs -catoutput/part*
AAPL 68.997
CSCO 49.94775
GOOG 123.9468
MSFT 101.297
YHOO 94.55789
图8.6显示了某些Streaming参数项，其可以对reduce的输入、输出进行控制。
图8.6 用于控制reduce输入、输出的Streaming参数
如果map的输出值在传递给reduce之前需要按照一定的顺序排列（被称之为二次排序），这时该如何处理。二次排序的内容在第4章和第七章有详细介绍。在Streaming中进行二次排序时可以通过KeyFieldBasedPartitioner,设置，设置方法如下：
$ exportHADOOP_HOME=/usr/lib/hadoop
$${HADOOP_HOME}/bin/hadoop fs -rmr output
$${HADOOP_HOME}/bin/hadoop fs -put test-data/stocks.txt stocks.txt
$${HADOOP_HOME}/bin/hadoop \
jar${HADOOP_HOME}/contrib/streaming/*.jar \
-Dstream.num.map.output.key.fields=2 \ //定义股票的名称和日期是map输出的key的一部分
-Dmapred.text.key.partitioner.options=-k1,1\ //定义MapReduce按照map输出的第一个字符，即股票名称，进行分割
-inputformatorg.apache.hadoop.mapred.TextInputFormat \
-inputstocks.txt \
-output output \
-mapper`pwd`/src/main/R/ch8/stock_day_avg.R \
-reducer`pwd`/src/main/R/ch8/stock_cma.R \
-partitioner \ //设置KeyFieldBasedPartitioner参数，其将解析mapred.text.key.partitioner.options决定分割方法
org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner\
-file`pwd`/src/main/R/ch8/stock_day_avg.R
更多关于Streaming关于排序控制的内容见Hadoop的Streaming文档。
至此已经完成了R与Streaming集成计算股票均值的全部内容。这种方式的缺点是，在客户端R脚本与Hadoop的集成不是那么方便。这也正是Rhipe和RHadoop需要解决的问题。下面将介绍Rhipe。
8.4 Rhipe-R和Hadoop客户端无缝集成
Rhipe是R和Hadoop集成处理环境的简称，它是一个开源项目。与Streaning相比Rhipe使R和Hadoop更紧密的结合在一起。在8.3中通过命令行将R和Hadoop集成起来，而在Rhipe中可以在R中直接运行MapReduce程序。
在开始Rhipe之前，需要按照附录A中的方法，在集群上安装Rhipe及其依赖项。
技巧59：使用Rhipe计算累积移动平均
在该节中将再次计算每只股票的CMA。但是实现的技术采用Rhipe，你将会看到R和Hadoop的是如何紧密结合在一起的。
1）问题描述：
希望在R代码中直接调用Hadoop。
2）解决方法：
该例子演示如何使用Rhipe在客户端，直接从R中调用MapReduce作业。同时也会看到Rhipe的MapReduce作业中Rhipe的R回调函数的使用方式。
3）详细介绍：
下面介绍用Rhipe脚本计算CMA。值得注意的是，MapReduce完全嵌入在Rhipe中，这便于将现有的R脚本与MapReduce集成到一起，脚本如下：
#! /usr/bin/env Rscript
library(Rhipe)//加载Rhipe库到内存
rhinit(TRUE,TRUE)//初始化Rhipe
map <- expression({//定义map代码，其在map端执行
process_line <- function(currentLine) {
fields <- unlist(strsplit(currentLine, ","))
lowHigh <- c(as.double(fields[3]), as.double(fields[6]))
rhcollect(fields[1], toString(mean(lowHigh)))//调用Rhipe的rhcollect函数生成map阶段的键值对
}
lapply(map.values, process_line)
})
reduce <- expression(
pre = {//reduce阶段保留了三个步骤，在输入reduce的value值赋给reduce模块之前，对于map输出的每个key，都会调用pre模块一次，map输出的key值存储在reduce.key中（此处没有使用）
means <- numeric(0)
},
reduce = {//调用reduce模块，value值以向量形式存储在reduce.value中，如果value的值个数大于10000时，该模块会被调用多次，知道value的值读取完毕
means <- c(means, as.numeric(unlist(reduce.values)))
},
post = {//和map中的类似，调用rhcollect产生最终的键值对结果
rhcollect(reduce.key, toString(mean(means)))
}
)
input_file <- "stocks.txt"
output_dir <- "output"
job <- rhmr(//用rhmr函数设置作业
jobname = "Rhipe CMA",
map = map,
reduce = reduce,
ifolder = input_file,
ofolder = output_dir,
inout = c("text", "sequence")
)
rhex(job)//启动MapReduce作业
4）总结
和Streaming方式相比，使用Rhipe可以直接在R脚本中执行MapReduce作业
$ hadoop fs -put test-data/stocks.txt /tmp/stocks.txt
$ export HADOOP_BIN=/usr/lib/hadoop/bin
$ src/main/R/ch8/stock_cma_rhipe.R//脚本stock_cma_rhipe.R可以直接运行，因为在开始运行时其会通知shell，该脚本的运行方式是通过Rhipe执行的。
为了理解Rhipe的工作方式，以及R代码是如何和Rhipe一起工作的，这就需要了解Rhipe的一系列工作流。首先分析R脚本，理解MapReduce作业是如何被触发的，如图8.7所示：
图8.7更高层次的Rhipe流程
下面展示Rhipe是如何与MapReduce任务上下文一起工作的，首先从map端的任务开始，见图8.8。
Rhipe在reduce端工作方式见图8.9。
Rhipe还包括了一系列用于读取HDFS文件的函数，更多信息参考：http://saptarshiguha.github.com/RHIPE/functions.html#hdfs-related。
需要注意的一点是，Rhipe没有使用Streaming，而是使用其自己的map和reduce函数，以及其自己的输入、输出格式。所以如果你的数据的输入、输出格式和Rhipe要求的不一样，将无法使用。
至此，以及介绍了Rhipe的使用过程，Rhipe提供了R和Hadoop在客户端的集成方式。下一部分介绍RHadoop，其也在客服端提供了R与Hadoop的集成方式，RHadoop更注重于轻量级层面的集成。
图8.8 map端的Rhipe
图8.9 reduce端Rhipe
8.5 RHadoop-R和Hadoop客户端简单集成
RHadoop是由Revolution
Analytics创建的开源项目，它提供了另一种R与Hadoop集成的方式，和Rhipe类似，在客户端的R脚本中执行MapReduce程序。
RHadoop由三部分组成：
1 rmr：支持MapReduce集成
2 rdfs：HDFS的R接口
3 rhbase：R与HBase接口
本节主要介绍rmr，因为R与MapReduce的集成是最常使用的，如果想完全理解R和Hadoop的集成，rdfs和rhbase亦值得一窥。
安装RHadoop以及依赖项，可以参考、附录A。
技术60：用RHadoop计算CMA
在这部分介绍如何用RHadoop计算股票的CMA。
1）问题描述：
R和Hadoop在客户端的轻量级集成
2）解决方法：
该技术介绍如何使用RHadoop，在R脚本中直接启动MapReduce作业，同时也会看到RHadoop是如何和Streaming一起工作的。
3）详细介绍：
从概念上来看，RHadoop的工作方式和Rhipe类似，Rhipe中需要设置map和reduce的操作控制，而在RHadoop这也会有类似的设置。
#! /usr/bin/env Rscript
library(rmr)//加载rmr库
map <- function(k,v) {//定义map函数，它的输入是key，value对，调用keyval函数输出map的key，value
fields <- unlist(strsplit(v, ","))
keyval(fields[1], mean(as.double(c(fields[3], fields[6]))))
}
reduce <- function(k,vv) {//每有个map输出的key值，就要调用一次reduce函数，k代表key值，v是一系列值
keyval(k, mean(as.numeric(unlist(vv))))
}
kvtextoutputformat = function(k,v) {//自定义reduce的key，value输出时的分割方式
paste(c(k,v, "\n"), collapse = "\t")
}
mapreduce( //运行MapReduce作业
input = "stocks.txt",
output = "output",
textinputformat = rawtextinputformat,
textoutputformat = kvtextoutputformat,
map = map,
reduce = reduce)
为了执行RHadoop，可以运行如下命令：
$ HADOOP_HOME=<Hadoop installation directory>
$ $HADOOP_HOME/bin/hadoop fs -put test-data/stocks.txt stocks.txt
$ src/main/R/ch8/stock_cma_rmr.R
$ hadoop fs -cat output/part*
CSCO 30.8985
MSFT 44.6725
AAPL 68.997
GOOG 419.943
YHOO 70.971
rmr和Rhipe不同，因为rmr使用的是Streaming。图8.10展示了R代码是如何与MapReduce作业一起工作的。
rmr比较有趣的特性是，在MapReduce的map和reduce中可以使用R的客户端环境。这意味着map和reduce函数可以引用函数体外面的变量，这对R的开发者来说意义重大。
图8.10 rmr和客户端的交互
rmr还有另外一项特性，它可以和MapReduce的输入、输出无缝集成。在该例子中作业的输入已经在HDFS上，在R中不需要与输出进行交互。rmr可以将R变量直接写入HDFS作为MapReduce作业的输入，但计算结束后在将HDFS上的结果加载成为R的数据结构。在处理大数据集是RHadoop可能有些捉襟见肘，但在小数据集的测试和原型验证时其还是有相当优势。
$ R
> library(rmr)
> small.ints = to.dfs(1:10)//创建1:10的数组，将结果存储在HDFS
> out = mapreduce( //The result from the MapReduce job is
a closure that can
be used to read the results back out of HDFS
input = small.ints,
map = function(k,v) keyval(v, v^2))
...
> result = from.dfs(out) //从HDFS读取结果
> print(result)
[[1]]
[[1]]$key
[1] 10
[[1]]$val
[1] 100
attr(,"rmr.keyval")
[1] TRUE
...
如果希望学习更多的rmr示例，可以参考https://github.com/RevolutionAnalytics/RHadoop/blob/master/rmr/pkg/docs/tutorial.md。
8.6本章小结
R和Hadoop的融合使大规模统计计算成为可能。随着数据规模和分析需求的增长，R和Hadoop的融合技术变得引人注目。本章主要集中讨论了三种可以将R和Hadoop集成在一起的技术。R和Streaming提供了较低层次的集成，Rhipe和RHadoop框架提供了在客户端R与Hadoop集成。
在学习完本章之后，你可以为自己的项目选择合适的技术。
下一章将继续数据科学主题，主要介绍Mahout用于预测分析。