学步园

　　从传统数据库到数据库上云，再到云原生数据库，云时代业务环境和交付方式的差异化，使得云原生成了热词，而传统数据库厂商也因此受到了不小的冲击。 云原生数据库恐让传统数据库没饭吃 　　根据IDC的预测，到2025年全球存储在公有云环境的数据将达到49%，这意味着越来越多的数据正“逃离”本地，而诞生在云上的企业成了主力军，像Oracle这样的老牌企业也在想尽办法把数据库搬到云上。对于这些新生企业来说，数据存放需要云存...

　　当企业在内部部署数据中心开展业务时，添加有效控制的防火墙规则仅允许某些连接进出很容易。内部部署基于Web的应用程序不需要HTTPS——只是普通的HTTP可以正常工作。这似乎很难理解。企业网络上的很多人都有权进入，因此数据是否加密都没有关系。很多人表示，这种努力应对风险是不值得的，不必如此麻烦，反正用户也不知道。 　　企业会找到不同的方法来限制威胁，例如可以采用802.1X，它只允许采用网络上的授权设备。这降低了...

　　随着社会经济的高速发展，先进计算不仅在天气预报，生命科学等诸多前沿领域的应用日趋广泛，在未来智慧城市，物联网，云计算，大数据等领域也将不断开疆拓土。可以说，各种结构化和非结构化数据的爆发，使得先进计算获得了英雄用武之地。那么，何谓先进计算?随着5G和边缘的落地，对先进计算的应用和发展将会起到哪些作用?目前先进计算还有怎样的瓶颈问题需要解决? 　　多元化计算是社会经济发展需求 　　现在谈到先进计算，...

　　2019年11月12日凌晨，天猫发言人官方微博发布消息，公布了今年双十一天猫的总成交额为2684亿元，比去年多549亿。今年天猫双十一成交额突破100亿、500亿、1000亿、2000亿的速度都超越往年。 　　据了解，在11月11日到来的短短数分钟内，订单的峰值创下了一个全新的世界纪录——每秒54.4万笔，而阿里飞天云操作系统，是天猫能够顺利拥抱这一次全球最大数据洪峰的至尊功臣! 　　图片来源于阿里云 　　正如阿里巴巴现任CEO张勇所...

 MapReduce工作原理   一个Map-Reduce任务的执行过程以及数据输入输出的类型如下所示： (input)<k1,v1> -> map -> <k2,v2> -> combine -> <k2,v2> -> reduce -> <k3,v3>(output)   下面通过一个的例子并结合源代码来详细说明这个过程 WordCount示例 这也是Hadoop自带的一个例子，目标是统计文本文件中单词的个数。 假设有如下的两个文本文件来运行WorkCount程序： Hello Wor...

Hadoop 2.0集群配置详细教程 前言 Hadoop2.0介绍 Hadoop是 apache 的开源 项目，开发的主要目的是为了构建可靠，可拓展 scalable ，分布式的系 统， hadoop 是一系列的子工程的 总和，其中包含 1. hadoop common ： 为其他项目提供基础设施 2. HDFS ：分布式的文件系 统 3. MapReduce ： A software framework for distributed processing of large data sets on compute clusters 。一个 简化分布式编程的框架。 4. 其他工程...

hadoop1.0.0以前版本： 只有权限管理没有安全机制 ◆权限管理 1.参数配置 dfs.permissions = true 开启HDFS权限管理，false时对HDFS的读写不检查用户的权限。 chmod，chgrp 和 chown 不受该参数控制，总是会检查权限。 2.权限管理 HDFS每个文件和目录有一个所有者（owner）和一个组（group）。 文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。   ▪对文件而言，当读取这个文件时需要有r权限，当写入...

0. 准备 (1) 需要有gcc、autoconf、automake来编译安装google的protocol buffer (2) http://protobuf.googlecode.com/files/protobuf-2.4.1.tar.gz./configure --prefix=/usr/localmakemake checksudo make install完成后，检验$ protocMissing input file. (3) JDK、ANT、Maven(MVN) 1. 在Eclipse中增加SVN插件在help->install new software添加 http://subclipse.tigris.org/update/ 在window/Open Perspective中就会右SV...

近两年在云计算方面折腾，从基础知识、到理论算法，进一步Hadoop的集群搭建、Hbase,Hive,Pig等一系列的研究； 甚至Avro,ZooKeepr,mahout以及Chukwa,都有所涉足；读书破万卷，下笔有如神； 对此用的再多，不如下手一试，而阅读Hadoop的源码结构也是一种修炼内功的不必可少之路； 1：首先再看源码之前，至少要了解Hadoop有哪些东西，至少需要掌握了如下几点 Hadoop提供了什么东东 HDFS,Map-Reduce当然是必不可少的 Hadoop的集群...

一、 简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First useable Hbase 2008.1 Hadoop become Apache top-level project and Hbase becomes subproject 2008.10 Hbase 0.18,0.19 released   hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 它介于...