Fourinone和hadoop运行wordcount的对比测试（平均4核4g配置，输入数据为文件）：

说明：Fourinone可以充分利用单机并行能力，4核计算机可以4个并行实例计算，hadoop目前只能N*1；另外，可以由上图看出，如果要完成20g的数据，实际上fourinone只需要使用5台机器用60秒完成，比使用19台机器完成19g的hadoop节省了14台机器，并提前了200多秒

相关分布式框架(jar格式)及demo代码下载：

http://download.csdn.net/detail/fourinone/3557912

http://www.skycn.com/soft/68321.html

作者介绍：
Stone.Peng
资深IT技术人士
现在淘宝网任高级专家，从事互联网核心技术研究
之前在金蝶总体架构部任SOA架构师，负责设计ESB

您可能也喜欢：

五个最佳的Hadoop项目

淘宝在数据处理领域的项目及开源产品介绍

代码调优法则--编程珠玑笔记

TF-IDF及文本相似性度量

数据完整性策略

无觅

原文链接：The top five most powerful Hadoop projects

• 1.Cascading：Cascading是基于Hadoop集群之上的数据处理API。它通过实现了丰富的功能化API，使你不需要接触MapReduce任务就能使用分布式计算能力，其核心概念是基于管道和流的数据处理。
• 2.Mahout：Mahout是一个基于Hadoop实现各种机器学习与数据挖掘算法库。被用来提供推荐服务。
• 3.Hive：Hive由Facebook出品，它为Hadoop提供了一种类似于SQL的操作接口。
• 4.Avro：Avro是一个基于二进制数据传输高性能的中间件。Avro通过将数据进行序列化，以使得大批量数据交互过程更方便。
• 5.Storm：Storm由BackType Technology出口，其口号是“实时的Hadoop系统”。

您可能也喜欢：

淘宝Fourinone介绍及与Hadoop的性能PK

HTML重构的一些最佳实践

关于PHP最佳实践方法的两个PPT

Google App Engine项目收集

淘宝在数据处理领域的项目及开源产品介绍

无觅

Hive是搭建在Hadoop平台之上的。Hive并不是一个真正的数据库，它的元数据需要存储在其他数据库中(例如mysql)。。Hadoop平台提供了HDFS分布式存储系统和map/reduce分布式计算系统，而Hive在这两个系统之上，使得用户只需使用熟悉SQL语言就能进行分布式计算，而map/reduce编程往往是相当复杂的。Hive在少量数据运算或是短时间内的重复查询上，是不能和Oracle那样的数据库相比的。它的查询量通常相当大，一个大的job运行几个小时算是正常的。

数据类型 。HiveQL只支持以下几种基本数据类型TINYINT, SMALLINT, INT, BIGINT, DOUBLE, STRING。

支持的复杂数据类型有Structs, Maps, Arrays。

创建表。 Hive不同于其他数据库，它只有一个默认数据库”default” ，所有的table都保持在里面。

CREATE TABLE user(id BIGINT, name STRING);

可以指定将表创建到外部hdfs文件系统中。

CREATE EXTERNAL TABLE foo(id INT)

STORED AS TEXTFILE LOCALTION ‘/user/foo/foo_data’;

将数据文件导入到Hive表中。

LOAD DATA [LOCAL] INPATH ‘/data/userdata’ [OVERWRITE] INTO TABLE user;

使用LOCAL选项将使用本地文件系统 ，否则将使用hdfs文件系统。使用OVERWRITE选项将删除原来table中的数据，否则将新数据添加到文件末尾。

Load data导入数据将仅仅将文件拷贝到hive管理的目录下，并用table的元数据去解释这个文件。所以必须保证数据文件的结构必须和table的结构一 致，否则可以load data成功但是数据解释不正确。特别注意fields分隔符和lines分隔符要和Table一致。我使用自定义分隔符导入数据，一直没有成功。不管我 怎么指定，Hive总是使用默认的分隔符来解释我的文件（默认使用001(ctrl-A)分隔列，012(\n)分隔行 ）。问题未解决。

查询语句。 这里列出一些和标准SQL不同的地方。

不能使用select count(*)；需要指定count的列下标，select count(1) 。

不能使用CREATE TABLE newtable SELECT * FROM user；必须事先Create table，再用INSERT向其中写入数据。

排序关键字是SORT BY。

LIMIT关键字只能跟一个数字，即从第一条记录开始选出若干条。

INSERT语句变换很大，不能直接插入一条记录。插入的数据必须用SELECT子查询获取或者从某个文件导入。我还没细看。

> SELECT * FROM user LIMIT 10;

> INSERT OVERWRITE TABLE foo SELECT DESTIN(id) FROM user;

> SELECT M.id FROM user M JOIN foo S ON M.id = S.id;

> SELECT id FROM user GROUP BY id;

您可能也喜欢：

Mysql存储过程学习笔记--变量、参数、注释

PHP中操作mysql执行存储过程

mysql内存表heap使用总结

Mysql中union和order by的问题及优先级

MySQL 5.1.56 使用 InnoDB Plugin

无觅

1. 那来的从错误中学习

中国人常说的一句话是：失败是成功他妈。作者引用哈佛商学院的报告证明，失败的创业者再次创业并不比从未创业的人成功的概率更高。有一类人非常明白这个道理，他们有个名字叫VC（风险投资人），VC非常喜欢那些已经或者曾经创业并且干得不错的人，换句话说这些人往往能从VC那里以比较小的代价（损失较小的股份或者少费周折）搞到很多很多的钱用于再次创业或者公司发展 。

2. 何必壮大

这个观点有点意思，几乎所有的企业家都想将自己企业做大，富士康的员工超过百万，而作者觉得大未必是最优的，我非常认同作者的观点，我身边就有很多的公司每年几个亿的业务却只有10个左右的员工。公司越大责任就越大，不仅要自己赚钱还要照顾好这些员工，是一个有责任的企业家应该做到的，而不是压榨。如果你不能，那么就尽量提高效率，少招几个人吧，与人与己都是好事。

3. 工作狂

引用里面的几句话：工作狂实际取得的成就并不比正常人高，他们自诩为完美主义者，但这仅仅代表他们浪费了大量的时间去关注次要的细节，而不是推动下一项任务。真正的英雄是早已想出办法、搞定一切，然后回家了。

4. Start making Something

我们身边总有这样的人在叹息“XXX我早就想到了，只是没有下手，如果当初我干了，现在也亿万富翁了”，这个观点很可笑，你大脑中有创意跟你实际去创建这样的事情一点关系也没有，在你人生中最有意义的使你做了什么，而不是你想过什么、说过什么或者计划过什么

5. 没有时间不是借口

当你拥有某种极其强烈的渴望时，你就能挤出时间来，不管你身上是否还背负着其他的责任，事实上大部分的渴望不是那么强烈，于是他们总是拿没有时间来做借口进行自我保护。如果我不是这样，我今天已经做出了好几个开源作品了。

=====未完待续======

您可能也喜欢：
数据库的层次结构	代码格式规范的List	UDP hole punching 翻译	Zend Framework学习笔记（一）	N-Gram学习笔记
无觅

这个东西，稍微有点程序经验的人应该都接触过，比如在设计数据时候冗余了部分数据，避免关联表查询，减少开销，实际上也减少了查询时间，所谓空间换时间。还比如，我们将一个有点开销的计算结果存储起来，避免下次再次运算，减少时间消耗，再如，CPU的设计，设置了高速缓存，一级缓存，二级缓存，主存（通常所说的内存），其实一个硬盘和一个CPU也可以干活，只是干得不怎么样，因为硬盘和CPU之间速度实在是差别太大了，如是就有人想把可能要用到的数据预先加载到高速缓存或者主存中，慢慢形成了今天的个人计算机架构。

2、以时间换空间法则

这个其实也是天天在用的一个法则，只是一般技术人员看到“压缩”二字的时候，没联想到那么多，压缩就是最典型的拿时间换空间的例子，就是不断的重复前面已经存储过的存储地址，用来避免存取真实的数据。

3、循环法则

大部分稍微有点经验的人不会在同一个函数中循环两次同样的变量，但是仅限于同一个函数，假如在一个函数里调用了另外一个函数，那么就不一定了，很多人为了看似解耦的一个操作，在两个函数对同一个变量做了多次的循环。循环法则有几个比较经典细则：
第一、将代码移除循环，这是最容易想到的，当然，可以移除的条件是，每次循环都执行同样的某次操作。
第二、合并测试条件，高效的内循环应该包含尽量少的测试条件，最好只有一个，因此，程序员尽量用一些退出条件来模拟循环的其他退出条件。
第三、哨兵法则，在数据结构边界上放一个哨兵以减少测试是否已经搜索结束的开销。
第四、展开循环，展开循环可以减少修改循环下标的开销，对于避免管道延迟，减少分支以及增加指令级的并行性也有很大帮助。
第五、删除赋值，赋值的开销实际上在整个程序的执行过程中占的开销可以忽略不计，但假如你要在一个循环十万次的循环中赋值，那么开销就不能不计了，尽可能的在循环中减少赋值吧。
第六，消除无条件分支，快速的循环中不应该包含无条件分支，通过旋转循环，在底部加上一个条件分支，能够消除循环结束处的无条件分支。
第七、循环合并，如果你不小心做了傻事，那么合并两个对同一个变量循环操作吧

4、逻辑法则
利用等价的代数表达式。如果逻辑表达式的求值开销太大就将其替换为开销较小的等价代数表达式。
短路单调函数。如果我们想测试几个变量的单调非递减函数是否超过了某个特定的阈值，那么一旦达到这个阈值就不在需要计算任何变量了。
对测试机条件重新排序。在组织逻辑测试的时候，应该是降低开销的，经常成功的测试放在高开销的，很少成功的测试前面。

5、过程法则
打破函数层次。对于（非递归地）调用自身的函数，通常可以通过将其改写为内联版本并固定传入的变量来缩短其运行时间。
并行性。在底层硬件条件下，我们构建的程序应该尽可能多的挖掘并行性。

6、表达式法则
编译时初始化。在程序执行前，应该尽可能多的变量初始化。
利用等价的代数表达式。如果表达式的求值开销过大，就将其替换为开销更小的等价的代数表达式，比如换一种算法
消除公共子表达式。如果两次对同一个表达式求值，其所有变量都没有任何改动，那么我们可以用下面方法避免二次求值：存储第一次的计算结果并用其取代第二次求值。

您可能也喜欢：
开发环境的三大规则	数据完整性策略	TF-IDF及文本相似性度量	类设计	代码格式规范的List
无觅

第三种技术，也是这篇文章主要要研究的，就是非常有名的“UDP打洞技术”，UDP打洞技术依赖于由公共防火墙和cone NAT，允许适当的有计划的端对端应用程序通过NAT“打洞”，即使当双方的主机都处于NAT之后。这种技术在 RFC3027的5.1节[NAT PROT] 中进行了重点介绍，并且在Internet[KEGEL]中进行了非正式的描叙，还应用到了最新的一些协议，例如[TEREDO,ICE]协议中。不过，我们要注意的是，“术”如其名，UDP打洞技术的可靠性全都要依赖于UDP。

We will consider two specific scenarios, and how applications can be designed to handle both of them gracefully. In the first situation, representing the common case, two clients desiring direct peer-to- peer communication reside behind two different NATs. In the second, the two clients actually reside behind the same NAT, but do not necessarily know that they do.

这里将考虑两种典型场景，来介绍连接的双方应用程序如何按照计划的进行通信的，第一种场景，我们假设两个客户端都处于不同的NAT之后；第二种场景，我们假设两个客户端都处于同一个NAT之后，但是它们彼此都不知道(他们在同一个NAT中)。

3.3.1. Peers behind different NATs 处于不同NAT之后的客户端通信

Suppose clients A and B both have private IP addresses and lie behind different network address translators. The peer-to-peer application running on clients A and B and on server S each use UDP port 1234.? A and B have each initiated UDP communication sessions with server S, causing NAT A to assign its own public UDP port 62000 for A’s session with S, and causing NAT B to assign its port 31000 to B’s session with S, respectively.

我们假设 Client A 和 Client B 都拥有自己的私有IP地址，并且都处在不同的NAT之后，端对端的程序运行于 CLIENT A,CLIENT B,S之间，并且它们都开放了UDP端口1234。 CLIENT A和CLIENT B首先分别与S建立通信会话，这时NAT A把它自己的UDP端口62000分配给CLIENT A与S的会话，NAT B也把自己的UDP端口31000分配给CLIENT B与S的会话。如下图所示：

Now suppose that client A wants to establish a UDP communication session directly with client B.? If A simply starts sending UDP messages to B’s public address, 138.76.29.7:31000, then NAT B will typically discard these incoming messages (unless it is a full cone NAT), because the source address and port number does not match those of S, with which the original outgoing session was established. Similarly, if B simply starts sending UDP messages to A’s public address, then NAT A will typically discard these messages.

假如这个时候 CLIENT A 想与 CLIENT B建立一条UDP通信直连，如果 CLIENT A只是简单的发送一个UDP信息到CLIENT B的公网地址138.76.29.7:31000的话，NAT B会不加考虑的将这个信息丢弃（除非NAT B是一个 full cone NAT），因为 这个UDP信息中所包含的地址信息，与CLIENT B和服务器S建立连接时存储在NAT B中的服务器S的地址信息不符。同样的，CLIENT B如果做同样的事情，发送的UDP信息也会被 NAT A 丢弃。

Suppose A starts sending UDP messages to B’s public address, however, and simultaneously relays a request through server S to B, asking B to start sending UDP messages to A’s public address.? A’s outgoing messages directed to B’s public address (138.76.29.7:31000) cause NAT A to open up a new communication session between A’s private address and B’s public address. At the same time, B’s messages to A’s public address (155.99.25.11:62000) cause NAT B to open up a new communication session between B’s private address and A’s public address. Once the new UDP sessions have been opened up in each direction, client A and B can communicate with each other directly without further burden on the “introduction” server S.

假如 CLIENT A 开始发送一个 UDP 信息到 CLIENT B 的公网地址上，与此同时，他又通过S中转发送了一个邀请信息给CLIENT B，请求CLIENT B也给CLIENT A发送一个UDP信息到 CLIENT A的公网地址上。这时CLIENT A向CLIENT B的公网IP(138.76.29.7:31000)发送的信息导致 NAT A 打开一个处于 CLIENT A的私有地址和CLIENT B的公网地址之间的新的通信会话，与此同时，NAT B 也打开了一个处于CLIENT B的私有地址和CLIENT A的公网地址(155.99.25.11:62000)之间的新的通信会话。一旦这个新的UDP会话各自向对方打开了，CLIENT A和CLIENT B之间就可以直接通信，而无需S来牵线搭桥了。(这就是所谓的打洞技术)！

The UDP hole punching technique has several useful properties. Once a direct peer-to-peer UDP connection has been established between two clients behind middleboxes, either party on that connection can in turn take over the role of “introducer” and help the other party establish peer-to-peer connections with additional peers, minimizing the load on the initial introduction server S. The application does not need to attempt to detect explicitly what kind of middlebox it is behind, if any [STUN], since the procedure above will establish peer- to-peer communication channels equally well if either or both clients do not happen to be behind a middlebox.? The hole punching technique even works automatically with multiple NATs, where one or both clients are removed from the public Internet via two or more levels of address translation.

UDP打洞技术有很多实用的地方：第一，一旦这种处于NAT之后的端对端的直连建立之后，连接的双方可以轮流担任 对方的“媒人”，把对方介绍给其他的客户端，这样就极大的降低了服务器S的工作量；第二，应用程序不用关心这个NAT是属于cone还是symmetric，即便要，如果连接的双方有一方或者双方都恰好不处于NAT之后，基于上叙的步骤，他们之间还是可以建立很好的通信通道；第三，打洞技术能够自动运作在多重NAT之后，不论连接的双方经过多少层NAT才到达Internet，都可以进行通信。

您可能也喜欢：
TCP和UDP的区别	代码格式规范的List	《Rework》	提问的智慧	数据库的层次结构
无觅

假设一个句子S可以表示为一个序列S=w1w2…wn，语言模型就是要求句子S的概率P(S)：

这个概率的计算量太大，解决问题的方法是将所有历史w1w2…wi-1按照某个规则映射到等价类S(w1w2…wi-1)，等价类的数目远远小于不同历史的数目，即假定：

N-Gram模型

其中，C(w1w2…wi)表示w1w2…wi在训练数据中出现的次数

平滑技术的引入

N>>K

其中K为随机变量能够取到的值的个数。

K=140*140*140=2,744,000

给定一个10万词左右的人工标注训练集，即

N=100,00，可见训练数据显得非常不足。

p(k)=N(k)/N

对于计数为r的计数等价类，定义nr为等价类中成员的个数，pr为等价类中事件的概率，R是最大可能出现的计数次数，则

我们使用Cr表示保留部分中计数为r的计数等价类的观察个数。对于保留部分使用最大似然法对进行概率pr进行估计，即使对数似然函数最大化：

如果测试部分也作为保留部分的话，就是典型的极大似然估计：

对于留一方法，pr的极大似然估计为：

因为nRpR与1相比一般可以忽略，留一估计公式可以近似为：

留一估计可以利用计数r=1的事件来模拟未现事件，对于未现事件有如下估计：

这个公式就是著名的Turing-Good公式。

空等价类

留一估计中要求么个nr均不为0，在实际问题中当r=5时，这个要求通常都不能满足，即计数等价类G1,…,GR中存在空的等价类。这时按照出现次数进行排序：

对应的出现r(l)次的事件的个数记为nr(l)，在进行留一估计时，使用下一个非空的等价类Gr(l+1)代替可能为空的等价类Gr(l)+1，留一估计公式变为：

式中对空的等价类没有估计概率，因为空等价类并没有对应任何有效事件。

Turing-Good估计的优缺点和适用范围

缺点：( 1 )无法保证概率估计的“有序性”，即出现次数多的事件的概率大于出现次数少的事件的概率。(2)pr与r/N不能很好地近似，好的估计应当保证pr<=r/N。

优点：其它平滑技术的基础。

适用范围：对0<r<6的小计数事件进行估计。

约束留一估计

单调性约束：pr-1<=pr；折扣约束：p<=r/N。

约束留一估计：让计数估计r*=pr•N处于距其最近的绝对频数之间：

在这个约束下，单调性约束自然满足。

计算方法：计算m时检查每个pr是否满足约束，不然就用约束的上下界进行裁剪，然后重新计算m，一直迭代下去直到所有pr满足约束。

Katz指出Turing-Good公式实质是对模型中观察到的事件进行折扣，将折扣得来的概率摊到所n0个未现事件中。在这个思想的指导下，估计公式可以下成如下形式：

其中，dr是对计数为r的事件的计数的一个折扣函数。

若折扣函数定义为：dr=b，其中b为一个大于0的常数。那么未现事件的总概率为：

对应绝对折扣模型的估计公式为：

线性折扣模型

若折扣函数定义为：dr=a·r，其中a为一个大于0的常数。那么未现事件的总概率为：

对应线性折扣模型的估计公式为：

若a=n1/N，则n0p0=n1/N，与Turing-Good估计相同。

删除插值法（Deleted Interpolation）

其基本思想是，由于N-Gram比N+1-Gram出现的可能性大的多，所以使用N-Gram估计N+1-Gram的概率，例如trigram的计算公式如下：

其中，

参数l的确定：将训练数据分为两部分，一部分用于估计f(wi| w1w2…wi-1)，一部分用于计算参数l，求使语言模型的困惑度最小的l。

您可能也喜欢：
linux mail命令学习	linux进程管理笔记	Linux 不是 Windows	That is why i love linux	Linux网络管理中的几个小工具
无觅

1、为逻辑表达式、数组下标和子程序参数的可读性使用了空格了吗？
2、不完整的语句在行末似乎以明显又错的方式结束吗？
3、后续行按照标准数码缩进了吗？
4、每行顶多只有一条语句吗？
这一点是团队中比较头痛的问题，很多人不按照这个规则来做，结果它成了一种风气
5、所写的每个语句都没有副作用吗？
6、每行顶多只声明一个数据吗？
注释布局：
1、注释与其所注释的代码所尽量相同吗？
2、注释风格便于维护吗？
子程序的布局：
1、你对每个子程序的参数格式化方式便于看懂、修改、注释吗？
2、采用空行分割子程序各部分了吗？
4、文件中子程序用空行清楚分开了吗？
5、在没有更好的组织形式的场合，所有子程序都按字母排列了吗？
这一点我没有做到，没有做到是没有想到这一点，以后编码注意了……

您可能也喜欢：
UDP hole punching 翻译	《Rework》	代码调优法则--编程珠玑笔记	数据库的层次结构	提问的智慧
无觅