飞翔的荷兰人
flyingdutchman · 共 101 篇文章
RabblitMQ Cluster + HAProxy(负载均衡)
在本节中,我们主要来学习软件负载均衡器HAProxy在RabbitMQ集群中的使用。 **<span style="color:blue">软件负载均衡器HAProxy</span>** HAProxy的特点是: 1、HAProxy是支持虚拟主机的,,并能支持上万级别的连接; 2、能够补充Nginx的一些缺点比如Session的保持,Cookie的引导等工作; 3、支持url检测后端的服务器出问题的检测会有很好的帮助; 4、它跟LVS一样,本身仅仅就只是一款负载均衡软件;单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度,在并发处理上也是优于Nginx的; 5、HAProx…
RabbitMQ:镜像队列Mirrored queue
在上一节 《RabbitMQ集群类型一:在单节点上构建built-in内置集群》 中我们已经学习过:在集群环境中,队列只有元数据会在集群的所有节点同步,但队列中的数据只会存在于一个节点,数据没有冗余且容易丢,甚至在durable的情况下,如果所在的服务器节点宕机,就要等待节点恢复才能继续提供消息服务。 那么是不是有消息冗余的解决方案呢?这就要提到从RabbitMQ 2.6.0版本开始提供支持 镜像队列(Mirrored Queue) ,消息会在rabbitmq节点之间的被创建为“镜像队列”的队列之间复制。和其它的主从设计一样,镜像队列也有master和slave的概念,一旦某个节点当掉,会在…
2013-07-23 18:11 · RabbitMQ · 评论(0)
RabbitMQ集群类型一:在单节点上构建built-in内置集群
在本章中我们来学习配置rabbitmq集群类型之一的built-in内置集群。 **<span style="color:blue">metadata元数据</span>** 在一个单节点的rabbitmq server中,queue metadata队列元数据、exchange metadata交换机元数据、binding metadata绑定元数据和vhost metadata虚拟主机元数据都全部保存在服务器的内存当中;在built-in内置rabbitmq server集群中,这四种元数据会被保存在每一个节点服务器内存中。 **<span style="color:blue">rabb…
RabbitMQ:使用python发布/订阅消息
在上一章节中,我们学习了 RabbitMQ:基础,运行和管理 ,在本节中我们来学习一下如何发布和订阅rabbitmq消息,我们使用python来开发应用程序。 我们先来看一下发布/订阅rabbitmq消息的流程。先来看消息生产者Publisher如何发布消息流程: [color=blue]1、打开RabbitMQ连接; 2、创建Channel通道; 3、声名一个exchange交换机; 4、生成一条消息; 5、发布消息; 6、关闭Channel通道; 7、关闭RabbitMQ连接。[/color] 然后我们再来看一下Consumer订阅流程和消费消息: [color=blue]1、打开Rab…
RabbitMQ:基础,运行和管理
在本章中我们来学习一下RabbitMQ的基础知识以及相关的相关运行和管理。 RabbitMQ是一个高性能的工业级的AMQP协议、使用erlang语言创建的开源的消息服务器,可以同步或异步发送或接受消息。 <span style="color:blue">RabbitMQ基础知识</span> <span style="color:red">**Broker:**</span>简单来说就是消息队列服务器实体,可以把一个rabbitmq server当作一个broker。 <span style="color:red">**Exchange交换机:**</span> Exchange负责对消息进…
2013-07-22 00:32 · RabbitMQ · 评论(0)
CentOS 6.4 安装redis-2.6
[color=blue]# wget http://redis.googlecode.com/files/redis-2.6.14.tar.gz # chmod +x redis-2.6.14.tar.gz # tar -xzvf redis-2.6.14.tar.gz # cd redis-2.6.14 # make # make install[/color] make命令执行完成后,会在src目录下生成5个可执行文件: <span style="color:red">redis-server</span>:Redis服务器的daemon启动程序 <span style="color:r…
CentOS 6.4 安装Sonar
在本章中,我们来学习一下如何在Linux下配置Sonar。 第一步,先来创建Sonar所用的Mysql数据库: [color=blue]# mysql -u root -p Enter password: //输入密码 # # Create Sonar database and user. # CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci; # CREATE USER 'sonar' IDENTIFIED BY 'sonar'; # GRANT ALL ON sonar.* TO 'sonar'@'%' ID…
CentOS 6.4 优化编译安装Nginx
在本章中,我们来学习一下如何在Linux下编译安装Nginx。 第一步,下载并解压tar文件: [color=blue]# wget http://nginx.org/download/nginx-1.2.8.tar.gz # chmod +x nginx-1.2.8.tar.gz # tar -xzvf nginx-1.2.8.tar.gz [/color] 第一步,编译安装Nginx: [color=blue]# cd nginx-1.2.8 # ./configure --prefix=/opt/nginx --pid-path=/var/log/run/nginx.pid --loc…
CentsOS 6.4 安装Maven私人仓库Nexus
在本章中,我们将来学习如何在linux下安装并配置Maven私人仓库Nexus。 第一步,下载并解压tar文件: [color=blue]# wget http://download.sonatype.com/nexus/oss/nexus-2.5.1-01-bundle.tar.gz # chmod +x nexus-2.5.1-01-bundle.tar.gz # cp -rf nexus-2.5.1-01 /opt # mv nexus-2.5.1-01 nexus[/color] 第二步,配置: [color=blue]# cd /etc/init.d # cp /opt/nexus…
CentOS 6.4 hadoop集成 Hbase Hive
在之前的 CentOS 5.4 hadoop集成 Hbase 和 CentOS 5.4 hadoop集成Hive 两个章节中,我们已经学习了如何在hadoop的上分别集成Hive和Hbase在本章中,我们来看一下如何在hadoop上集成hbase和hive,让hive和hbase一起工作。 第一步,将hbase-0.92.2.jar和zookeeper-3.4.5.jar拷贝到$HIVE_HOME/lib目录下,并将相关的其他版本的hbase和zookeeperd的jar包删除: [color=blue]# cp /opt/bigdata/hbase-0.92.2/hbase-0.92.2*…
CentOS 6.4 hadoop集成 Hbase Zookeeper
再上一章中我们已经学习了 Hadoop-1.0.3集成Hive-0.8.1 ,在这一章节我们来学习一下如何配置Hbase-0.92.2。 <span style="color:blue">配置Zookeeper先</span> 在hadoop上集成hbase之前,需要先安装zookeeper,hbase集群需要通过zookeeper集群来通信和监控Hbase集群中的节点的状态。故我们首先来配置一下zookeeper: [color=blue]# wget http://mirror.bjtu.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-…
CentOS 6.4 hadoop集成Hive
在本节中,我们来学习如何安装Hive。在之前我们已经学习过如何在CentOS上安装Hadoop,详情请参看 CentOS 6.4 安装伪分布式Hadoop 1.0.3 ,这里不再赘述。 第一步,下载并解压Hive的tar文件: [color=blue]# chmod +x hive-0.8.1.tar.gz # tar xzvf hive-0.8.1.tar.gz # cp -rf hive-0.8.1 /opt/bigdata[/color] 第二步,配置Hive: [color=blue]# cd /opt/bigdata/hive-0.8.1 # ll[/color] 1、先配置Hiv…
CentOS 6.4 优化编译安装MySQL-5.6
在本章中,我们来学习一下怎么在CentOS 6.4上优化编译MySQL-5.6.12源代码并按装之。 第一步,先删除CentOS已有的MySQL然后安装MySQL的一些依赖包: [color=blue]# yum remove mysql # yum -y install gcc gcc-c++ autoconf automake zlib* fiex* libxml* ncurses-devel libmcrypt* libtool-ltdl-devel* cmake cmake-gui libaio-devel[/color] 第二步,添加MySQL用户和用户组: [color=blue…
Hadoop深入学习:MapReduce Job中的Shuffle和sort
MapReduce Job中的Shuffle和sort示意图
2013-07-06 22:30 · Hadoop · 评论(0)
Hadoop深入学习:解析HDFS的写文件流程
之前,我们已经学习过了HDFS的读写数据流程,详情请看 《Hadoop深入学习:HDFS主要流程——写文件》 ,近来鄙人在看《Hadoop:The Definiyive Guide(3rd edition)》,发现之前的体会还有些不足,故在本章中,我们再来重温一下Client是如何向Hadoop的HDFS中写数据的。 下面我们来先看看下面的“写”流程图: 假如我们有一个文件test.txt,想要把它放到Hadoop上,执行如下命令: [color=blue]# hadoop fs -put /usr/bigdata/dataset/input/20130706/test.txt /opt/b…
2013-07-06 16:43 · Hadoop · 评论(1)