ITeye博客

行走在路上

lishuaibt · 共 9 篇文章

[置顶] 数据库水平切分的实现原理解析

第1章 引言 随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用,每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能,横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库,可以降低单台机器的负载,同时最大限度的降低了了宕机造成的损失。通过负载均衡策略,有效的降低了单台机器的访问负载,降低了宕机的可能性;通过集群方案,解决了数据库宕机带来的单点数据库不能访问的问题;通过读写分离策略更是最大限度了提高了应用中读取(Read)数据的速度和并发量。目前国内的大型互联网应用中,大量的…

2009-06-16 14:17 · 数据库 · 评论(130)

maven maven-war-plugin 的配置

在公司使用ANTX作为构建工具,一直以来感觉ANTX的auto-config功能很实用,它很好的将不同环境的打包方式通过properties文件分离了开来,且ANTX的这部分功能的实现应该是采用Velocity实现,故可以实现非简单的变量填充的功能,在配置中还可以写简单VM的语法。后来构建工具转型到MAVEN之后一直在寻找一种与ANTX 的autoconfig功能类似的插件,以解决不同环境打包的动态参数设置问题。经过google后发现了此插件,此处记录一下该插件----maven-war-plugin 。 基本配置 :(包括 排除 不想 打进war包的jar 的配置) <build> <fi…

2010-03-13 15:18 · 日常笔记 · 评论(3)

一致性哈希

在大型web应用中,缓存可算是当今的一个标准开发配置了。在大规模的缓存应用中,应运而生了分布式缓存系统。分布式缓存系统的基本原理,大家也有所耳闻。key-value如何均匀的分散到集群中?说到此,最常规的方式莫过于hash取模的方式。比如集群中可用机器适量为N,那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。的确,这种结构是简单的,也是实用的。但是在一些高速发展的web系统中,这样的解决方案仍有些缺陷。随着系统访问压力的增长,缓存系统不得不通过增加机器节点的方式提高集群的相应速度和数据承载量。增加机器意味着按照hash取模的方式,在增加机器节点的这一时刻,…

2010-03-06 18:08 · 分布式 · 评论(2)

Rsync的配置与使用

一.介绍 (不想看直接可以跳过) Rsync 是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机间的文件。 Rsync 本来是用以取代 rcp 的一个工具,它当前由 rsync.samba.org 维护。 Rsync 使用所谓的“ Rsync 演算法 ”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。运行 Rsync server 的机器也叫 backup server ,一个 Rsync server 可同时备份多个 client 的数据;也可以多个 Rsync server 备份一个 client 的数据。 …

2010-02-28 01:07 · Linux · 评论(0)

jdk/bin下的工具命令记录

1. jstat -gcutil [vmid] [interval] [count] 用于分析GC状况的命令,参数介绍 [vmid] 欲分析的java进程的PID [interval] 时间频率 单位ms [count] 打印次数 默认为无限 2 .jps -l [-v] [-m] java进程状态查看 -l:列表显示 -v:jvm参数 -m:main函数的输入参数查看 3.jmap -histo 将当前的内存状况反映到m.txt文件中 ./jmap -histo[vmid] >> /home/admin/m.txt

2010-02-01 16:05 · Java基础 · 评论(0)

Zookeeper 搭建------SingleNode

(一)环境搭建 1.下载Zookeeper :(我下载的是3.2.2版本) wget http://apache.freelamp.com/hadoop/zookeeper/zookeeper-3.2.2/zookeeper-3.2.2.tar.gz 2.解压缩 tar zxvf zookeeper-3.2.2.tar.gz 3.在conf目录下创建一个配置文件zoo.cfg,然后指定其中的内容为 tickTime=2000 dataDir=/home/admin/zookeeper_data clientPort=2181 4.创建Data目录 /home/admin/zookeeper_…

2010-02-01 14:09 · 分布式 · 评论(1)

ssh 无密码通信的配置

记录一下。 原理概述: 密匙认证需要依靠密匙,首先创建一对密匙(包括公匙和密匙,并且用公匙加密的数据只能用密匙解密),并把公匙放到需要远程服务器上。这样当登录远程服务器 时,客户端软件就会向服务器发出请求,请求用你的密匙进行认证。服务器收到请求之后,先在你在该服务器的宿主目录下寻找你的公匙,然后检查该公匙是否是合 法,如果合法就用公匙加密一随机数(即所谓的challenge)并发送给客户端软件。客户端软件收到 “challenge”之后就用私匙解密再把它发送给服务器。因为用公匙加密的数据只能用密匙解密,服务器经过比较就可以知道该客户连接的合法性 大体步骤: 1.在Client端生成私钥-公钥…

2010-01-04 18:50 · Linux · 评论(0)

JMM & synchronized概述

JMM & synchronized概述 根据Java语言规范中的说明,JVM系统中存在一个主内存(Main Memory),Java中所有的变量存储在主内存中,对于所有的线程是共享的(相当于黑板,其他人都可以看到的)。每个线程都有自己的工作内存(Working Memory),工作内存中保存的是主存中变量的拷贝,(相当于自己笔记本,只能自己看到),工作内存由缓存和堆栈组成,其中缓存保存的是主存中的变量的copy,堆栈保存的是线程局部变量。线程对所有变量的操作都是在工作内存中进行的,线程之间无法直接互相访问工作内存,变量的值得变化的传递需要主存来完成。在JMM中通过并发线程修改的变量值,必须…

2009-08-02 15:08 · Java基础 · 评论(7)

memcached的介绍链接

http://tech.idv2.com/2008/07/10/memcached-001/

2009-06-24 16:03 · 缓存 · 评论(1)