-
个人简介:
PHP开发者,高可用性、分布式集群实践者,伪Python、GAE开发者,伪Linux系统管理员,伪MySQL管理员
2009年8月至今服务于阿里巴巴云计算公司
2008年8月至2009年7月31日服务于博客大巴
-
归档
- 2012 年一月
- 2011 年十一月
- 2011 年九月
- 2011 年八月
- 2011 年七月
- 2011 年六月
- 2011 年五月
- 2011 年三月
- 2011 年二月
- 2011 年一月
- 2010 年十二月
- 2010 年十一月
- 2010 年十月
- 2010 年九月
- 2010 年八月
- 2010 年七月
- 2010 年六月
- 2010 年五月
- 2010 年四月
- 2010 年三月
- 2010 年二月
- 2010 年一月
- 2009 年十二月
- 2009 年十一月
- 2009 年十月
- 2009 年九月
- 2009 年八月
- 2009 年七月
- 2009 年六月
- 2009 年五月
- 2009 年四月
- 2009 年三月
- 2009 年二月
- 2009 年一月
- 2008 年十二月
- 2008 年十一月
- 2008 年十月
- 2008 年九月
- 2008 年八月
- 2008 年七月
- 2008 年六月
- 2008 年五月
- 2008 年四月
- 2008 年三月
- 2008 年二月
- 2008 年一月
- 2007 年十二月
- 2007 年十一月
- 2007 年四月
-
杂项
分类目录归档:Database
MySQL中索引限制
1) MyISAM存储引擎的索引键长度的总和不能超过1000个字节 2)BLOB 和TEXT类型的列只能创建前缀索引 3)MySQL目前不支持函数索引 4)使用不等于(!=或<>)的时候MySQL无法使用索引 5)过滤字段使用了函数运算(如abs(column))后,MySQL无法使用索引 6)Join语句中Join条件字段类型不一致的时候,MySQL无法使用索引 7)使用LIKE操作的时候如果条件是以通配符开始(如%ABC)时,MySQL无法使用索引 8)使用非等值查询时候,MySQL无法使用HASH索引
MyISAM的Concurrent Insert
MyISAM中读写是相互阻塞的锁,很多人误认为MyISAM存储引擎是完全串行化,没有办法并行的,实际上,MyISAM中提供了一个非常有用的特性,就是Concurrent Insert。 在my.cnf中对Concurrent Insert可以进行配置,有三个可选值:0,1,2. 1) concurrent _insert =0 ,无论MyISAM的表数据文件中间是否存在因为删除而留下俄空闲空间,都不允许concurrent insert。 2)concurrent_insert = 1,是当MyISAM存储引擎表数据文件中间不存在空闲空间的时候,从文件尾部进行Concurrent Insert。 3)concurrent_insert = 2, 无论 MyISAM存储引擎的表数据文件的中间部分是否存在因为删除而留下的空闲空间,都允许在数据文件尾部进行concurrent insert操作。 从以上的赋值说明可以得出,在删除操作不是很多的情况下,可以选用 concurrent_insert =2 ,这样可以增大并发速度,但是会浪费一部分数据文件的空间,因为中间删除的空隙得不到数据填充。这个浪费在删除操作较多的情况下是非常可观的,所以在删除操作较多的情况下应该选用concurrent_insert =1,当然,假如你的对空间不是特别在乎,而且能很好的处理备份问题,选用concurrent_insert =2显然能提高你的MyISAM的并发读写能力。
mysql内存表heap使用总结
内存表使用哈希散列索引把数据保存在内存中,因此具有极快的速度,适合缓存中小型数据库,但是使用上受到一些限制,以下是蓝草使用的一些感受。 1、heap对所有用户的连接是可见的,这使得它非常适合做缓存。 2、仅适合使用的场合。heap不允许使用xxxTEXT和xxxBLOB数据类型;只允许使用=和<=>操作符来搜索记录(不允许& lt;、>、<=或>=);不支持auto_increment;只允许对非空数据列进行索引(not null)。 注:操作符 “<=>” 说明:NULL-safe equal.这个操作符和“=”操作符执行相同的比较操作,不过在两个操作码均为NULL时,其所得值为1而不为NULL,而当一个操作码为NULL时,其所得值为0而不为NULL。 3、一旦服务器重启,所有heap表数据丢失,但是heap表结构仍然存在,因为heap表结构是存放在实际数据库路径下的,不会自动删除。重启之后,heap将被清空,这时候对heap的查询结果都是空的。 4、如果heap是复制的某数据表,则复制之后所有主键、索引、自增等格式将不复存在,需要重新添加主键和索引,如果需要的话。 5、对于重启造成的数据丢失,有以下的解决办法: a、在任何查询之前,执行一次简单的查询,判断heap表是否存在数据,如果不存在,则把数据重新写入,或者DROP表重新复制某张表。这需要多做一次查询。不过可以写成include文件,在需要用该heap表的页面随时调用,比较方便。 b、对于需要该heap表的页面,在该页面第一次且仅在第一次查询该表时,对数据集结果进行判断,如果结果为空,则需要重新写入数据。这样可以节省一次查询。 c、更好的办法是在mysql每次重新启动时自动写入数据到heap,但是需要配置服务器,过程比较复杂,通用性受到限制。 蓝草目前采用的是第二种办法。 6、一些预期可能用到的sql语句 //如果表存在,则删除 DROP TABLE IF EXISTS `abc`; //复制整张表xyz为heap表abc(包含所有数据) CREATE TABLE `abc` type=heap select * from `xyz`; //添加主键id ALTER TABLE `abc` ADD PRIMARY KEY (`id`); … 继续阅读
mysql 删除表中的重复记录,只保留其中一条
MySQL中漏掉了40%左右的数据,寻找这个错误的代价是花了三天,将所有的代码重新检查了一遍,由于代码不是我写的,看得晕头转向,上苍保佑,我还不算太笨,最终找到了原因,不过接着就碰到另外一个问题,找回的数据中存在重复,而且在无法在重复的健上建立唯一,于是我想了一个最笨的方法 SELECT * FROM sub_new WHERE email IN ( SELECT email FROM sub_new GROUP BY email HAVING COUNT(email) > 1 ) 这种算法是最傻也是最没出息的算法,在数量在1W的时候还可以接受,到10W就要两分钟了,到50W就死在那里了,所以告诫那些跟我一样天资不算聪明的人,数据量比较大的时候千万别用这种方法,这种类似冒泡排序的算法复杂度是O(n^2),如果你有10W条记录,你自己乘一下吧 接着又想了另外一个方法,虽然机械了点,不过效率非常之高,分三步走: CREATE TABLE tmp AS SELECT * FROM youtable GROUP … 继续阅读
Google发布优化MySQL的补丁及工具
Google于周二发布了在GPL证书下的新程序代码,以增强MySQL数据库。Google在Google Code上释放出基于GPL发行的MySQL-4.0.26优化补丁,及两个Python编写的脚本工具。 google code的google-mysql-tools页面:链接