月归档：八月 2009

Linux进程创建

发表于 2009 年 08 月 29 日由崔玉松

Linux进程创建很特别。许多其他的操作系统都提供了产生（spawn）进程的机制，首先在新的地址空间里创建进程，读入可执行文件，最后开始执行。Linux通常采用了与众不同的实现方式，他把上述步骤分解到两个单独的函数（步骤）中去执行：fork()和exec()。首先fork()通过拷贝当前进程创建一个子进程。子进程与父进程的区别仅仅是多了一个PPID（父进程的进程号，子进程将其设定为被拷贝进程的PID），当然PID也是不同的，不过每个进程的PID都是不同的，要不然操作系统就没法识别和调度了。 exec()函数负责读取可执行文件并将其再如地址空间开始运行。把这两个函数组合起来使用效果和其他系统使用的单一函数效果相似。 fork()是通过简单的资源拷贝来实现创建子进程，尽管子进程有那么点和父进程的区别，这种通过简单拷贝实现的进程创建是非常低效率和耗资源的，因此人们想着去怎么提高这个效率，最后采用了一种类似与程序设计中的延迟绑定的措施，也就是“写时拷贝”。所谓写时拷贝就是内核在创建进程时不复制整个进程的地址空间，而是让父进程和子进程共享同一个拷贝。只有在需要写入的时候数据才会被复制到新的地址空间中，从而是个进程拥有各自的拷贝，也就是说在此之前都是以只读方式实现共享，何种技术使地址空间上的页拷贝被推迟到实际发生写入的时候。在页根本不会被写入的情况下，就无需再复制了。废话了这么多，实际上也就是说Linux进程的创建是通过拷贝来实现的，然后对这个拷贝方式和时间进行了优化，出现了写时拷贝这么个东西。

发表在 Operating System | 标签为 linux | 留下评论

正则表达式匹配中文符号（GBK编码）

发表于 2009 年 08 月 21 日由崔玉松

事实证明，网上的很多东西都是扯淡，不过原理还是有的，我碰到一个需求，给定一段文字中（GBK编码），去除所有符号，不相干符号，包括标点，日文片假名之类的，于是我在网上搜啊，搜啊，得到的结果要么就是错的，要么就根本好不相干，被抄袭得最厉害的是http://community.mybbchina.net/thread-212-post-507.html，可怜的作者，我也不知道这些人为什么抄这个，我就没测试成功过，连GBK的字符集区间都没弄清楚。其实指定字符编码匹配中文很简单，GBK编码表中很明确的规定了所有的符号位置，而且刚好是一个区间，在维基百科上有详细的介绍，比如我要把类似 addd中华ds,#￥%…&（（212））｝｝Ａ■g民国ds中-啊国fjsd,【】啊Ｙ这样的字符串中所有非中文、英文、数字字符全部去除掉，姑且叫去除的字符为火星文，去除火星文的PHP写法为: preg_replace("/([\xA1-\xA9].{1}?)*?/", "", $str); 这样所有在全角状态下输入的非中文，英文和数字将被替换掉，如果还需要进一步处理英文状态下的，那就判断一下ASCII码值吧，或者你怕麻烦也可以把所有的都列出来，然后替换,可以参考下面，在网上找来的，非我写的，忘了出处了 /** * 清除所有常见标点符号 * @param $pointer * @return unknown_type */ function clear_point($pointer) { return str_replace ( array(’ ‘,"~","!","@","#","$","%","^","&","*",",",".","?",";",":","’",’"’," [", "]","{","}","！"," ￥","……","…","、","，","。","？","；","：","‘","“","”", "’"," 【","】","～","！","＠","＃","＄","％","＾","＆","＊","，","．"," ＜", "＞","；","：","＇","＂","［","］","｛","｝","／","＼","《","》","-","_"), array(”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”, ”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”,”, ”,”,”,”,”,”,”,”,”,”,”,”,”,”), $pointer ); } … 继续阅读 →

发表在 Programming | 标签为 PHP, PhpWind | 一条评论

七层负载均衡与静态文件缓存

发表于 2009 年 08 月 14 日由崔玉松

这个标题有点吓人，又是负载均衡又是缓存，随便哪个都能写好几本书了，这里浅谈一二，适合新手，老鸟请绕道，个人的一些浅薄观点。很多大公司在七层上做负载均衡大多基于硬件，比如F5，假如流量真的大到不行了，或者是钱多的烧包，那么买一个这种设备肯定是不二的选择，省去多少事情啊，不用搭建环境，不用搞很多测试，只要照着说明文档或者去厂方培训几天就可以了。七层设备出了F5还有很多，在七层上做负载均衡的软件业很多，比如大名鼎鼎的HaProxy，比如配上第三方工具的LVS，甚至因为负载均衡的重要性，很多具有前瞻性的Web服务器开始提供这样的功能，比如nginx，比如light httpd，nginx的七层负载均衡实际上还是很不完善的，当后端代理一台机器死掉后，nginx还会发送请求给这个机器，这个机器不处理，那么nginx就会一直等待超时，在超时后再将请求分配给其他的机器，在流量大时会很影响性能，造成一定程度的连接堆积甚至堵塞，nginx的负载均衡算法也相对少很多，没有haproxy和LVS多，当然后者是专业负载均衡软件。静态文件缓存也有很多，比如不朽的squid，比如最近两年很火的varnish，甚至号称比squid更快速更精准的nginx的模块ncache,varnish使用的Visual Page Cache技术能够显著降低内存和磁盘的交换次数，使系统利用率更高，我没有在百万级以上环境检测过varnish，很多人说varnish不是足够的稳定，我测试的时候没有发生什么问题。静态文件缓存一般都不止一台，我一直推崇使用七层负载均衡来设计静态缓存架构，因为可以降低重复率，降低重复率自然是提高利用率。URL HASH能够很好的解决缓存浪费的情况，比如用户头像放在一台机器上，模板中的小文件放在另外一台机器上，利用七层负载均衡就很容易让头像的请求命中头像服务器，模板请求命中模板缓存服务器，避免了三层或者四层负载均衡重复缓存导致的硬件利用率低下问题。而且服务单一，新切换的缓存机器，很容易重新缓存满。七层负载均衡和四层负载均衡相比，最大的缺点就是没有四层的负载能力高，Haproxy据说能跑到40万并发，LVS有几百万，这些都是理论上的数据，真的跑到40万的时候，服务器网卡早就挂了

发表在 Operating System | 标签为 linux, 乱讲 | 2 条评论

论坛程序设计的思考

发表于 2009 年 08 月 07 日由崔玉松

新入公司，项目被老同志分的七七八八，系统还没有足够的熟悉，暂时清闲了几天，看了几天的代码，有面向对象的，更多的是面向过程的，这篇博文的title值得商榷的，反正我不知道该取什么名字，姑且唬人一下。 1）设计目标，任何软件都需要一个设计目标，比如目标用户，并发数等等，论坛这个东西实时性很强，同时在线人数一般不高，如果很高的话一般会自己做，或者请公司定制开发或优化。撑死了几千人同时在线，很多论坛的设计目标就是没有目标，看到好的功能和界面，拿过来，改改，堆上去，完事 2）模块划分，市面上的几个论坛软件大多还是沿用了N多年前的架构，面向过程，而且过程不清晰，虽然在用户后台看上去好像各个功能挺独立的，看看代码就知道，里面定义了一堆全局变量，更奇怪的是没有注释，还有好几个是没用的，代码重复率非常高，require来include去，绕啊，绕啊，我就晕了~~，功能模块都没能独立，更没法谈耦合和内聚了~ 3）数据库设计，这个挺有意思的，曾经“有幸”阅读过discuz不知道几点几版本的代码，里面的SQL写得令人毛骨悚然，不得不佩服写这个SQL语句程序员的数据库造诣之深，反正我是没写过，也写不出来，我的原则是，能一次查询的不做两次查，能不用jion的就坚决不用，discuz的表有上百个之多，phpwind更是超过150个，且有不断增加之趋势，清一色使用mysql，而且还是用的MYISAM引擎，好吧，1000个并发的时候，discuz 7是挂掉了，phpwind没测试过，暂时不评论。数据表设计时冗余是必要的，不一定非要遵循范式规则，过度随意就成了灾难，我看到数据库中居然有q1,q2,q3一直到q21这样的字段，通通都是int型的，而且绝大部分都是空的，浪费空间之严重令人非常惊讶，且不说这个命名十分之不友好，这个东西能这样做的么，假如真的需要21个同样类型的q这种东西，为啥不再分一张表，然后给个ID连接一下不就好了么，这仅仅是一个例子，N张表都能找到这样的例子。用户表是论坛的核心表之一，论坛有积分啊，签名啊，生日啊，等级啊，权限啊之类之类的，用户属性自然是多之又多，可是再多也不能全放一个表里，一个表里有六七十个属性，这像话么！！绝大部分属性普通用户都是空的，又是一个“占着茅坑不拉屎”的表设计，大部分用户注册时能不填的肯定不会填，就那么昵称啊，email啊，密码啊几个字段需要insert，至于牵动六七十个属性同时更改一遍么，myisam引擎insert是加的是表级锁的啊，郁闷，纵向拆分这张表！ 4）错误处理，出错了，前面加个@好了，让别人都看不到就不会有什么问题了，嗯，这个似乎是可以防止因为出错信息而泄漏一些东西，可是总得让自己知道怎么回事啊，不然怎么解决呢，还好都有官方论坛可以去问，大多数时候管理员也不知道用户出了什么问题，只能靠猜，为什么不记录一个log呢？！ 5）不想说了~~先把前面的改了再说……

发表在 Database | 标签为 MySQL, PHP, PhpWind | 2 条评论

linux进程管理笔记

发表于 2009 年 08 月 02 日由崔玉松

进程是操作系统最基本抽象之一。一个进程就是处于执行器的程序（目标码粗放在某种介质上）。但进程不仅仅局限于一段可执行程序代码（Unix称之为text section），通常进程还包括其他资源，如打开的文件、挂起的信号、内核内部的数据、处理器状态、地址空间及一个和多个执行线程、当然还包括用来存放全局变量的数据段等，实际上，进程就是正在执行的程序代码的活标本。 1）进程描述符及任务结构在很多介绍Linux进程描述的文章中，有些将内核的进程存放称之为task array，在阅读linux/sched.h头文件中代码可知，实际上进程存放是以链表的形式存放的，单个数据结构是一个task_struct的结构，因此叫做task list更准确一些。task_struct相对比较大，在32位机器上，大约1.7k。Linux通过slab分配器来分配task_struct，用这个来分配的好处是能达到对象复用和cache coloring（翻译成“缓存着色”太别扭了，也很难理解），实际上就是一个预分配的过程，这样可以减少动态创建和销毁带来的系列开销。 2）进程描述存放内核通过唯一的进程标示值来存放和标示每个进程（PID）。PID默认的最大值为32768，是int类型，可以增加到类型允许的最大值，对于普通的桌面系统或者server来说默认最大值已经足够，对于大型服务器可能需要更多的进程数，只需要修改/proc/sys/kernel/pid_max来提高上限。 3）进程状态 TASK_RUNNING，进程正在执行，用户空间的唯一状态 TASK_INTERRUPTIBLE，被阻塞，等待恢复的状态。 TASK_UNINTERUPTIBLE ，除了不因为接收到信号而唤醒之外，和上面的一个相同 TASK_ZOMBIE 僵死。 TASK_STOPPED进程停止运行，没有运行，也不能投入运行。