P.Linux Laboratory

周末遇到一个问题，数据库主机不断地报：NTP WARNING: Offset XXX secs。
肯定就是NTP同步时间出问题了。
首先简单介绍一下NTP：“NTP协议全称网络时间协议（Network Time Procotol）。它的目的是在国际互联网上传递统一、标准的时间。具体的实现方案是在网络上指定若干时钟源网站，为用户提供授时服务，并且这些网站间应该能够相互比对，提高准确度。”
我们内网也是有NTP服务器的，为什么同步会出现这么大的Offset？
登陆机器查看情况，首先看ntpstat

synchronised to local net at stratum 11
time correct to within 11 ms
polling server every 1024 s

很奇怪，为什么是local net？
查看配置文件/etc/ntp.conf，没有什么异常。
对比了其他服务器，发现server的配置不一样，怀疑可能是这台机器设置的server不可用，ping了一下，果然不通，确定了是内网NTP服务器设置的问题。
把其他服务器上配置的三个地址拷贝过来，/etc/init.d/ntpd restart，竟然出现了fail！

Shutting down ntpd: [ OK ]
ntpd: Synchronizing with time server: [FAILED]
Starting ntpd: [ OK ]

为什么Fail，已经修改过server地址了，并且其他服务器也是这个server就能同步。
再检查/etc/ntp/目录下的文件，发现一个step-tickers文件，里面写的是原先错误的server ip，于是修改之再次重启/etc/init.d/ntpd restart，
这次正常了

Shutting down ntpd: [ OK ]
ntpd: Synchronizing with time server: [ OK ]
Starting ntpd: [ OK ]

过一会再看ntpstst，也正常了。

synchronised to NTP server (X.X.X.X) at stratum 3
time correct to within 11 ms
polling server every 64 s

昨天因为BlackBerry摔白屏了，以为要刷机，结果应该是显示屏排线松了，猛敲一阵自己好了，不过刷机过程还是折腾了好久，记录一下。

1. 首先需要一个WIPE工具，把黑莓连上电脑，不要开桌面管理器，然后点击WIPE.bat就会把机器清空，然后就可以刷机了。

  wipe.rar (40.8 KiB, 628 hits)

2. 安装桌面管理器，我装的是最新版5.1：下载地址。
3. 下载需要的ROM版本：下载地址
4. 安装ROM，安装的时候不要打开桌面管理器。
5. 打开桌面管理器：选项–>连接选项，选择正确的接口，都能显示出BlackBerry XXXX
6. 删除C:\Program Files\Common Files\Research In Motion\AppLoader\Vensor.xml
7. 点击应用程序加载器–>更新软件，选择需要的版本，下一步就OK。
8. 安装东亚版的要注意：必须选择“笔画输入法”和“繁体支持”，这样才会有中文，否则中文是框框。
9. 刷机，等待完成~

看到一个不错的内容：《[译文]程序员能力矩阵 Programmer Competency Matrix》，自己对照着圈了圈自己的Level。

计算机科学 Computer Science
	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
数据结构	不知道数组和链表的差异	能够解释和使用数组，链表，字典等，并且能够用于实际的编程任务。	了解基本数据结构时间和空间的折中，比如数组vs 链表，能够解释如何实现哈希表和处理冲突，了解优先队列及其实现。	高等的数据结构的知识，比如B-树、二项堆、斐波那契堆、AVL树、红黑树、伸展树、跳跃表以及前缀树等。
算法	不能够找出一个数组各数的平均值(这令人难以置信，但是我的确在应聘者中遇到过)	基本的排序，搜索和数据的遍历和检索算法。	树，图，简单的贪婪算法和分而治之算法，能够适度了解矩阵该层的含义。	能够辨识和编写动态规划方案，良好的图算法知识，良好的数值估算的知识，能够辨别NP问题等。
编程体系	不知道何为编译器、链接器和解释器。	对编译器、链接器、解释器有基本的了解。知道什么是汇编代码以及在硬件层如何工作。有一些虚拟内存和分页知识。	了解内核模式vs用户模式,多线程，同步原语以及它们如何实现，能够阅读汇编代码。了解网络如何工作，了解网络协议和socket级别编程。	了解整个程序堆栈、硬件(CPU+内存+中断+微码)、二进制代码、汇编、静态和动态链接、编码、解释、JIT（just-in-time）编译、内存碎片回收、堆、栈、存储器编址…
软件工程 Software Engineering
	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
源码版本控制	通过日期备份文件夹	VSS和初级的CVS/SVN用户	熟练地使用CVS和SVN特性。知道如何分支和归并，使用程序库补丁安装特性等	有分布式VCS系统的知识。尝试过Bzr/Mercurial/Darcs/Git
自动化编译	只知道在IDE下编译	知道如何编译在命令行下编译系统	能够安装一个脚本构建基本的系统	能够安装一个脚本来构建系统并且归档，安装程序，生成发布记录和给源码控制中的代码分配标签。
自动化测试	认为所有的测试都是测试员的工作。	能够编写自动化的单元测试，能够为正在编写的代码提出良好的测试用例。	按照TDD （Test Driven Development）方式编写代码。	了解并且能够有效自动化安装，载入/性能和UI测试
程序设计 Programming
	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
问题分解	只有直线式的代码，通过复制粘贴来复用	能够把问题分散到多个函数中	能够想出可复用的函数/对象来解决大题的问题	使用适宜的数据结构和算法，写出通用的/面向对象的代码来封装问题的易改变的层面。
系统分解	N想不出比单一的文件/类更好的层面	如果不在同一平台或没采用相同的技术，能够把问题空间和设计方案分解。	能够设计跨技术/平台的系统。	能够在多个产品线和与外部体系一体化中虚拟化和设计复制的系统。同时也能够设计支持系统监视、报告、故障恢复等。
交流	不能向同伴表达想法/主意。匮乏拼写和语法的能力。	同伴能了解你在说什么。有良好的拼写和语法能力。	能够和同伴进行高效的交流	能够使用清晰的方式了解和交流想法/设计/主意/细则，能适应每种环境的交流
同一文件中代码组织	同一文件中组织没有依据	按照逻辑性或者易接近的方法	代码分块和对于其他源文件来说是易于是释,引用其他源文件时有良好的注释	文档头部有许可声明，总结，良好的注释，一致的空格缩进。文档外观美观。
	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
跨文件代码组织	没够想过给代码跨文件组织	相关文件按文件夹分组	每个物理文件都有独立的目的，比如一个类的定义，一个特性的实现等。	代码在物理层组织紧密，在文件名上与设计和外观相匹配，可以通过文件分布方式洞察设计理念。
源码树组织	一切都放在一个文件夹内	初步地将代码分散进对应逻辑的文件夹。	没有循环依赖，二进制文件，库，文档，构建，第三方的代码都组织进合适的文件夹内。	源码树的物理布局与逻辑层次、组织方式相匹配。可以通过目录名称和组织方式洞察设计理念。
代码可读性	单音节的名称 （在国内应该是那些类似用汉语拼音命名的习惯）	对文件、变量、类、方法等，有良好的命名。	没有长函数、注释解释不常规的代码，bug修复,代码假设。	代码假设验证使用断言，自然的代码流，没有深层嵌套的条件和方法
防御性编码	不知道这个概念	检查代码中所有的参数，对关键的假设进行断言	确保检查了返回值和使代码失败的异常。	有自己的库来帮助防御性编程、编写单元测试模拟故障
	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
错误处理	只给乐观的情形编码	基本的代码错误处理，抛出异常/生成错误	确保错误/异常留在程序中有良好的状态，资源，连接，内存都有被合适的清理。	在编码之前察觉可能出现的异常，在代码的所有层次中维持一致性的异常处理策略，提出整个系统的错误处理准则。
IDE	IDE大部分用来进行文本编辑	了解其周围的接口，能够高效地通过菜单来使用IDE	了解最常操作的键盘快捷键	编写自定义宏
API	需要频繁地查阅文档	把最频繁使用的API记在脑子里	广阔且深入的API知识。	为了使实际任务中常用API使用更加便捷，编写过API的上层库，填补API之间的缺口。
框架	没有使用过主平台外的任何框架	听过但没用过平台下流行的可用框架	在专业的职位中使用过一个以上的框架，通晓各框架的特色。	某框架的作者
	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
需求分析	接受给定的需求和代码规格	能对规格的遗漏提出疑问	了解全面情况，提出需要被规格化的整体范围。	能够提出更好的可选方案，根据经验的浮现给出需求
脚本	不具备脚本工具的知识	批处理文件/shell脚本	Perl/Python/Ruby/VBScript/Powershell	写过并且发表过可重用的代码
数据库	认为Excel就是数据库	知道基本的数据库概念，规范化、ACID（原子性Atomicity、一致性Consistency、隔离性Isolation、持久性Durability）、事务化，能够写简单的select语句	能够牢记在运行时必要查询中设计良好的规范化数据库模式， 精通用户视图，存储过程，触发器和用户定义类型。知道聚集与非聚集索引之间的差异。精通使用ORM（Object Relational Mapping对象关系映射）工具	能做基本的数据库管理，性能优化，索引优化，编写高级的select查询，能够使用相关sql来替换游标，理解数据内部的存储，了解如何镜像、复制数据库。知道两段数据提交如何工作
经验 Experience
	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
专业语言经验	命令式语言和面向对象语言	命令式语言,面向对象语言和说明型语言(SQL),如果了解静态类型vs动态类型，弱类型vs强类型则有加分	函数式语言,如果了解延缓求值，局部套用函数，延续则有加分	并发语言(Erlang, Oz) 逻辑语言(Prolog)
专业平台经验	1	2-3	4-5	6+
专业经验年龄	1	2-5	6-9	10+
领域知识	没有该领域的知识	在该领域中曾经至少为一个产品工作过	在同一领域中为多个产品工作过	领域专家。在该领域设计和实现数种产品/方案。精通该领域使用的标准条款和协议
学识 Knowledge
	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
工具知识	仅限于主要的IDE(VS.Net, Eclipse等)	知道一些流行和标准工具的备选方案	对编辑器、调试器、IDE、开源的备选方案有很好的了解。比如某人了解大多数Scott Hanselman的威力工具列表中的工具，使用过ORM工具。	实际地编写过工具和脚本，如果这些被发布则有加分
语言接触	命令式语言和面向对象语言	命令式语言、面向对象语言和说明型语言(SQL),如果了解静态类型vs动态类型、弱类型vs强类型则有加分	函数式语言,如果了解延缓求值、局部套用函数、continuations （源于scheme中的一种高级控制结构）则有加分	并发语言(Erlang, Oz) 逻辑语言(Prolog)
代码库知识	从来没有查询过代码库	基本的代码层知识，了解如果构建系统	良好的代码库工作知识，实现过几次bug修复或者完成了一些细小的特性	实现了代码库中多个大型特性，能够轻松地将多数特性的需求变更具体化，从容地处理bug修复。
下一代技术知识	从来没听说过即将到来的技术	听说过某领域即将到来的技术	下载过alpha preview/CTP/beta版本，并且读过一些文章和手册	试用过预览版而且实际地构建过某物，如果共享给其他人的话则有加分
	2n (Level 0)	n2 (Level 1)	n (Level 2)	log(n) (Level 3)
平台内部	对平台内部毫无所知	有平台基本的内部工作的知识	深度的平台内部知识，能够设想平台如何将程序转换成可执行代码。	编写过增强平台或者为其平台内部提供信息的工具。比如，反汇编工具，反编译工具，调试工具等。
书籍	菜鸟系列，21天系列，24小时系列，蠢货系列…	《代码大全》，《别让我思考》, 《精通正则表达式》	《设计模式》，《人件》，《代码珠玑》，《算法设计手册》，《程序员修炼之道》，《人月神话》	《计算机程序设计与解释》，《事务处理:概念与技术》，《计算机程序设计模型》，《计算机程序设计艺术》，《数据库系统导论》 C.J Date版，《Thinking Forth》 ，《Little Schemer》（没找到其中译本）
博客	听过但是从来抽不出空去接触	阅读一些科技/编程/软件工程的博客，并且经常的收听一些播客	维护一些博客的链接，收集博主分享的有用的文章和工具	维护一个在编程方面，分享有个人见解和思考的博客

主要应用场景是，假设我们有一个库DB进行了水平拆分，DB1~10都需要更改表结构，如果手动到各个服务器去执行，效率太低，写了个脚本来做这个事情，叫mybatsql。

用法很简单，需要两个文件，server.list和sql.list，跟脚本放在同一目录下。
server.list中放服务器的主机名/IP，用户名，密码；sql.list中放需要批量执行的SQL。
例如：
server.list

127.0.0.1,root,111
127.0.0.2,root,111

sql.list

show status;
show variables;

这两个文件表示，我要在127.0.0.1和127.0.0.2上执行show status;show variables;语句。

也可以通过参数-l/-s指定这两个文件的地址：perl mybatsql.pl -l server_server_file -s sql_file

  mybatsql.pl (4.1 KiB, 2,983 hits)

阅读全文…

数据库每天都承受着数据量的增长，慢慢的我们发现，对数据库得访问变得非常慢了，这个时候，不外乎两种做法：一是增加单机的配置，升CPU升内存升硬盘；二是“脑裂”，把数据库拆成多份分开存放。
第二个思路必然是最终的方案，因为无论如何单机的承受能力是有限的，业务量的增长必然最终还是要走第二条路。
其实拆分，并不是一个难事，按主键水平拆分，按列垂直拆分，操作上都难，最难的问题是发生在合并的时候，尤其是需要排序的时候（数据库的GROUP/DISTINCT也是先排序做的），合并会变得很麻烦。
一个很糟糕的办法是，设置一台排序专用的机器，访问数据库通过这台机器，发现要排序了就在本地排序，把结果转发给客户端。并发量一大，这台排序用的机器就悲剧了。
第二个方法是，我们希望我们从各个分库中拿出的数据，本身就是按我们所要的方式排序的，数据路由只要组装数据即可，不需要再次排序。
这个如何实现呢，来举个例子，假设我们有个社区系统，有一张用户表U(U_ID,Info,Date)三个字段，分别是主键、信息、注册时间。有一张关系表R(U_ID_1,U_ID_2)，表示U_ID_1和U_ID_2是朋友。我们经常有这样的需求，想知道某个人有哪些朋友。
假设A和B是朋友，我们就在R表插入2条记录R(A,B),(B,A)，为什么要两条呢，数据冗余啦！不错，就是要冗余，冗余可以让后面的工作很Easy。
现在数据量大的惊人，要拆表！
假设业务需求如下：
1. 用户的U.Info查询很少，但是这个部分很长。
2. 经常用U.Date经常被用来排序。
3. 经常要知道某个人有哪些好友。
4. 凡是显示用户都按注册先后排序。
阅读全文…