作者归档：Dante

RSS feed of Dante

作者是 发布于 in Web开发.

最后更新于 .

最近在修改一个代理机server，增加url rewrite的功能，由于其单机的访问量很高，20000/s左右，对性能要求很高，所以在做url映射的时候，纠结在用map还是hashmap存储映射的问题上。

于是做了一个简单的测试，对与map和hashmap（我们用unordered_map），循环10000*24次，map大小是12（因为目前预估会配置的url个数是12左右）。
部分代码如下：

#include <iostream>
#include <string>
#include <vector>
#include <map>
#include "markupstl.h"
#include <tr1/unordered_map>
#include <sys/time.h>
using namespace std;
#define hashmap std::tr1::unordered_map
#define CONFIG_FILE_PATH "./urlconfig.xml"
map<string,string> g_mapUrl;
hashmap<string,string> g_hashmapUrl;
struct timeval ...

作者是 发布于 in Web开发.

最后更新于 .

记得刚入职的时候，那时候什么都不懂，组长让我跑个迁移程序，还没跑完就关终端走人了，结果可想而知，那是第一次知道守护进程的概念。
当时后来是加了nohup参数解决的，

nohup ./program &


但是总是强迫别人用nohup来启动自己的程序毕竟不是办法，所以还是要把自己的进程变成守护进程才行。

C/C++的版本就不说了，这里有篇文章写的很清楚。
http://colding.bokee.com/5277082.html

这里主要介绍一下在网上无意发现的一个国外哥们的写的python版本：
http://www.jejik.com/articles/2007/02/a_simple_unix_linux_daemon_in_python/
顺便吐个槽，这哥们用的Vim配色明显是Wombat~~
代码如下(对私有函数名加了_前缀，便于理解，并加了一定的注释)：

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys, os, time, atexit
from signal import SIGTERM
class Daemon:
    """
    A generic ...

作者是 发布于 in Vim.

最后更新于 .

很久没上vim官网，今天上去一看Vim7.3居然发布啦，看日期是8月16日发布的，看来还是晚了两天呀~~
马上下载下来尝鲜啦，担心有些朋友找不到，故放出下载链接如下：

ftp://ftp.vim.org/pub/vim/pc/gvim73.exe

界面没什么变化（都是自己配的色，肯定没变化嘛。。），看一下这个默认的编译支持如何：

1

看到了吗，看到了吗，Vim居然默认将python语言支持编译进去了，而且最兴奋的居然还支持python3！
不过兴奋之余，我发现了一个很严重的问题。。。那就是我的pyflakes和qiushibaike.vim都不能用了。。。Vim7.3默认要求的python版本居然是2.7，太潮了吧！
好吧，卸掉我心爱的python 2.6，去下载个python 2.7，结果再次感慨到gfw的伟大，官网的download页面居然被和谐了。。所幸找到ftp的下载地址：

http://www.python.org/ftp/python/2.7/python-2.7.msi

如果直接在浏览器下载不了 ...

作者是 发布于 in Web开发.

最后更新于 .

经常在linux下工作的朋友一定经常需要用tcpdump抓包分析，不过有时候肉眼看起来实在是太累，不经意居然发现了这样一个好工具：
wireshark，下载页：http://www.wireshark.org/download.html

简单用他来演示一下tcp协议的整个过程：
先在开发机上开始抓包：

tcpdump -ieth1 host 172.27.193.234 -w tcpbao

调用一个发送tcp请求的小程序，可以抓到包---tcpbao.

用wireshark载入之后，会看到如下界面：

1

可见，整个过程完整的展现了TCP协议中，建立链接->发送数据->断掉链接的过程。
读者可以对照本博的：
TCP协议状态详解
或
http://bigwhite.blogbus.com/logs/11582229.html
来看。

简单说一下：

1~3个报文是tcp三次握手建立链接的过程
4~7个报文是客户端发送实体数据的过程
8~10个报文是客户端主动断掉链接的过程（这里和标准的关闭链接貌似有点出入，标准TCP协议貌似还要多返回一个ACK报文）

其实这个软件还支持直接抓包来查看报文的，详细可以看一下如下的在线文档，在此不再赘述。
http://man ...

作者是 发布于 in Vim.

最后更新于 .

这篇文章的东西可能比较杂，因为每个特性都不那么大，所以就揉在一起，倒是显得庞大了许多。

一.svn命令行在windows下面的安装使用
一直以来都使用svn管理源码，但是在windows下一直使用TortoiseSVN的界面进行管理，但是对于我这种键盘控（vim后遗症）来说，简直是无法忍受的！
搜啊搜啊搜啊，终于发现了-----CollabNetSubversion
下载页面：http://www.collab.net/downloads/subversion/
如果象我一样只需要命令行的话，下载CollabNet Subversion Command-Line Client v1.6.12 (for Windows)即可，网站需要先注册一下。
基本上安装完了，svn up、svn add就可以用了，但是svn ci的时候，你会发现如下提示：

svn: Commit failed (details follow):
svn: Could not use external editor to fetch log ...

作者是 发布于 in Web开发.

最后更新于 .

最近被公司的事情搞的很纠结，博客也有段时间没写了，不过最近还是忙里偷闲做了点其他事情，在这里记录下来，和大家分享一下。

需求也比较简单，老婆是做社区运营的，所以需要每天把几个帖子定时的顶上来，手工做很累，所以就想让我用程序实现。

分析一下，其实无非是先用户名和密码登录，获取到cookie后，再带着cookie去访问要顶贴的页面即可，至于剖析页面来获取url就是BeautifulSoup要做的事情了。（论坛是discuz做的，这里只为演示方法）

登录代码实现如下：

def Login(user,pwd): 
    loginpage = urllib.urlopen('http://bbs.xxx.com/logging.php?action=login').read() 
    login_soup = BeautifulSoup(loginpage) 
    formhash_tag = login_soup.find('input',attrs={'name':'formhash'}) 
    formhash = formhash_tag['value'] 
     
    params = { 
            "answer":"", 
            "formhash":formhash, 
            "loginfield":"username", 
            "loginsubmit" ...

作者是 发布于 in Web开发.

最后更新于 .

最近遇到一个需求，即一个配置文件，由于这个文件的访问量非常大（8000次/秒），并且配置文件本身也比较大，所以需要
1.发布之后在5分钟之内生效
2.要能够cache，并尽量减少请求量和流量

对于以上的需求进行分析，首先否定掉放到CDN上，因为虽然第二点满足，但是第一点没法满足。

那么只能通过cgi读取配置文件返回内容来实现，具体方法如下：
1.发布之后5分钟生效
使用Etag，在这里即为配置文件的md5值，当来的请求的Etag值和服务器上的版本不一致时，才返回数据，并设置新的Etag；否则，返回304
2.能够cache
使用Cache-Control，来设定cache的时间

从而，使用Etag减少了流量，使用cache减少了请求量，并且同时兼顾了数据的更新时间可控。

示例代码如下：
返回304：

void CAppBaseConf::PrintHttp304()
{
std::string v = "HTTP/1.1 304 Not Modified\r\nServer: qzhttp\r\n";
printf ...

作者是 发布于 in Web开发.

最后更新于 .

最近在做系统的时候，遇到了一个瓶颈，即在列出所有素材的列表列表的时候，由于素材都是swf或者jpg，结果几百个文件的时候，就会导致页面加载极慢，老大说让做成异步加载，于是就改了一下。注：本人js很差，献丑了……
其实这种异步加载元素的方式无非就是在原有的HTML上置一个标记，然后等最新的数据到来的时候替换掉它。
在网上搜了一下，很多人推荐一个叫做jquery.lazyload.js的插件，能够支持图片的异步加载，使用方法也比较简单，在header里面写：

<script type="text/javascript" src="jquery.lazyload.js"></script>
$(document).ready(function(){
    $("img").lazyload({
        placeholder : "grey.gif",
        effect : "fadeIn"
    });
});

这样图片异步加载确实解决了，但是swf的渲染看来只能自己来写了。这里用span来存储swf的url，等到需要渲染的时候，再将span内部渲染出flash来，代码如下（其实就是仿照jquery.lazyload.js写的，甚至直接copy了函数）：

<script type="text/javascript" charset ...

作者是 发布于 in Web开发.

最后更新于 .

公司最近的网络限制越来越严格了，除了公司自己业务的任何网站，软件，都必须通过代理访问。
于是我华丽的发现google code更新不了代码了，等了两天，实在受不了找企业IT部，发现svn是可以配置代理的，如图：

1

试了一下svn up，可以用啦，不错不错，大快～，结果再试了一下svn ci，于是又杯具了……

唉，估计是代理对https的协议支持不好，罢了罢了，翻过一墙还是一墙，那我就只更新吧。

但是事情并没有结束，我有时候需要写程序去抓取外网的网页数据：

import urllib
url = 'https://www.vimer.cn'
data = urllib.urlopen(url).read()

简洁的python，但是用不了……

换urllib2，加代理：

import urllib,urllib2
url   = 'http://www.vimer.cn/'
proxy = 'xxx.xxxx.com:8080'
opener ...

作者是 发布于 in Vim.

最后更新于 .

前一段时间在博客中和fuadam讨论过python中调用print的时候，是否可以直接打印decode之后的字符的问题。（原文：python-django的中文编码总结）
一开始我的结论是，print只能打印encode的字符，不能进行decode，但是后来在直接执行python test.py（在vim中是!python %）后，发现确实能够正常打印，那我之前究竟是怎么看到错误的结果的呢？

首先，我们需要在vimrc中做如下配置来实现python的一键执行：

function CheckPythonSyntax()
    let mp = &makeprg
    let ef = &errorformat
    let exeFile = expand("%:t")
    setlocal makeprg=python\ -u
    set efm=%C\ %.%#,%A\ \ File\ \"%f\"\\,\ line\ %l%.%#,%Z%[%^\ ]%\\@=%m
    silent make %
    copen
    let &makeprg     = mp
    let &errorformat = ef
endfunction

打开一个python文件，代码如下 ...