跟据nginx日志统计ip访问量排名

很多时候想知道哪些ip访问量最多,所以写了下面的脚本来统计一下,然后找出这些IP来自哪个国家的。

#www.yiyou.org
use strict;
use 5.010;
use Geo::IP;
use Data::Dumper;

my $file=shift;

open(FH,"$file") or die $!; 
our %counter;
my $test=1;

my $gi = Geo::IP->open("GeoLiteCity.dat", GEOIP_STANDARD);

while(<FH>){
	chomp $_;
	if(/((\d{1,3}\.){3}\d{1,3})/){
		#say $1;
		$counter{$1}+=1;
	}

}

foreach (sort{$counter{$b}<=>$counter{$a}} keys %counter){
	next if $counter{$_} < 1000;
	my $record = $gi->record_by_addr($_);
	my $country_code=$record->{country_code};
	print "$country_code $_ => $counter{$_}\n";
}

 

mojo::webqq两个群消息相互联通

很早很早之前就看到一个这样的功能,当时在extmail的两个群hzqbbc用net::oicq模块写了一个程序,然后将两个群的信息互通起来,这个功能令人羡慕妒忌恨啊,当然也没有办法要得到代码。今天正好想到webqq ,所以在cpan找到了灰灰大侠的webqq模块,功能实在太强了,所以我利用灰灰大侠的webqq实现了这个小功能。这也算圆梦了。
注意,登录qq必须要先加两个群才能进行消息转发。

use Mojo::Webqq;
use Mojo::Util qw(md5_sum);

my $qq = 111111; # 你的qq号           
my $pwd = "aaaaaaaaa"; #QQ密码
my $pwd_md5 = md5_sum($pwd);

my $client=Mojo::Webqq->new(
    ua_debug    =>  0,        
    log_level   =>  "info" ,
    qq          =>  $qq, 
    pwd         =>  $pwd_md5,
    login_type  =>  "qrlogin",
    'tmpdir'	=>'D:\\Dwimperl\\test_fy\\qq'
);
$client->load("ShowMsg");


$client->on(receive_message=>sub{
    my ($client,$msg)=@_;
    
    #$msg->dump();# 要先用这个dump 功能才能看到groupid
    if($msg->{group_id} eq 2436979435){  
	my $sender= $msg->{sender};
	my $nick=$sender->{nick};
	my $qq = $sender->{qq};
	
	my $group = $client->search_group(gname=>"LINUX/UNIX"); #转发的QQ群名字
	$client->send_group_message($group,$nick.'['.$qq.']:'.$msg->content);
    } 
    if($msg->{group_id} eq 3067430334){
	my $sender= $msg->{sender};
	my $nick=$sender->{nick};
	my $qq = $sender->{qq};
	my $group = $client->search_group(gname=>"windows企业技术");  #转发的QQ群名字
	#$client->send_group_message($group,$msg->content);
	$client->send_group_message($group,$nick.'['.$qq.']:'.$msg->content);
    } 
    
    #$msg->reply($msg->content); #已以相同内容回复接收到的消息
    #你也可以使用$msg->dump() 来打印消息结构
});

$client->on(ready=>sub{
    my $client = shift;
 
    #你的代码写在此处 
 
});

$client->run();

参考

https://metacpan.org/pod/Mojo::Webqq

宅男福利-perl爬虫-下载美女网站图片

今早想看看go的,结果google带我进入了一个go爬虫的程序的项目,下载试用了一下,发现居然不理想,想想perl不是专干这个的嘛,所以就有了以下代码

use strict;
use strict;
use WWW::Mechanize;
use Bloom::Filter;
use 5.010;
#use URI;

$|=1;

my $dir="./images/";
if(!-d $dir){
	mkdir $dir;
}

my $filter = Bloom::Filter->new(capacity => 100000, error_rate => 0.0001);

my $mech = WWW::Mechanize->new(stack_depth     => 0, timeout         => 10,autocheck       => 0);
$mech->agent_alias( 'Windows IE 6' );
$mech->add_header( Referer => 'https://meizi.us/' );

my @queue;

push @queue,"https://meizi.us/";

while(my $http=pop(@queue)){
	say "open url:".$http;
	$mech->get($http);
	for my $link($mech->links()){
		my $url=$link->url();
		#say "link $url";
		if($url=~/page=/){
			if(!$filter->check($url)){
				$filter->add($url);
				push @queue,$url;
			}
		}

	}
	for my $img($mech->images){
		my $url=$img->url;
		#say "image  $url";
		if($url=~/small\.jpg/){
			
			$url=~s/_small//;
			say "download image: $url";
			my ($file) = $url =~ m|([^/]+\z)|;;
			#say $file;
			my $ff=$dir.$file;
			if(!-f $ff){
				eval{
					$mech->get($url, ':content_file' => $dir.$file);
				};
				next if($@);
			}
			#exit;
		}
	}
	say "New counter:",scalar (@queue);
	sleep 1;
}

效果嘛,有点不好意思发了,反正准备一个大硬盘就对了

参考

http://www.php-oa.com/2013/05/24/mojo-perl-crawler.html

https://metacpan.org/pod/WWW::Mechanize#new

http://stackoverflow.com/questions/31539687/how-do-i-download-an-image-file-from-a-website-using-wwwmechanize

https://github.com/qibin0506/Meizar  –前面所说的go 项目

用perl访问带有图片验证码的后台

有时候好奇的想,如果用perl去访问一个带有图片验证码登录的用户中心,怎么用perl登录呢?先是想到 获取图片验证码,然后用orc 技术去破解,但是想到像discuz这样的验证码肯定识别率极低。后来在网上google 了一下,发现解决思路是这样的

先访问网站,找到图片验证码的路径,然后把图片下载下来(注意要同一个浏览器进程)保存成一个图片,然后人工识别这个图片,再手工输入即可了,这种方法,可以破解99% 的图片验证码

网上找来的参考代码如下

use strict;
use warnings;
use FindBin qw($Bin);
#use HTML::TreeBuilder::XPath;
use WWW::Mechanize;

my $mech = WWW::Mechanize->new();
$mech->agent_alias("Windows IE 6");
$mech->get(
    "http://epaper.dfdaily.com/dfzb/page/1/2013-08/17/A01/20130817A01_pdf.pdf");

#you don't need commented code
#because CAPTCHA URL is always the same for this site
#my $tree = HTML::TreeBuilder->new_from_content( $mech->content() );
#my ($src) = $tree->findvalues('//img[@id="checkcode"]');
$mech->get("http://203.156.244.168:9000/validatecodegen");
open my $fh, ">:raw", "$Bin/captcha.jpg" or die $!;
print {$fh} $mech->content();
close $fh;
$mech->back();

print "Input CAPTCHA: ";
my $code = <>;
chomp $code;
$mech->submit_form(

    with_fields => {
        checkCode => $code,

    },
    button => "Submit",
);

$mech->save_content("$Bin/result.pdf");

来源

http://stackoverflow.com/questions/18289338/how-to-use-perl-to-download-a-file-which-need-a-code-confirm

perl中文转换小结

每次遇到中文转换都头痛欲裂,经过这次的小程序,终于明白了perl中文字符内码转换原则。

1、perl里面只有两种字符格式Ascii(octets)和utf8(string).  所以你的程序里面只能用这两种。如果你有中文,那么肯定必须使用utf8 了。文件也要保存为utf8 格式,文件头要加上 use utf8.

notepad++里选择 “格式”-“以UTF8格式编码”

2、中文常用有 gbk,gb2312,utf8 。gb2312 和gbk是一样的,只不过gbk支持的字符要多点。你在转换时,必须知道源来的编码是什么,通常,如果你是perl文件,并以utf8 格式保存,那么这个原来的编码就是utf8了。所以,如果要转换成gbk那么程序如下

use Encode;

$str='我是中文';
$newstr= encode('gbk',decode('utf-8',$str));
# $newstr 现在已经是gbk内码了

3、mysql字符集问题,刚才已经说到,perl只支持两种格式,所以你的mysql数据库,表,字段格式也必须是utf8 的,否则麻烦很多。

4、关于perl在windows环境打印中文的问题,因为windows 中文版是gbk格式的,所以如果你是utf8 ,必需转码才能输出内容。

say encode("gbk",decode("utf-8",$str));

5、关于网页采集的问题,国内中文网站有gbk,有utf8的,所以最好先看看编码是什么的,这样就不用猜了。如果你不知道编码,下在用下面的程序猜(来自php-oa.com)

use Encode;
use LWP::Simple qw(get);
use strict;
 
my $str = get "http://www.sina.com.cn";
 
eval {my $str2 = $str; Encode::decode("gbk", $str2, 1)};
print "not gbk: $@\n" if $@;
 
eval {my $str2 = $str; Encode::decode("utf8", $str2, 1)};
print "not utf8: $@\n" if $@;
 
eval {my $str2 = $str; Encode::decode("big5", $str2, 1)};
print "not big5: $@\n" if $@;

获取到你想要的中文后,还是一样的操作,如果网页是utf8 的,可以直接插入mysql(utf8字段),如果你的字段不是utf8 ,那么转换再插入,不过建议还是选择utf8 。

对于操作mysql 前,需要执行set names utf8,程序大约如下

#get the record from  mysql
my $dbi = DBIx::Custom->connect(
  dsn => "dbi:mysql:database=mydb",
  user => 'root',
  password => '',
);

$dbi->do("SET NAMES utf8"); #注意dbix 和 DBI 都可用

 

6、关于url encode的问题,网页请求带有中文url 的时候,必须转换编码,平时可能没有注意到,gbk 和utf8 的编码是不一样的。具体到http://tool.chinaz.com/tools/urlencode.aspx  可以测试。下面的程序来自(PerlChina 552603群友)

use strict;
use warnings;
use utf8;
use 5.010;
use Data::Dumper;
use URI::Escape;
use Encode;

my $str='中文字符';

say uri_escape_utf8($str);
say uri_escape(encode("gbk",$str));

参考

http://www.php-oa.com/2008/12/13/perl-unicode.html

perlcn – 简体中文 Perl 指南

来自 http://docs.activestate.com/activeperl/5.8/lib/pods/perlcn.html

 

perlcn – 简体中文 Perl 指南


DESCRIPTION

欢迎来到 Perl 的天地!

从 5.8.0 版开始, Perl 具备了完善的 Unicode (统一码) 支援, 也连带支援了许多拉丁语系以外的编码方式; CJK (中日韩) 便是其中的一部份. Unicode 是国际性的标准, 试图涵盖世界上所有的字符: 西方世界, 东方世界, 以及两者间的一切 (希腊文, 叙利亚文, 亚拉伯文, 希伯来文, 印度文, 印地安文, 等等). 它也容纳了多种作业系统与平台 (如 PC 及麦金塔).

Perl 本身以 Unicode 进行操作. 这表示 Perl 内部的字符串数据可用 Unicode 表示; Perl 的函式与算符 (例如正规表示式比对) 也能对 Unicode 进行操作. 在输入及输出时, 为了处理以 Unicode 之前的编码方式存放的数据, Perl 提供了 Encode 这个模块, 可以让你轻易地读取及写入旧有的编码数据.

Encode 延伸模块支援下列简体中文的编码方式 (‘gb2312’ 表示 ‘euc-cn’):

    euc-cn      Unix 延伸字符集, 也就是俗称的国标码
    gb2312-raw  未经处理的 (低比特) GB2312 字符表
    gb12345     未经处理的中国用繁体中文编码
    iso-ir-165  GB2312 + GB6345 + GB8565 + 新增字符
    cp936       字码页 936, 也可以用 'GBK' (扩充国标码) 指明
    hz          7 比特逸出式 GB2312 编码

举例来说, 将 EUC-CN 编码的档案转成 Unicode, 祗需键入下列指令:

    perl -Mencoding=euc-cn,STDOUT,utf8 -pe1 < file.euc-cn > file.utf8

Perl 也内附了 “piconv”, 一支完全以 Perl 写成的字符转换工具程序, 用法如下:

    piconv -f euc-cn -t utf8 < file.euc-cn > file.utf8
    piconv -f utf8 -t euc-cn < file.utf8 > file.euc-cn

另外, 利用 encoding 模块, 你可以轻易写出以字符为单位的程序码, 如下所示:

    #!/usr/bin/env perl
    # 启动 euc-cn 字串解析; 标准输出入及标准错误都设为 euc-cn 编码
    use encoding 'euc-cn', STDIN => 'euc-cn', STDOUT => 'euc-cn';
    print length("骆驼");            #  2 (双引号表示字符)
    print length('骆驼');            #  4 (单引号表示字节)
    print index("谆谆教诲", "蛔唤"); # -1 (不包含此子字符串)
    print index('谆谆教诲', '蛔唤'); #  1 (从第二个字节开始)

在最后一列例子里, “谆” 的第二个字节与 “谆” 的第一个字节结合成 EUC-CN 码的 “蛔”; “谆” 的第二个字节则与 “教” 的第一个字节结合成 “唤”. 这解决了以前 EUC-CN 码比对处理上常见的问题.

额外的中文编码

如果需要更多的中文编码, 可以从 CPAN (http://www.cpan.org/) 下载 Encode::HanExtra 模块. 它目前提供下列编码方式:

    gb18030     扩充过的国标码, 包含繁体中文

另外, Encode::HanConvert 模块则提供了简繁转换用的两种编码:

    big5-simp   Big5 繁体中文与 Unicode 简体中文互转
    gbk-trad    GBK 简体中文与 Unicode 繁体中文互转

若想在 GBK 与 Big5 之间互转, 请参考该模块内附的 b2g.pl 与 g2b.pl 两支程序, 或在程序内使用下列写法:

    use Encode::HanConvert;
    $euc_cn = big5_to_gb($big5); # 从 Big5 转为 GBK
    $big5 = gb_to_big5($euc_cn); # 从 GBK 转为 Big5

进一步的信息

请参考 Perl 内附的大量说明文件 (不幸全是用英文写的), 来学习更多关于 Perl 的知识, 以及 Unicode 的使用方式. 不过, 外部的资源相当丰富:

提供 Perl 资源的网址

http://www.perl.com/
Perl 的首页 (由欧莱礼公司维护)
http://www.cpan.org/
Perl 综合典藏网 (Comprehensive Perl Archive Network)
http://lists.perl.org/
Perl 邮递论坛一览

学习 Perl 的网址

http://www.oreilly.com.cn/html/perl.html
简体中文版的欧莱礼 Perl 书藉

Perl 使用者集会

http://www.pm.org/groups/asia.html
中国 Perl 推广组一览

Unicode 相关网址

http://www.unicode.org/
Unicode 学术学会 (Unicode 标准的制定者)
http://www.cl.cam.ac.uk/%7Emgk25/unicode.html
Unix/Linux 上的 UTF-8 及 Unicode 答客问

SEE ALSO

the Encode manpage, the Encode::CN manpage, the encoding manpage, the perluniintro manpage, the perlunicode manpage


AUTHORS

Jarkko Hietaniemi <jhi@iki.fi>

Audrey Tang (唐凤) <audreyt@audreyt.org>

net::smtp with net::socks

use Net::SMTP;
use Net::SOCKS;
my $socks = new Net::SOCKS(socks_addr=>$shost,socks_port=>$sport, protocol_version=>5) or die $!; 
my $socksfd = $socks->connect(peer_addr=>$smtp_server,peer_port=>25);
if(!$socksfd){
    die "Connection to SOCKS failed";
}
my $smtp = Net::SMTP->new_from_fd($socksfd->fileno, 'r+' ) or die $!;

#HACK: there is "220 host.domain.net" line we must read otherwise Net::SMTP would not work!
$smtp->getline();

$smtp->hello("localhost") or die $smtp->message();
#from here Net::SMTP business as usual...

 

a perl mail proxy 2

#!/usr/bin/perl -w
# 
# Olivier Poitrey <rs@rhapsodyk.net>
# 8th november 2002
# 
# smtp-gateway.pl: A simple SMTP gateway example.

require 5.006;
use strict;
use POSIX qw(setsid);
use Getopt::Std;
use IO::Socket;
use IO::Select;
use Net::Server::Mail::ESMTP;
use Net::SMTP;


my %opts = (p => 25, h => 'localhost', r => '', d => 0);
getopts('dp:h:r:', \%opts);

my $remote = $opts{r};
unless($remote)
{
    print STDERR "Needs a remote server (-r option)\n";
    exit 1;
}

unless($opts{d})
{
    # become a daemon
    fork and exit;
    setsid;
}

# start to listen
my $server = IO::Socket::INET->new(
    Listen      => 1,
    LocalPort   => $opts{p},
    LocalHost   => $opts{h},
) or die "can't listen $opts{h}:$opts{p}";
my $select = IO::Select->new($server);

my(@ready, $fh, %session_pool);
while(@ready = $select->can_read)
{
    foreach $fh (@ready)
    {
        if($fh == $server)
        {
            my $new = $server->accept();
            $new->blocking(0);
            my $smtpout = Net::SMTP->new( $remote, Debug => $opts{d} ) or do
            {
                $new->print("Service unavailable\n");
                $new->close();
            };
            my $smtpin = Net::Server::Mail::ESMTP->new( socket => $new )
              or die "can't start server on port $opts{p}";
            $smtpin->register('Net::Server::Mail::ESMTP::PIPELINING');
            $smtpin->register('Net::Server::Mail::ESMTP::8BITMIME');
            $smtpin->set_callback(HELO => \&gate_helo, $smtpout);
            $smtpin->set_callback(MAIL => \&gate_mail, $smtpout);
            $smtpin->set_callback(RCPT => \&gate_rcpt, $smtpout);
            $smtpin->set_callback('DATA-INIT' => \&gate_datainit, $smtpout);
            $smtpin->set_callback('DATA-PART' => \&gate_datapart, $smtpout);
            $smtpin->set_callback(DATA => \&gate_dataend, $smtpout);
            $smtpin->set_callback(QUIT => \&gate_quit, $smtpout);
            $smtpin->banner();
            $session_pool{$new} = $smtpin;
            $select->add($new);
        }
        else
        {
            my $operation = join '', <$fh>;
            my $rv = $session_pool{$fh}->process_once($operation);
            if(defined $rv)
            {
                $select->remove($fh);
                delete $session_pool{$fh};
                $fh->close();
            }
        }
    }
}

sub gate_helo
{
    # Net::SMTP send HELO by himself
    return;
}

sub gate_mail
{
    my($session, $address) = @_;
    my $smtpout = $session->get_context();
    return $smtpout->mail($address);
}

sub gate_rcpt
{
    my($session, $address) = @_;
    my $smtpout = $session->get_context();
    return $smtpout->to($address);
}

sub gate_datainit
{
    my($session) = @_;
    my $smtpout = $session->get_context();
    return $smtpout->data();
}

sub gate_datapart
{
    my($session, $dataref) = @_;
    my $smtpout = $session->get_context();
    return $smtpout->datasend($$dataref);
}

sub gate_dataend
{
    my($session, $dataref) = @_;
    my $smtpout = $session->get_context();
    return $smtpout->dataend();
}

sub gate_quit
{
    my($session) = @_;
    my $smtpout = $session->get_context();
    return $smtpout->quit();
}

 

a perl mail proxy

############################################################################
#
#	Simple Mail Proxy
#
############################################################################

use Carp;
use Net::SMTP;
use Net::SMTP::Server;
use Mail::Message;
use Sys::Hostname;

use strict;

my $debug = 0;


## SMTP server address and port ##
#
my $SMTP_Server_Address = 'smtp.server.address';
my $SMTP_Server_Port = 25;


### Mail proxy (this server) address and port ##
#
my $Proxy_Port = 25;


#===========================================================================
#	Mail client connection service
#===========================================================================

### Constants ###

my $SUCCEEDED = 0;

my %commands = (DATA => \&cmd_data,
		EXPN => \&cmd_dummy,
		HELO => \&cmd_helo,
		HELP => \&cmd_help,
		MAIL => \&cmd_mail,
		NOOP => \&cmd_noop,
		QUIT => \&cmd_quit,
		RCPT => \&cmd_rcpt,
		RSET => \&cmd_rset,
		VRFY => \&cmd_dummy);

### Variables ###

my $client_socket;
my $from;
my @to;
my $message;


sub client_put ($) {
    my ($message) = @_;
    print "Sent:     $message\n" if ($debug);
    print $client_socket $message, "\r\n";
}

sub cmd_data () {
    if (!defined($from)) {
	client_put("503 5.5.1 Sender address not yet specified");
	return 1;
    };
    if (!@to) {
	client_put("503 5.5.1 Recepient address not yet specified");
	return 1;
    };
    client_put("354 Start mail input; end with .");

    my $done = 0;
    while (<$client_socket>) {
	# print "Received: $_" if ($debug);
	if (/^\.\r\n$/) {
	    $done = 1;
	    last;
	};
	s/^\.\./\./;
	$message .= $_;
    };
    if (!$done) {
	client_put("451 5.6.0 Message input failed");
	return 1;
    };
    return 0;
}

sub cmd_helo () {
    client_put("250-Action completed, okay");
    client_put("250 ENHANCEDSTATUSCODES");
}

sub cmd_help () {
    my $out = "214-Commands\r\n";
    my $total = keys %commands;
    my $i = 0;
    foreach my $cmd (keys %commands) {
	$out .= "\r\n214";
	if ($i++ % 5 != 0) {
	    $out .= $total - $i < 5 ? " " : "-";
	} else {
	    $out .= " ";
	};
    };
    client_put($out);
}

sub cmd_noop () {
    client_put("252 Unknown status, but attempting delivery");
}

sub cmd_quit () {
    client_put("221 Service closing");
    $client_socket->close();
    return 0;
}

sub cmd_mail ($) {
    my ($arg)  = @_;
    $arg =~ /FROM:\s*(\S+)$/i;
    $from = $1;
    client_put("250 Mail sender okay");
}

sub cmd_rcpt ($) {
    my ($arg) = @_;
    $arg =~ /TO:\s*(\S+)$/i;
    my $to = $1;
    push(@to, $to);
    client_put("250 Mail recepient okay");
}

sub cmd_rset () {
    $from = undef;
    @to = ();
    client_put("250 Reset action okay");
}

sub cmd_dummy () {
}



#===========================================================================
#	SMTP server connection service
#===========================================================================

### relay ($from, @to, $msg) ###
#   forward a mail to specified SMTP server
#
sub relay ($\@$) {
    my ($from, $to, $msg) = @_;
    
    $from =~ /<.*@(.*)>/;
    my $domain = $1;
    print "Domain: $domain\n" if ($debug);
    my $client = new Net::SMTP($SMTP_Server_Address, Port => $SMTP_Server_Port,
			       Hello => $domain, Timeout => 30, Debug => $debug) ||
	croak "Unable to connect to mail server: $!\n";
    if ($client) {
	$client->mail($from);
	foreach my $recipient (@$to) {
	    $client->to($recipient);
	};
	$client->data($msg);
	$client->quit() || croak "Relay failed: $!\n";
    };
}


#===========================================================================
#	Main
#===========================================================================

my $server = new Net::SMTP::Server(hostname(), $Proxy_Port) ||
    croak "Unable to create a new mail proxy: $!\n";

while ($client_socket = $server->accept()) {

    $from = undef;
    @to = ();
    $message = undef;
    my $accepted;

    client_put("220 Service ready");

    while (<$client_socket>) {
	print "Received: $_" if ($debug);
	chomp;
	my ($cmd, $arg);
	/^\s*(\S+)(\s+(.*\S))?\s*$/;
	$cmd = $1;
	$arg = $3;
	$cmd =~ tr/a-z/A-Z/;
	if (!defined($commands{$cmd})) {
	    client_put("500 5.5.2 Syntax error, command unrecognized");
	    next;
	};

	&{$commands{$cmd}}($arg);

	if ($cmd eq 'DATA') {
	    my $msg = Mail::Message->read($message);
	    my $body = $msg->body;
	    if ($body =~ /viagra/i) {
		client_put("554 5.6.0 Invalid keyword included: viagra");
		$accepted = 0;
	    } else {
		client_put("250 2.0.0 Message accepted for delivery");
		$accepted = 1;
	    };
	};
    };

    $client_socket->close();

    if ($accepted) {
	relay($from, @to, $message);
    };
}