golang如何实现抓取IP地址的蜘蛛程序详解
作者:zhoutk 发布时间:2024-04-25 15:08:05
背景
要做IP地址归属地查询,量比较大,所以想先从网上找到大部分的分配数据,写个蜘蛛程序来抓取入库,以后在程序的运行中不断进行维护、更新、完善。
一些关键点
goroutine的使用,让程序并行运行。
正则表达式分组信息提取的使用,正确的提取我们关注的信息。
数据库批量插入操作。
数据库批量更新操作。
代码解析
按功能模块对核心代码进行说明
ip.go
主进程,实现goroutine的调用。
func main() {
//利用go基本库封装的网页抓取函数,后面有说明
ctx := common.HttpGet("http://ips.chacuo.net/")
//正则表达式,有两个分组(两组小括号),分别取城市信息与url,具体分析代码后面有说明
reg := regexp.MustCompile(`<li><a title="[\S]+" href='([^']+?)'>([^<]+?)</a></li>`)
//取得页面上所有的城市及相应url
ips := reg.FindAllStringSubmatch(string(ctx), -1)
ch := make(chan string) //建立无缓冲字符串通道
for _, el := range ips { //一个协程处理一个具体页面
go ipSpider.SpiderOnPage(el[1], el[2], ch)
}
for range ips { //阻塞等待所有抓取工作全部完成
fmt.Println(<-ch)
}
}
正则表达式说明
主进程针对所有省有入口页面,取得每省的入口分配给一个协程去处理,每一个入口是这个样子
<a title="北京最新IP地址段" href="http://ips.chacuo.net/view/s_BJ" rel="external nofollow" >北京</a>
请注意,这里面变化只有三个部分(title内容,href内容,链接显示内容),其中两个部分是我们需要的
title内容对应正则为 [\S]+ ,非空白符
href内容对应的正则为 ([^']+?) ,第一次遇到单引号结束,问号表示非贪婪匹配,括号是分组,能方便取出所匹配信息
链接显示内容对应的正则为 ([^<]+?) , 第一次遇到<时结束,第二个分组
FindAllStringSubmatch函数可以取出所有子分组,子分组从下标1开始,0为正则整体匹配的字符串
goroutine 流程
建立一个无缓冲字符串通道,作为所有协程与主进程通信通道
循环正则匹配结果,为每一个省的页面分配一个协程
协程获取数据成功并批量写数据库,返回成功信息到通道
协程处理失败,反回失败信息到通道
主进程阻塞等所有协程成功或失败返回,并打印成功或失败信息
获取ip地址信息
与主进程类似,注意无信息时处理。
IpSpider.go
//获取页面数据
ctx := common.HttpGet(url)
//reg := regexp.MustCompile(`<li><a title="[\S]+" href='([^']+?)'>([^<]+?)</a></li>`)
//两个分组分别对应IP段开始与结束
reg := regexp.MustCompile(`<dd><span class="v_l">([^<]+?)</span><span class="v_r">([^<]+?)</span><div class="clearfix"></div></dd>`)
//<dd><span class="v_l">49.64.0.0</span><span class="v_r">49.95.255.255</span><div class="clearfix"></div></dd>
//取得所有匹配的分组信息
ip := reg.FindAllStringSubmatch(string(ctx), -1)
//没有取得任何信息,提前返回,很重要,不然主进程会一直等待结束不了
if len(ip) == 0 {
ch <- "There are no data exist."
return nil
}
数据库表结构生成语句
CREATE TABLE `ip_addr_info` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '索引,自动增长',
`ip_addr_begin` varchar(32) NOT NULL DEFAULT '' COMMENT 'ip地址段开始',
`ip_addr_end` varchar(32) DEFAULT '' COMMENT 'ip地址段结束',
`province` varchar(32) DEFAULT '' COMMENT '所属省',
`ip_comp` varchar(32) DEFAULT '' COMMENT '运营商',
PRIMARY KEY (`id`),
UNIQUE KEY `ip_addr` (`ip_addr_begin`,`ip_addr_end`)
) ENGINE=InnoDB AUTO_INCREMENT=7268 DEFAULT CHARSET=utf8 COMMENT='表';
批量写入数据库
循环处理抓取数据,生成批量写入语句及输入参数,请签到出到afc9ebd版本。
var vs [] interface{} //存储输入参数的接口数组
var vss string //待拼接的输入参数占位符字符串
for _, el := range ip { //处理所有的数据
vs = append(vs, el[1], el[2], province) //每一列包括开始地址、结束地址与省份
vss += "(?,?,?)," //占位符
}
vss = vss[0:len(vss) -1] //去掉最后的逗号
var configs interface{} //从配置文件取数据库信息
fr, err := os.Open("./configs.json") //配置文件内容请参照上篇文章《golang实现mysql数据库备份》
if err != nil {
ch <- err.Error()
return err
}
decoder := json.NewDecoder(fr)
err = decoder.Decode(&configs)
confs := configs.(map[string]interface{})
dialect := confs["database_dialect"].(string)
dbConf := confs["db_"+dialect+"_config"].(map[string]interface{})
dbHost := dbConf["db_host"].(string)
dbPort := strconv.FormatFloat(dbConf["db_port"].(float64), 'f', -1, 32)
dbUser := dbConf["db_user"].(string)
dbPass := dbConf["db_pass"].(string)
dbName := dbConf["db_name"].(string)
dbCharset := dbConf["db_charset"].(string)
dao, err := mysql.Open(dialect, dbUser + ":"+dbPass+"@tcp("+dbHost+":"+dbPort+")/"+dbName+"?charset="+dbCharset)
defer dao.Close()
if err != nil {
ch <- err.Error()
return err
}
//批量插入语句拼接
sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,province) values " + vss
stmt, err := dao.Prepare(sqlstr) //预处理带参数的sql语句
rs, err := stmt.Exec(vs...) //带参数执行sql语句
if err != nil { //出错,返回错误信息
ch <- err.Error()
return err
}else { //成功,返回成功信息
affect, _ := rs.RowsAffected()
ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
return nil
}
批量修改数据库
数据库中的ip_comp字段,是代表运营商信息,需要从运营商页面进入进行数据获取,只需改一下入口url重新运行程序就能正确抓取,但这时入库就不是新增了,而是更新,请签出到4729e66版本。
//前提数据库表定义要设定唯一索引,主键或其它定义的unique索引
...
sqlstr := "insert into ip_addr_info (ip_addr_begin,ip_addr_end,ip_comp) values " + vss +
//提供更新(唯一索引冲突时)时要对应原字段与值
" ON DUPLICATE KEY UPDATE ip_addr_begin = values(ip_addr_begin), ip_addr_end = values(ip_addr_end), ip_comp = values(ip_comp)"
stmt, err := dao.Prepare(sqlstr)
rs, err := stmt.Exec(vs...)
if err != nil {
ch <- err.Error()
return err
}else {
affect, _ := rs.RowsAffected()
ch <- "Province: " + province + ", affect: " + strconv.FormatInt(affect, 10)
return nil
}
待改进的方面
把入口url提到配置中,使用策略模式,让匹配规则抽象成策略,目标是不改程序,调整配置文件就可以抓取不同的网页。
项目地址
https://github.com/zhoutk/goTools
使用方法
git clone https://github.com/zhoutk/goTools
cd goTools
go get
go run ip.go
go buid ip.go
./ip
小结
熟悉了golang语言,了解了一种全新的并发编程模式,熟悉了具体的数据库操作方法,给自己生成了一个方便的工具。
来源:https://segmentfault.com/a/1190000015418170
猜你喜欢
- MQTT是一种轻量级的消息传输协议,它广泛用于物联网设备之间的通信,例如传感器,智能家居等等。MQTT在Web应用程序中的一个常见用例是,用
- 一、前言上次写了一个俄罗斯方块,感觉好像大家都看懂了,这次就更新一个植物大战僵尸吧二、引入模块import pygameimport ran
- 如何使用快捷键按出代码提示框更新win10,发现可以改取消ctrl + space快捷键的占用了!!!我们在平时写代码的时候难免会出现敲错字
- 安装环境:centos 5.4mysql版本:mysql 5.1.xx 采用rpm直接安装所需软件: xtrabackup 1.2.22 采
- 本文实例为大家分享了php微信公众号获取位置信息的具体代码,供大家参考,具体内容如下<?php/** * wechat php tes
- 前言日志收集项目的准备中,本文主要讲的是利用golang的tail库,监听日志文件的变动,将日志信息发送到kafka中。涉及的golang库
- 代码如下from bs4 import BeautifulSoup #网页解析,获取数据import sys #正则表达式,进行文字匹配im
- 本文实例为大家分享了简单的Python登录验证,供大家参考,具体内容如下编写登录接口要求:1、输入用户名密码2、认证成功后显示欢迎信息3、输
- Oracle DECODE函数功能很强,下面就为您详细介绍Oracle DECODE函数的用法,希望可以让您对Oracle DECODE函数
- 本文实例分析了python开发之str.format()用法。分享给大家供大家参考,具体如下:格式化一个字符串的输出结果,我们在很多地方都可
- 详解python里使用正则表达式的分组命名方式分组匹配的模式,可以通过groups()来全部访问匹配的元组,也可以通过group()函数来按
- 完美解决vue中报错 “TypeError: Cannot read properties of null (reading &ls
- 直接代码data_arr = []data = iter_files(dir,speakers)for k,v in data.items(
- Linux 自动备份oracle数据:曾经有个同事,来回操作开发和生产的数据库,结果误删了生产的数据库,那种心情我想不是一般人能理解的,虽然
- 如下所示:# -*- coding: utf-8 -*-# @Author: xiaodong# @Date: just hid
- 本文实例讲述了Python实现字符串与数组相互转换功能。分享给大家供大家参考,具体如下:字符串转数组str = '1,2,3'
- fso对象CreateTextFile方法调用时可能会报“无效的过程调用或参数”错误,在使用ASP生成静态页面时,如果传入的字符串参数编码为
- 1. 引言在日常工作中,大家都需要进行字典的相关操作,对于某些初学者,经常会写一堆繁琐的代码来实现某项简单的功能。本篇文章重点介绍一些在Py
- wxpython最为一款python GUI库,由于简单和轻便外加强大的功能而受到很多python爱好者的喜爱,pymysql作为pytho
- 数据库中IP地址数据该怎么存?或许你已经不止一次遇到过这类问题,怎么存?varchar(255)不就完事儿了?坦白说,在我经历的几个项目中,