Golang爬虫框架 colly的使用
作者:小馨whisper 发布时间:2024-02-02 13:40:55
标签:Golang,colly
Golang爬虫框架 colly 简介
colly是一个采用Go语言编写的Web爬虫框架,旨在提供一个能够些任何爬虫/采集器/蜘蛛的简介模板,通过Colly。你可以轻松的从网站提取结构化数据,然后进行数据挖掘,处理或归档
项目特性
清晰明了的API
速度快(每个内核上的请求数大于1K)
管理每个域的请求延迟和最大并发数
自动cookie和会话处理
同步/异步/ 并行抓取
高速缓存
自动处理非Unicode编码
支持Robots.txt
支持Google App Engine
通过环境变量进行配置
可拓展
安装colly
go get -u github.com/gocolly/colly
第一个colly 应用
package main
import (
"fmt"
"github.com/gocolly/colly"
)
func main() {
c := colly.NewCollector()
// goquery selector class
c.OnHTML(".sidebar_link", func(e *colly.HTMLElement) {
e.Request.Visit(e.Attr("href"))
/*link := e.Attr("href")
// Print link
fmt.Printf("Link found: %q -> %s\n", e.Text, link)
// Visit link found on page
// Only those links are visited which are in AllowedDomains
c.Visit(e.Request.AbsoluteURL(link))*/
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("url:",r.URL)
})
c.Visit("https://gorm.io/zh_CN/docs/")
}
回调函数的调用顺序
OnRequest 在请求之前调用
OnError 如果请求期间发生错误,则调用
OnResponseHeaders 在收到响应标头后调用
OnResponse 收到回复后调用
OnHTML OnResponse如果接收到的内容是HTML ,则在此之后立即调用
OnXML OnHTML如果接收到的内容是HTML或XML ,则在之后调用
OnScraped 在OnXML回调之后调用
实例
func collback() { // 添加回调 收集器
c:= colly.NewCollector()
c.OnRequest(func(r *colly.Request) {
fmt.Println("请求前调用:OnRequest")
// fmt.Println("Visiting", r.URL)
})
c.OnError(func(_ *colly.Response, err error) {
fmt.Println("发生错误调用:OnReOnError")
//log.Println("Something went wrong:", err)
})
/*c.OnResponseHeaders(func(r *colly.Response) { //高版本已经不用了
fmt.Println("Visited", r.Request.URL)
})
*/
c.OnResponse(func(r *colly.Response) {
fmt.Println("获得响应后调用:OnResponse")
//fmt.Println("Visited", r.Request.URL)
})
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
fmt.Println("OnResponse收到html内容后调用:OnHTML")
//e.Request.Visit(e.Attr("href"))
})
/*c.OnHTML("tr td:nth-of-type(1)", func(e *colly.HTMLElement) {
fmt.Println("First column of a table row:", e.Text)
})*/
c.OnXML("//h1", func(e *colly.XMLElement) {
fmt.Println("OnResponse收到xml内容后调用:OnXML")
//fmt.Println(e.Text)
})
c.OnScraped(func(r *colly.Response) {
fmt.Println("结束", r.Request.URL)
})
c.Visit("https://gorm.io/zh_CN/docs/")
}
得到的:
colly 的配置
设置UserAgent
//设置UserAgent的两种方式:
/*//方式一 :
c2 := colly.NewCollector()
c2.UserAgent = "xy"
c2.AllowURLRevisit = true*/
/* //方式二 :
c2 := colly.NewCollector(
colly.UserAgent("xy"),
colly.AllowURLRevisit(),
)*/
设置Cookie
//设置cookie的两种方式
//方式一:通过手动网页添加cookies
c.OnRequest(func(r *colly.Request) {
r.Headers.Add("cookie","_ga=GA1.2.1611472128.1650815524; _gid=GA1.2.2080811677.1652022429; __atuvc=2|17,0|18,5|19")
})
// 方式二 :通过url 添加cookies
siteCookie := c.Cookies("url")
c.SetCookies("",siteCookie)
HTTP配置
Colly使用Golang的默认http客户端作为网络层。可以通过更改默认的HTTP roundtripper来调整HTTP选项。
c := colly.NewCollector()
c.WithTransport(&http.Transport{
Proxy: http.ProxyFromEnvironment,
DialContext: (&net.Dialer{
Timeout: 30 * time.Second,
KeepAlive: 30 * time.Second,
DualStack: true,
}).DialContext,
MaxIdleConns: 100,
IdleConnTimeout: 90 * time.Second,
TLSHandshakeTimeout: 10 * time.Second,
ExpectContinueTimeout: 1 * time.Second,
}
colly页面爬取和解析
页面爬取和解析重点方法是 onHTML
回调方法
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
fmt.Printf("e.Name:%v\n",e.Name)
e.Request.Visit(e.Attr("href"))
})
func html() {
c:= colly.NewCollector()
c.OnHTML("#sidebar", func(e *colly.HTMLElement) {
//fmt.Printf("e.Name:%v\n",e.Name) //名字
//fmt.Printf("e.Text:%v\n",e.Text) //文本
ret, _ := e.DOM.Html() // selector 选择器
fmt.Printf("ret:%v\n",ret)
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("url:",r.URL)
})
c.Visit("https://gorm.io/zh_CN/docs/")
}
第一个参数是:goquery选择器,可以元素名称,ID或者Class选择器,第二个参数是根据第一个选择器获得的HTML元素结构如下:
colly框架重构爬虫
package main
import (
"fmt"
"github.com/gocolly/colly"
)
func main() {
c:= colly.NewCollector()
c.OnHTML(".sidebar_link", func(e *colly.HTMLElement) { // 左侧链接
href := e.Attr("href")
if href != "index.html"{
c.Visit(e.Request.AbsoluteURL(href))
}
})
c.OnHTML(".article-title", func(h *colly.HTMLElement) { // 选择链接之后的标题
title := h.Text
fmt.Printf("title: %v\n",title)
})
c.OnHTML(".article", func(h *colly.HTMLElement) { //内容
content, _ := h.DOM.Html()
fmt.Printf("content: %v\n",content)
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("url:",r.URL.String())
})
c.Visit("https://gorm.io/zh_CN/docs/")
}
来源:https://blog.csdn.net/m0_49337181/article/details/124678502
0
投稿
猜你喜欢
- 安装完MySQL以后会自动创建一个root用户和一个匿名用户,对于root大家都非常注意,而这个匿名用户很多人都会忽略,大概是因为匿名用户默
- 本文主要介绍Python3.6及TensorFlow的安装和配置流程。一、Python官网下载自己电脑和系统对应的Python安装包。网址:
- 前言JS为什么要用ajax来提交在使用from提交时,浏览器会向服务器发送选中的文件的内容而不仅仅是发送文件名。为安全起见,即file-up
- 今天小编给大家详细的讲解一下Scrapy爬虫框架,希望对大家的学习有帮助。1、Scrapy爬虫框架Scrapy是一个使用Python编程语言
- 1、说明这篇文章是帮一个群友解答的问题。他有一个需求,就是对于日期的录入都是中文形式的,需要转换为数字形式的。由于python库中没有函数直
- 写在最前面:我在研究机器学习的过程中,给的数据集是手写数字图片被处理后的由0,1表达的txt文件,今天写一写关于图片转化为二进制txt文件的
- 互联网充斥着枯燥的设计,惠普、IBM、戴尔、微软,以及其他数不尽的网站(相似的布局,相似的配色)。可能有人会说通过这样一种标准化的界面可以使
- 本文实例为大家分享了python人民币大小写转换的具体代码,供大家参考,具体内容如下大家应该都知道,银行打印账单有时候会跟上人民币的阿拉伯数
- 概述PHP有着众多的内置函数,其中大多数函数都被开发者广发使用。但也有一些同样有用却被遗忘在角落,本文将介绍7个鲜为人知功能却非常酷的函数。
- Ajax类  
- 首先,未来Python完全取代Java的可能性并不大,但是Python的发展确实能够挤占一部分Java的应用空间。Python语言在最近几年
- Python偏函数Python偏函数和我们之前所学习的函数传参中的缺省参数有些类似,但是在实际应用中还是有所区别的,下面通过模拟一个场景一步
- 首先,我们来随便写一个带空格的列表:list1 = ['122','2333','3444'
- 本文实例讲述了Python简单网络编程。分享给大家供大家参考,具体如下:内容目录1. 客户端(client.py)2. 服务端(server
- 在使用Python编写的应用的过程中,有时会遇到多个文件之间传递同一个全局变量的情况,此时通过配置文件定义全局变量是一个比较好的选择。首先配
- List 是 Python 中常用的数据类型,它一个有序集合,即其中的元素始终保持着初始时的定义的顺序(除非你对它们进行排序或其他修改操作)
- 什么是目标检测目标检测关注图像 * 定的物体目标,需要同时解决解决定位(localization) + 识别(Recognition)。相比分
- 我们一般都认为TRUNCATE是一种不可回滚的操作,它会删除表中的所有数据以及重置Identity列。如果你在事务中进行TRUNCATE操作
- date("yyyyMMdd",time()) date() 函数功能:用于格式化时间,返回一个字符串。&nb
- 问题在使用MySQL数据库的时候,经常会遇到这么一个问题,就是“Can not connect to MySQL server. Too m