Golang爬虫框架 colly的使用
作者:小馨whisper 发布时间:2024-02-02 13:40:55
标签:Golang,colly
Golang爬虫框架 colly 简介
colly是一个采用Go语言编写的Web爬虫框架,旨在提供一个能够些任何爬虫/采集器/蜘蛛的简介模板,通过Colly。你可以轻松的从网站提取结构化数据,然后进行数据挖掘,处理或归档
项目特性
清晰明了的API
速度快(每个内核上的请求数大于1K)
管理每个域的请求延迟和最大并发数
自动cookie和会话处理
同步/异步/ 并行抓取
高速缓存
自动处理非Unicode编码
支持Robots.txt
支持Google App Engine
通过环境变量进行配置
可拓展
安装colly
go get -u github.com/gocolly/colly
第一个colly 应用
package main
import (
"fmt"
"github.com/gocolly/colly"
)
func main() {
c := colly.NewCollector()
// goquery selector class
c.OnHTML(".sidebar_link", func(e *colly.HTMLElement) {
e.Request.Visit(e.Attr("href"))
/*link := e.Attr("href")
// Print link
fmt.Printf("Link found: %q -> %s\n", e.Text, link)
// Visit link found on page
// Only those links are visited which are in AllowedDomains
c.Visit(e.Request.AbsoluteURL(link))*/
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("url:",r.URL)
})
c.Visit("https://gorm.io/zh_CN/docs/")
}
回调函数的调用顺序
OnRequest 在请求之前调用
OnError 如果请求期间发生错误,则调用
OnResponseHeaders 在收到响应标头后调用
OnResponse 收到回复后调用
OnHTML OnResponse如果接收到的内容是HTML ,则在此之后立即调用
OnXML OnHTML如果接收到的内容是HTML或XML ,则在之后调用
OnScraped 在OnXML回调之后调用
实例
func collback() { // 添加回调 收集器
c:= colly.NewCollector()
c.OnRequest(func(r *colly.Request) {
fmt.Println("请求前调用:OnRequest")
// fmt.Println("Visiting", r.URL)
})
c.OnError(func(_ *colly.Response, err error) {
fmt.Println("发生错误调用:OnReOnError")
//log.Println("Something went wrong:", err)
})
/*c.OnResponseHeaders(func(r *colly.Response) { //高版本已经不用了
fmt.Println("Visited", r.Request.URL)
})
*/
c.OnResponse(func(r *colly.Response) {
fmt.Println("获得响应后调用:OnResponse")
//fmt.Println("Visited", r.Request.URL)
})
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
fmt.Println("OnResponse收到html内容后调用:OnHTML")
//e.Request.Visit(e.Attr("href"))
})
/*c.OnHTML("tr td:nth-of-type(1)", func(e *colly.HTMLElement) {
fmt.Println("First column of a table row:", e.Text)
})*/
c.OnXML("//h1", func(e *colly.XMLElement) {
fmt.Println("OnResponse收到xml内容后调用:OnXML")
//fmt.Println(e.Text)
})
c.OnScraped(func(r *colly.Response) {
fmt.Println("结束", r.Request.URL)
})
c.Visit("https://gorm.io/zh_CN/docs/")
}
得到的:
colly 的配置
设置UserAgent
//设置UserAgent的两种方式:
/*//方式一 :
c2 := colly.NewCollector()
c2.UserAgent = "xy"
c2.AllowURLRevisit = true*/
/* //方式二 :
c2 := colly.NewCollector(
colly.UserAgent("xy"),
colly.AllowURLRevisit(),
)*/
设置Cookie
//设置cookie的两种方式
//方式一:通过手动网页添加cookies
c.OnRequest(func(r *colly.Request) {
r.Headers.Add("cookie","_ga=GA1.2.1611472128.1650815524; _gid=GA1.2.2080811677.1652022429; __atuvc=2|17,0|18,5|19")
})
// 方式二 :通过url 添加cookies
siteCookie := c.Cookies("url")
c.SetCookies("",siteCookie)
HTTP配置
Colly使用Golang的默认http客户端作为网络层。可以通过更改默认的HTTP roundtripper来调整HTTP选项。
c := colly.NewCollector()
c.WithTransport(&http.Transport{
Proxy: http.ProxyFromEnvironment,
DialContext: (&net.Dialer{
Timeout: 30 * time.Second,
KeepAlive: 30 * time.Second,
DualStack: true,
}).DialContext,
MaxIdleConns: 100,
IdleConnTimeout: 90 * time.Second,
TLSHandshakeTimeout: 10 * time.Second,
ExpectContinueTimeout: 1 * time.Second,
}
colly页面爬取和解析
页面爬取和解析重点方法是 onHTML
回调方法
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
fmt.Printf("e.Name:%v\n",e.Name)
e.Request.Visit(e.Attr("href"))
})
func html() {
c:= colly.NewCollector()
c.OnHTML("#sidebar", func(e *colly.HTMLElement) {
//fmt.Printf("e.Name:%v\n",e.Name) //名字
//fmt.Printf("e.Text:%v\n",e.Text) //文本
ret, _ := e.DOM.Html() // selector 选择器
fmt.Printf("ret:%v\n",ret)
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("url:",r.URL)
})
c.Visit("https://gorm.io/zh_CN/docs/")
}
第一个参数是:goquery选择器,可以元素名称,ID或者Class选择器,第二个参数是根据第一个选择器获得的HTML元素结构如下:
colly框架重构爬虫
package main
import (
"fmt"
"github.com/gocolly/colly"
)
func main() {
c:= colly.NewCollector()
c.OnHTML(".sidebar_link", func(e *colly.HTMLElement) { // 左侧链接
href := e.Attr("href")
if href != "index.html"{
c.Visit(e.Request.AbsoluteURL(href))
}
})
c.OnHTML(".article-title", func(h *colly.HTMLElement) { // 选择链接之后的标题
title := h.Text
fmt.Printf("title: %v\n",title)
})
c.OnHTML(".article", func(h *colly.HTMLElement) { //内容
content, _ := h.DOM.Html()
fmt.Printf("content: %v\n",content)
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("url:",r.URL.String())
})
c.Visit("https://gorm.io/zh_CN/docs/")
}
来源:https://blog.csdn.net/m0_49337181/article/details/124678502
![](https://www.aspxhome.com/images/zang.png)
![](https://www.aspxhome.com/images/jiucuo.png)
猜你喜欢
- 说明:vm.$refs 一个对象,持有已注册过 ref 的所有子组件(或HTML元素)使用:在 HTML元素 中,添加ref属性,然后在JS
- 一、控制用户存取 1、创建修改用户Creating Users Create/alter user new_user identified
- 在一个网站,大量数据的前后端交互,JSON是最好的传递数据方式了。在Django中,使用JSON传输数据,有两种方式,一种是使用Python
- Vue作为最近最炙手可热的前端框架,其简单的入门方式和功能强大的API是其优点。而同时因为其API的多样性和丰富性,所以他的很多开发方式就和
- #!/usr/bin/env python# coding: utf-8### show time in console#import sy
- 为了方便例子讲解,现有数组和json对象如下var demoArr = ['Javascript', 'Gulp
- 在网上有很多文章介绍数据库优化知识,但是大部份文章只是对某个一个方面进行说明,而对于我们程序员来说这种介绍并不能很好的掌握优化知识,因为很多
- validator库参数校验若干实用技巧在web开发中一个不可避免的环节就是对请求参数进行校验,通常我们会在代码中定义与请求参数相对应的模型
- 前言最近在使用pycharm开发新项目的时候,每次打开新的工程都显示没有解释器,要不加了解释器就是代码一堆没有红色错误提示没有模块问题,找到
- 前言支持向量机 (Support Vector Machine, SVM) 是一种监督学习技术,它通过根据指定的类对训练数据进行最佳分离,从
- 一、SQLAlchemy 介绍1.1 ORM 的概念ORM全称Object Relational Mapping(对象关系映射),通过 OR
- python与C的区别如下:1、语言类型不同。Python是一种动态类型语言,又是强类型语言。它们确定一个变量的类型是在您第一次给它赋值的时
- 1、引言需要把.dat 格式 转化成 .txt格式2、实现##python批量更换后缀名import os# 列出当前目录下所有的文件fil
- 本文实例讲述了python通过floor函数舍弃小数位的方法。分享给大家供大家参考。具体分析如下:python中可以通过math库的floo
- 一、进程之间的数据共享展望未来,基于消息传递的并发编程是大势所趋即便是使用线程,推荐做法也是将程序设计为大量独立的线程集合,通过消息队列交换
- Anaconda 是一个基于 Python 的数据处理和科学计算平台,它已经内置了许多非常有用的第三方库,装上Anaconda,就相当于把
- 如何验证日期输入是否正确?我们可以利用ASP 3.0里的On Error Resume Next来完成这项功能:<%Option&nb
- 下面的asp函数实现了对站点的所有缓存Application的清理,释放!Sub RemoveAllCache() D
- 1、ndarray转换成matriximport numpy as npfrom numpy import random,matr_arr=
- js对文字进行编码涉及3个函数:escape,encodeURI,encodeURIComponent,相应3个解码函数:unescape,