Word2vec 是 Word Embedding 方式之一,属于 NLP 领域。他是将词转化为「可计算」「结构化」的向量的过程。本文将讲解 Word2vec 的原理和优缺点。
这种方式在 2018 年之前比较主流,但是随着 BERT、GPT2.0 的出现,这种方式已经不算效果最好的方法了。
什么是 Word2vec ?
什么是 Word Embedding ?
在说明 Word2vec 之前,需要先解释一下 Word Embedding。 它就是将「不可计算」「非结构化」的词转化为「可计算」「结构化」的向量。
这一步解决的是”将现实问题转化为数学问题“,是人工智能非常关键的一步。
将现实问题转化为数学问题只是第一步,后面还需要求解这个数学问题。所以 Word Embedding 的模型本身并不重要,重要的是生成出来的结果——词向量。因为在后续的任务中会直接用到这个词向量。
什么是 Word2vec ?
Word2vec 是 Word Embedding 的方法之一。他是 2013 年由谷歌的 Mikolov 提出了一套新的词嵌入方法。
Word2vec 在整个 NLP 里的位置可以用下图表示:
在 Word2vec 出现之前,已经有一些 Word Embedding 的方法,但是之前的方法并不成熟,也没有大规模的得到应用。
下面会详细介绍 Word2vec 的训练模型和用法。
Word2vec 的 2 种训练模式
CBOW(Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model),是Word2vec 的两种训练模式。下面简单做一下解释:
CBOW
通过上下文来预测当前值。相当于一句话中扣掉一个词,让你猜这个词是什么。
Skip-gram
用当前词来预测上下文。相当于给你一个词,让你猜前面和后面可能出现什么词。
优化方法
为了提高速度,Word2vec 经常采用 2 种加速方式:
Negative Sample(负采样)
Hierarchical Softmax
具体加速方法就不详细讲解了,感兴趣的可以自己查找资料。
Word2vec 的优缺点
需要说明的是:Word2vec 是上一代的产物(18 年之前), 18 年之后想要得到最好的效果,已经不使用 Word Embedding 的方法了,所以也不会用到 Word2vec。
优点:
由于 Word2vec 会考虑上下文,跟之前的 Embedding 方法相比,效果要更好(但不如 18 年之后的方法)
比之前的 Embedding方 法维度更少,所以速度更快
通用性很强,可以用在各种 NLP 任务中
缺点:
由于词和向量是一对一的关系,所以多义词的问题无法解决。
Word2vec 是一种静态的方式,虽然通用性强,但是无法针对特定任务做动态优化
猜你喜欢
- PDF文件怎么插入空白页面并设置页面大小?想要给pdf文件插入一个已知大小的空白页面,该怎么插入空白页面并调整大小呢?下面我们就来看看详细的
- 怎么快速查询个人电脑上安装的Office的版本呢? 电脑管家查询第一步:安装腾讯电脑管家;第二步:打开电脑管家主界面,并点击左下角
- win10系统是一个非常值得使用的优秀系统!强大的工作能力是win10系统最好的地方之一!这也是公众选择win10的一个重要原因!在win1
- 升级win10操作系统后,我们的电脑对于一些游戏玩家来说,自己的系统在玩游戏时仍然会出现频繁的卡顿闪退。对这类问题小编觉得可能是由于我们电脑
- win10有些功能模块是不能随便关闭的,就像windows资源管理器一旦关闭电脑会黑屏,这样也不方便我们再次打开用来管理后台进程。至于要怎么
- 苹果秋季发布会将在 9 月 15 日凌晨 1 点到来,现在,苹果已经开始通过“提示”应用进行通知,告知 iPhone 用户即将推出的 iOS
- 朋友们如果遇到win10修复引导失败是怎么处理的,今天小编教大家用启动盘来进行修复,非常行之有效的方法,只需要有个启动盘就能很好的来解决。w
- Win10对老软件的兼容性如何?一个微软Office for Windows 95(以下简称Office 95)在Windows10中完美运
- 使用win10系统时,开机有时候会出现一个错误:蓝屏显示/Windows/system32/winload.efi 错误代码:0xc0000
- Microsoft Office 2007是一套由微软官方开发的办公软件,也是微软Office产品史上最具创新与革命性的一个版本,全新设计的
- 在我们日常使用的win10系统计算机中,应该有很多用户遇到过windows+V key不能打开剪贴板的情况,那么win10系统windows
- 当我们使用电脑时,有时系统会提示我们的内置声卡Realtek high definition audio manager不支持此类设备。对于
- 本周二,苹果发布了iOS 14.7正式版的更新,作为iOS 14系统的第7个大版本更新,测试了将近三个月,iOS 14.7正式版应该很稳才对
- win10电脑有共享文件夹的功能真是太方便,用过的人都知道,能拥有即时的共享能力,方便两台电脑间传输共享文件。那么两台win10电脑要怎么共
- win10的用户名就像我们玩游戏要创建的id一样,虽然只是用来与别的用户区分,但是谁都想搞个高大上又具创意的名字,这时就要用到更改用户名的方
- 当我们使用win101903版本的系统时,有们可能会遇到重新安装系统的情况。所以对于运行win101903版1903镜像蓝屏该怎么办这个问题
- 在我们日常使用的win10系统计算机中,应该会有很多用户遇到无法创建新文件夹的情况,那么win10无法创建新文件夹呢?以下编小编将为您带来w
- iOS 16 相册「重复项目」功能能将自动检测用户库中的任何重复照片和视频,并将它们整理到重复项目相册中以供检查,让用户可以选择合并重复集和
- 【分享成果,随喜正能量】以禅者的慧眼看世界,触目都是菩萨。水月相忘浑然一体,珠光交映圆融无碍,饥餐困眠天天都是好日子,山石点头处处充满情和意
- win10显卡硬件加速怎么关闭?不知道大家清不清楚win10系统默认开启显卡硬件加速,使得呈现出高质量的画面,对进行图片设计或者游戏玩家来说