keras之权重初始化方式
作者：Lzj000lzj 发布时间：2023-06-01 19:04:44
标签：keras,权重,初始化
在神经网络训练中，好的权重 初始化会加速训练过程。
下面说一下kernel_initializer 权重初始化的方法。
不同的层可能使用不同的关键字来传递初始化方法，一般来说指定初始化方法的关键字是kernel_initializer 和 bias_initializer
model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01)))
# also works; will use the default parameters.
model.add(Dense(64, kernel_initializer='random_normal'))
几种初始化方法
keras.initializers.Zeros()#全0
keras.initializers.Ones()#全1
keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))#指定均值和方差的正态分布初始化
keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)#指定下边界和上边界的均匀分布初始化
keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)#截尾高斯分布初始化，位于均值两个标准差以外的数据将会被丢弃并重新生成，形成截尾分布
自定义初始化
def my_init(shape, dtype=None):
return K.random_normal(shape, dtype=dtype)
model.add(Dense(64, init=my_init))
补充知识：Keras中权重weight的初始化
Keras 的原始构造模块是模型，最简单的模型称为序贯模型， Keras 的序贯模型是神经网络层的线性管道 （ 堆栈） 。
以下代码段定义了 一个包含 12 个人工神经元的单层 网络，它预计有 8 个输入变量 （ 也称为特征）：
from keras.models import Sequential
model =Sequential()
model.add(12,input_dim=8,kernel_initializer='random_uniform')
每个神经元可以用特定的权重进行初始化 。 Keras 提供了 几个选择 ， 其中最常用的选择如下所示。
random_unifrom：权重被初始化为（-0.5，0.5）之间的均匀随机的微小数值，换句话说，给定区间里的任何值都可能作为权重 。
random_normal：根据高斯分布初始化权重，其中均值为0，标准差为0.05。
zero：所有权重被初始化为0。
来源：https://blog.csdn.net/Lzj000lzj/article/details/94355756
0
投稿猜你喜欢
- 前言本文主要给大家介绍了关于python使用正则表达式的非贪婪模式的相关内容，分享出来供大家参考学习，下面话不多说了，来一起详细的介绍吧。在
- 如何用Perl脚本操作系统环境变量呢？想必很多朋友马上就会想到Perl中提供的$ENV这个特殊的哈希变量，对，在$ENV中完全可以获取到一些
- 查询本日记录SELECT * FROM messages WHERE CONVERT(Nvarchar, CreateDate, 111)
假设需要批量处理多个txt文件，然后将包含子串的内容写入一个txt文件中,这里假设我的子串为"_9"和“_10”下面就是- 本文实例讲述了python使用socket向客户端发送数据的方法。分享给大家供大家参考。具体如下：import socket, syspor
- 前言原文：A gentle introduction to generics in Go byDominik Braun万俊峰Kevin：我
- 触发器：触发器的使用场景以及相应版本：触发器可以使用的MySQL版本：版本：MySQL5以上使用场景例子：每当增加一个顾客到某个数据库表时，
- Flask是一个Python编写的Web 微框架，让我们可以使用Python语言快速实现一个网站或Web服务。本文参考自Flask官方文档，
- 一、前言嗨，大家好，我是新发。最近需要做个小工具，可以通过python来读写Excel，实现增删改查操作。以前用的是xlrd和xlwt这两个
- 已经11月了，不知道还有没有人看华强买瓜。。。要把华强卖瓜做成字符视频，总共分为三步读取视频把每一帧转为字符画把字符画表现出来 读
- 一、创建测试表CREATE TABLE [dbo].[Student]( [id] [int] NOT NULL,
- 知乎上有人说，Python3.6以后字典有序且更高效了。群里有同学推荐了这篇文章给我看，并咨询字典排序的问题。大致浏览了一下，我当即表示不能
- 1. 前言随着互联网的发展和普及，网络安全问题越来越突出，网络在为用户提供越来越多服务的同时，也要面对各类越来越复杂的恶意攻击。SQL注入（
- PyMysql使用详解在编写小脚本时，PyMysql是快速连接并操作数据库的一个不错选择。安装pip3 install PyMysql# 可
- 用tensorflow构建简单的线性回归模型是tensorflow的一个基础样例，但是原有的样例存在一些问题，我在实际调试的过程中做了一点自
- 本文实例讲述了MySQL基于DOS命令行登录操作方法。分享给大家供大家参考，具体如下：常用的MySQL命令行登录语句如下：mysql -h
- 1.首先引入import { Toast } from 'vant'写个小列子绑定一个click事件2.写事件在method
- 在JavaScript中，我们应该尽可能的用局部变量来代替全局变量，这句话所有人都知道，可是这句话是谁先说的？为什么要这么做？有什么根据么？
- 这个问题是微信群中网友关于MySQL权限的讨论，有这么一个业务需求（下面是他的原话）：因为MySQL的很多功能都依赖主键，我想用zabbix
- <?php list($usec, $sec) = explode(' ', microtime()); $timer
