python按比例随机切分数据的实现
作者：HOU_JUN 发布时间：2021-05-28 05:17:34
标签：python,随机,切分
在机器学习或者深度学习中，我们常常碰到一个问题是数据集的切分。比如在一个比赛中，举办方给我们的只是一个带标注的训练集和不带标注的测试集。其中训练集是用于训练，而测试集用于已训练模型上跑出一个结果，然后提交，然后举办方验证结果给出一个分数。但是我们在训练过程中，可能会出现过拟合等问题，会面临着算法和模型的选择，此时，验证集就显得很重要。通常，如果数据量充足，我们会从训练集中划分出一定比例的数据来作为验证集。
每次划分数据集都手动写一个脚本，重复性太高，因此将此简单的脚本放到自己的博客。代码如下：
import random
def split(full_list,shuffle=False,ratio=0.2):
n_total = len(full_list)
offset = int(n_total * ratio)
if n_total==0 or offset<1:
return [],full_list
if shuffle:
random.shuffle(full_list)
sublist_1 = full_list[:offset]
sublist_2 = full_list[offset:]
return sublist_1,sublist_2
if __name__ == "__main__":
li = range(5)
sublist_1,sublist_2 = split(li,shuffle=True,ratio=0.2)
print sublist_1,len(sublist_1)
print sublist_2,len(sublist_2)
其中，main为测试代码。假如训练集给出的是一个文件，我们先将文件读到列表中，然后再调用split。
来源：https://www.cnblogs.com/houjun/p/9766781.html
0
投稿猜你喜欢
啊，inline-block，挺难琢磨并且迷人的声明上承诺了很多，其实提供了很少。很多次我拿到类似这样的 PSD 文件：就哭了。一般说来，这- 问题背景两张表一张是用户表a(主键是int类型)，一张是用户具体信息表b（用户表id字段是varchar类型）。因为要显示用户及用户信息，所
- golang拾遗主要是用来记录一些遗忘了的、平时从没注意过的golang相关知识。很久没更新了，我们先以一个谜题开头练练手：package
- 作为一个合格的开发者，在本地环境下完成开发还远远不够，我们需要把Web App部署到远程服务器上，这样，广大用户才能访问到网站。很多做开发的
- 第一次在自己虚机上安装mysql 中间碰到很多问题 在这里记下来，分享一下。linux centOS 6mysql版本 mysql-5.7.
- 于是我登陆主机的管理面板，重启了网站服务，ldb文件就消失了，网站打开也正常了，但过了数小时后，网站又再次出现以上情况，此种情况持续了好一段
- 本文实例讲述了Python PyAutoGUI模块控制鼠标和键盘实现自动化任务。分享给大家供大家参考，具体如下：PyAutoGUI是用Pyt
- 使用axios发送post请求出现400错误出现400状态码主要有两种原因1.bad request：“错误的请求&qu
- 本文实例讲述了golang语言中for循环语句用法。分享给大家供大家参考。具体分析如下：for循环是用来遍历数组或数字的。用for循环遍历字
- 即text-overflow:ellipsis，需要配合white-space:nowrap使用。运行代码：<div style=&q
- 在平时的工作中，我们经常会遇到需要批量创建文件的情况，例如，汇总一个月中每天回复问题的文件等，这里，我们以如何使用当前日期时间创建文件为例：
- 1.安装完成自动化测试，需要配置三个东西。selenium：pip就可以了chrome：浏览器下载一个谷歌浏览器就行chrome-drive
- 前言数据清洗是一项复杂且繁琐(kubi)的工作，同时也是整个数据分析过程中最为重要的环节。有人说一个分析项目80％的时间都是在清洗数据，这听
- 本文给大家介绍使用js实现下拉菜单可选择互相移动并实现菜单排序，代码简单易懂，具有参考价值，先给大家展示下效果图，感觉还很满意请参考本段代码
- 前言在 Go 单元测试这个系列的第二部分 数据库的Mock测试 中我们介绍了用 go-sqlmock 给数据库的 CRUD 操作做Mock
- Python的Collections模块提供了不少好用的数据容器类型，其中一个精品当属namedtuple。namedtuple能够用来创建
- 本文实例讲述了Laravel框架实现定时发布任务的方法。分享给大家供大家参考，具体如下：背景：需要每隔一小时新建一个任务http://lar
- 问题你正在试着使用正则表达式去匹配一大块的文本，而你需要跨越多行去匹配。解决方案这个问题很典型的出现在当你用点(.)去匹配任意字符的时候，忘
- 在JS中有些内存只需执行一遍即可，如浏览器类型检测是最常用的一个功能，因为我们使用Ajax的时候需要检测浏览器的内置的XHR。我们可以在第一
- 今天继续给大家介绍Python相关知识，本文主要内容是Python asyncio异步编程简单实现。一、asyncio事件循环简介async
