Python实现的简单线性回归算法实例分析
作者:疯琴 发布时间:2021-06-05 17:16:12
本文实例讲述了Python实现的简单线性回归算法。分享给大家供大家参考,具体如下:
用python实现R的线性模型(lm)中一元线性回归的简单方法,使用R的women示例数据,R的运行结果:
> summary(fit)
Call:
lm(formula = weight ~ height, data = women)
Residuals:
Min 1Q Median 3Q Max
-1.7333 -1.1333 -0.3833 0.7417 3.1167
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -87.51667 5.93694 -14.74 1.71e-09 ***
height 3.45000 0.09114 37.85 1.09e-14 ***
---
Signif. codes: 0 ‘***' 0.001 ‘**' 0.01 ‘*' 0.05 ‘.' 0.1 ‘ ' 1
Residual standard error: 1.525 on 13 degrees of freedom
Multiple R-squared: 0.991, Adjusted R-squared: 0.9903
F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14
python实现的功能包括:
计算pearson相关系数
使用最小二乘法计算回归系数
计算拟合优度判定系数R2R2
计算估计标准误差Se
计算显著性检验的F和P值
import numpy as np
import scipy.stats as ss
class Lm:
"""简单一元线性模型,计算回归系数、拟合优度的判定系数和
估计标准误差,显著性水平"""
def __init__(self, data_source, separator):
self.beta = np.matrix(np.zeros(2))
self.yhat = np.matrix(np.zeros(2))
self.r2 = 0.0
self.se = 0.0
self.f = 0.0
self.msr = 0.0
self.mse = 0.0
self.p = 0.0
data_mat = np.genfromtxt(data_source, delimiter=separator)
self.xarr = data_mat[:, :-1]
self.yarr = data_mat[:, -1]
self.ybar = np.mean(self.yarr)
self.dfd = len(self.yarr) - 2 # 自由度n-2
return
# 计算协方差
@staticmethod
def cov_custom(x, y):
result = sum((x - np.mean(x)) * (y - np.mean(y))) / (len(x) - 1)
return result
# 计算相关系数
@staticmethod
def corr_custom(x, y):
return Lm.cov_custom(x, y) / (np.std(x, ddof=1) * np.std(y, ddof=1))
# 计算回归系数
def simple_regression(self):
xmat = np.mat(self.xarr)
ymat = np.mat(self.yarr).T
xtx = xmat.T * xmat
if np.linalg.det(xtx) == 0.0:
print('Can not resolve the problem')
return
self.beta = np.linalg.solve(xtx, xmat.T * ymat) # xtx.I * (xmat.T * ymat)
self.yhat = (xmat * self.beta).flatten().A[0]
return
# 计算拟合优度的判定系数R方,即相关系数corr的平方
def r_square(self):
y = np.mat(self.yarr)
ybar = np.mean(y)
self.r2 = np.sum((self.yhat - ybar) ** 2) / np.sum((y.A - ybar) ** 2)
return
# 计算估计标准误差
def estimate_deviation(self):
y = np.array(self.yarr)
self.se = np.sqrt(np.sum((y - self.yhat) ** 2) / self.dfd)
return
# 显著性检验F
def sig_test(self):
ybar = np.mean(self.yarr)
self.msr = np.sum((self.yhat - ybar) ** 2)
self.mse = np.sum((self.yarr - self.yhat) ** 2) / self.dfd
self.f = self.msr / self.mse
self.p = ss.f.sf(self.f, 1, self.dfd)
return
def summary(self):
self.simple_regression()
corr_coe = Lm.corr_custom(self.xarr[:, -1], self.yarr)
self.r_square()
self.estimate_deviation()
self.sig_test()
print('The Pearson\'s correlation coefficient: %.3f' % corr_coe)
print('The Regression Coefficient: %s' % self.beta.flatten().A[0])
print('R square: %.3f' % self.r2)
print('The standard error of estimate: %.3f' % self.se)
print('F-statistic: %d on %s and %s DF, p-value: %.3e' % (self.f, 1, self.dfd, self.p))
python执行结果:
The Regression Coefficient: [-87.51666667 3.45 ]
R square: 0.991
The standard error of estimate: 1.525
F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14
其中求回归系数时用矩阵转置求逆再用numpy
内置的解线性方程组的方法是最快的:
a = np.mat(women.xarr); b = np.mat(women.yarr).T
timeit (a.I * b)
99.9 µs ± 941 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
timeit ata.I * (a.T*b)
64.9 µs ± 717 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
timeit np.linalg.solve(ata, a.T*b)
15.1 µs ± 126 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
希望本文所述对大家Python程序设计有所帮助。
来源:https://blog.csdn.net/qq_35753140/article/details/78699748
猜你喜欢
- Ajax的流行给用户体验带来了很大程序的提升,而“注册“这项做为互联网最常用到的功能也自然而然的成为Ajax最常光顾的地方,实时判断用户输入
- # coding=utf-8 from BeautifulSoup import BeautifulSoup, Tag, Navigable
- Liwu_Items表,CreateTime列建立聚集索引 第一种,sqlserver2005特有的分页语法 代码如下:declare @p
- CSS命名规范一.文件命名规范全局样式:global.css;框架布局:layout.css;字体样式:font.css;链接样式:link
- 一、制作播放器的思路制作一个多功能音乐播放器的思路确定播放器的需求和功能,例如支持哪些音频格式、播放列表管理、循环播放、暂停、进度条显示等等
- 首先,我们先来看看,如果是人正常的行为,是如何获取网页内容的。(1)打开浏览器,输入URL,打开源网页(2)选取我们想要的内容,包括标题,作
- 原文:10 Principles Of Effective Web Design翻译:熊猫2008-02-03本文由熊猫同学授权翻译首发。并
- <%@ Language=VBScript %><HTML><HEAD>
- 在XHTML中定义ID、CLASS都用得上,主要是方面CSS定义样式时能一眼看穿。所以,CSS命名仅作参考。(1)页面结构类容器: cont
- 如果使用Python做大型海量数据批量任务时,并且backend用mongodb做数据储存时,常常面临大量读写数据库的情况。尤其是大量更新任
- 1.计算机语言的基本概念 计算机语言(Computer Language) 指用于人与计算机之间的通信。2.解释型和编译型语言的区别 编译型
- F()函数F()函数的导入from django.db.models import F为什么要使用F()函数?一个 F()对象代表了一个mo
- asp函数实现把数字格式化为每3个数字时以逗号间隔的数字见下:<%Function Comma(str)If No
- 一、对列表(list)进行排序推荐的排序方式是使用内建的sort()方法,速度最快而且属于稳定排序>>> a = [1,9
- Window.Open详解 一、window.open()支持环境:JavaScript1.0+/JScript1.0+/Nav2
- 本文实例讲述了python计算方程式根的方法。分享给大家供大家参考。具体实现方法如下:''' roots = pol
- 死锁是指在某组资源中,两个或两个以上的线程在执行过程中,在争夺某一资源时而造成互相等待的现象,若无外力的作用下,它们都将无法推进下去,死时就
- 问题创建一个二叉树二叉树有限多个节点的集合,这个集合可能是:空集由一个根节点,和两棵互不相交的,分别称作左子树和右子树的二叉树组成创建二叉树
- 引言:以前写的一个批量xls转csv的python简单脚本,用的是python2.7#coding=utf-8import osimport
- 一、输入input("提示内容")(1)当程序执行到input,等待用户输入,输入完成后才继续往下执行(2)input接