利用机器学习预测房价
作者:十千 发布时间:2023-08-10 21:25:50
项目介绍
背景:
DC竞赛比赛项目,运用回归模型进 * 价预测。
数据介绍:
数据主要包括2014年5月至2015年5月美国King County的房屋销售价格以及房屋的基本信息。
其中训练数据主要包括10000条记录,14个字段,分别代表:
销售日期(date):2014年5月到2015年5月房屋出售时的日期;
销售价格(price):房屋交易价格,单位为美元,是目标预测值;
卧室数(bedroom_num):房屋中的卧室数目;
浴室数(bathroom_num):房屋中的浴室数目;
房屋面积(house_area):房屋里的生活面积;
停车面积(park_space):停车坪的面积;
楼层数(floor_num):房屋的楼层数;
房屋评分(house_score):King County房屋评分系统对房屋的总体评分;
建筑面积(covered_area):除了地下室之外的房屋建筑面积;
地下室面积(basement_area):地下室的面积;
建筑年份(yearbuilt):房屋建成的年份;
修复年份(yearremodadd):房屋上次修复的年份;
纬度(lat):房屋所在纬度;
经度(long):房屋所在经度。
目标:
算法通过计算平均预测误差来衡量回归模型的优劣。平均预测误差越小,说明回归模型越好。
代码详解
数据导入
先导入分析需要的python包:
#导入类库和加载数据集
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
导入下载好的kc_train的csv文件:
#读取数据
train_names = ["date",
"price",
"bedroom_num",
"bathroom_num",
"house_area",
"park_space",
"floor_num",
"house_score",
"covered_area",
"basement_area",
"yearbuilt",
"yearremodadd",
"lat",
"long"]
data = pd.read_csv("kc_train.csv",names=train_names)
data.head()
数据预处理
查看数据集概况
# 观察数据集概况
data.info()
从图中可以看出没有任何缺失值,因此不需要对缺失值进行处理。
拆分数据:
把原始数据中的年月日拆开,然后根据房屋的建造年份和修复年份计算一下售出时已经过了多少年,这样就有17个特征。
sell_year,sell_month,sell_day=[],[],[]
house_old,fix_old=[],[]
for [date,yearbuilt,yearremodadd] in data[['date','yearbuilt','yearremodadd']].values:
year,month,day=date//10000,date%10000//100,date%100
sell_year.append(year)
sell_month.append(month)
sell_day.append(day)
house_old.append(year-yearbuilt)
if yearremodadd==0:
fix_old.append(0)
else:
fix_old.append(year-yearremodadd)
del data['date']
data['sell_year']=pd.DataFrame({'sell_year':sell_year})
data['sell_month']=pd.DataFrame({'sell_month':sell_month})
data['sell_day']=pd.DataFrame({'sell_day':sell_day})
data['house_old']=pd.DataFrame({'house_old':house_old})
data['fix_old']=pd.DataFrame({'fix_old':fix_old})
data.head()
观察因变量(price)数据情况
#观察数据
print(data['price'].describe())
#观察price的数据分布
plt.figure(figsize = (10,5))
# plt.xlabel('price')
sns.distplot(data['price'])
从数据和图片上可以看出,price呈现典型的右偏分布,但总体上看还是符合一般规律。
相关性分析
自变量与因变量的相关性分析,绘制相关性矩阵热力图,比较各个变量之间的相关性:
#自变量与因变量的相关性分析
plt.figure(figsize = (20,10))
internal_chars = ['price','bedroom_num','bathroom_num','house_area','park_space','floor_num','house_score','covered_area'
,'basement_area','yearbuilt','yearremodadd','lat','long','sell_year','sell_month','sell_day',
'house_old','fix_old']
corrmat = data[internal_chars].corr() # 计算相关系数
sns.heatmap(corrmat, square=False, linewidths=.5, annot=True) #热力图
csdn.net/jlf7026/article/details/84630414
相关性越大,颜色越浅。看着可能不太清楚,因此看下排名
#打印出相关性的排名
print(corrmat["price"].sort_values(ascending=False))
可以看出house_area,house_score,covered_area,bathroom_num这四个特征对price的影响最大,都超过了0.5。负数表明与price是负相关的。
特征选择
一般来说,选择一些与因变量(price)相关性比较大的做特征,但我尝试过选择前十的特征,然后进行建模预测,但得到的结果并不是很好,所以我还是把现有的特征全部用上。
归一化
对于各个特征的数据范围不一样,影响线性回归的效果,因此归一化数据。
#特征缩放
data = data.astype('float')
x = data.drop('price',axis=1)
y = data['price']
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
newX= scaler.fit_transform(x)
newX = pd.DataFrame(newX, columns=x.columns)
newX.head()
划分数据集
#先将数据集分成训练集和测试集
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(newX, y, test_size=0.2, random_state=21)
建立模型
选择两个模型进行预测,观察那个模型更好。
线性回归
随机森林
#模型建立
from sklearn import metrics
def RF(X_train, X_test, y_train, y_test): #随机森林
from sklearn.ensemble import RandomForestRegressor
model= RandomForestRegressor(n_estimators=200,max_features=None)
model.fit(X_train, y_train)
predicted= model.predict(X_test)
mse = metrics.mean_squared_error(y_test,predicted)
return (mse/10000)
def LR(X_train, X_test, y_train, y_test): #线性回归
from sklearn.linear_model import LinearRegression
LR = LinearRegression()
LR.fit(X_train, y_train)
predicted = LR.predict(X_test)
mse = metrics.mean_squared_error(y_test,predicted)
return (mse/10000)
评价标准
算法通过计算平均预测误差来衡量回归模型的优劣。平均预测误差越小,说明回归模型越好。
print('RF mse: ',RF(X_train, X_test, y_train, y_test))
print('LR mse: ',LR(X_train, X_test, y_train, y_test))
可以看出,随机森林算法比线性回归算法要好很多。
总结
对机器学习有了初步了解。但对于数据的预处理,和参数,特征,模型的调优还很欠缺。
希望通过以后的学习,能不断提高。
来源:https://blog.csdn.net/jlf7026/article/details/84630414
猜你喜欢
- 需要的软件phpStudy 用来导入一个数据库api-server 数据库功能可以开启一个服务器,让开发环境可以使用生产环境的网址请求安装
- 一. XSL入门1.XSL---XML的样式表 HTML网页使用预先确定的标识(tags),这就是说所有的标记都有明确的含义,例如<p
- 主键表的主键(primary key,主关键字)是表中的一个或多个字段,它的值用于惟一地标识表中的某一条记录。一个表不能有多个主关键字,并且
- SQL(结构化查询语言)就是负责与ANSI维护的数据库交互的标准。最新的版本是SQL-99,还有一个新标准SQL-200n尚处于制定过程中。
- 如何使用Index Server建立一个网站导航地图?程序代码如下:<html><head><title>asp教程之网站导航 -
- 最近在研究雨哲软件采集程序的时候,需要获取真实软件地址时遇到了需要读取跳转页面跳转后的真实地址的问题。在网上找了很多方法,使用WinHttp
- 升级了浏览器到IE9,今天进入公司网站后台突然发现有些页面进不去了,F12调试显示有JS错误:DOM Exception: INVALID_
- <%@LANGUAGE="xxx" CODEPAGE="936"%>一般又分为<%
- 如今WEB的安全问题影响着整个安全界,SQL注入,跨站脚本攻击等攻击受到了关注。 网络安全问题日益变的更加重要,国内依然有很多主机受到此类安
- PHP _construct() 函数实例函数创建一个新的 SimpleXMLElement 对象,然后输出 body 节点的内容:<
- 数据库开发数据库应用,选择一个好的数据库是非常重要的。下面从一些方面比较了SQL Server与Oracle、DB2三种数据库,为你选择数据
- 以下是引用片段:Function c2u(myText) Dim i c2u = "" For i = 1 to Len
- 1.ACCESS查询(query_info):select * from info where stu = name1 and age =
- AJAX应用因为它们的表现力的丰富、更加互动和更加迅速的响应得到了赞扬声;这些优点都是通过使用XMLHttpRequest对象来动态的载入数
- Silverlight也算一个比较开放的技术。Button控件其实也是一些标准的Grid、Canvas、Rectangle、TextBloc
- 这些CSS Selector在平时写页面的时候用地不多,只在JavaScript库、Firefox插件、iPhone页面里有过接触。推荐大家
- 做网站数据库,是选SQL Server还是Access好,可能您会说:选MySQL好,不过现在只是讨论IIS+ASP这种架构下的选择,不讨论
- 最常见的XML数据类型有:Element, Attribute,Comment, Text. &nbs
- 爬取结果:爬取代码import osimport jsonimport requestsfrom tqdm import tqdmdef l
- 当我发现要写python的面向对象的时候,我是踌躇满面,坐立不安呀。我一直在想:这个坑应该怎么爬?因为python中关于面向对象的内容很多,