베이지안 네트워크(Bayesian network)를 활용하여 King County의 집값에 영향을 미치는 다양한 요소의 인과관계를 확인하고, 분석하는 것이 이 프로젝트의 목적이다. 데이터의 출처는 여기(www.kaggle.com/harlfoxem/housesalesprediction)이고, 아래의 구성 순서대로 분석 및 모델링 과정을 수행할 것이다. 모든 코드는 R로 작성되었다.
1. 데이터 전처리
2. 시각화 및 상관관계 분석
3. 다중회귀분석
4. 베이지안 네트워크 모델링
1. 데이터 전처리
In:
# Statistic library(car) # Data manipulation library(dplyr) library(tidyr) # Visualization library(ggplot2) library(corrplot) library(GGally) library(scales) # Bayesian network library(bnlearn) library(Rgraphviz) # Setting for ggplot theme theme_set(theme_minimal() + theme(plot.title = element_text(face = 'bold', colour = 'grey10'), plot.subtitle = element_text(colour = 'grey25'), panel.grid.major = element_line(colour = 'grey90', size = 1), panel.grid.minor = element_line(colour = 'grey80', size = 0.5, linetype = 'dashed'), legend.position = 'top', legend.spacing.x = unit(0.125, 'cm'), legend.background = element_rect(fill = NULL, linetype = 'dotted'), strip.background = element_blank(), strip.text = element_text(face = 'bold', colour = 'grey25', size = 11.25))) data_kc = read.csv('../input/kc_house_data.csv') str(data_kc) summary(data_kc)Out:
'data.frame': 21613 obs. of 21 variables: $ id : num 7.13e+09 6.41e+09 5.63e+09 2.49e+09 1.95e+09 ... $ date : Factor w/ 372 levels "20140502T000000",..: 165 221 291 221 284 11 57 252 340 306 ... $ price : num 221900 538000 180000 604000 510000 ... $ bedrooms : int 3 3 2 4 3 4 3 3 3 3 ... $ bathrooms : num 1 2.25 1 3 2 4.5 2.25 1.5 1 2.5 ... $ sqft_living : int 1180 2570 770 1960 1680 5420 1715 1060 1780 1890 ... $ sqft_lot : int 5650 7242 10000 5000 8080 101930 6819 9711 7470 6560 ... $ floors : num 1 2 1 1 1 1 2 1 1 2 ... $ waterfront : int 0 0 0 0 0 0 0 0 0 0 ... $ view : int 0 0 0 0 0 0 0 0 0 0 ... $ condition : int 3 3 3 5 3 3 3 3 3 3 ... $ grade : int 7 7 6 7 8 11 7 7 7 7 ... $ sqft_above : int 1180 2170 770 1050 1680 3890 1715 1060 1050 1890 ... $ sqft_basement: int 0 400 0 910 0 1530 0 0 730 0 ... $ yr_built : int 1955 1951 1933 1965 1987 2001 1995 1963 1960 2003 ... $ yr_renovated : int 0 1991 0 0 0 0 0 0 0 0 ... $ zipcode : int 98178 98125 98028 98136 98074 98053 98003 98198 98146 98038 ... $ lat : num 47.5 47.7 47.7 47.5 47.6 ... $ long : num -122 -122 -122 -122 -122 ... $ sqft_living15: int 1340 1690 2720 1360 1800 4760 2238 1650 1780 2390 ... $ sqft_lot15 : int 5650 7639 8062 5000 7503 101930 6819 9711 8113 7570 ... id date price bedrooms bathrooms sqft_living sqft_lot Min. :1.000e+06 20140623T000000: 142 Min. : 75000 Min. : 0.000 Min. :0.000 Min. : 290 Min. : 520 1st Qu.:2.123e+09 20140625T000000: 131 1st Qu.: 321950 1st Qu.: 3.000 1st Qu.:1.750 1st Qu.: 1427 1st Qu.: 5040 Median :3.905e+09 20140626T000000: 131 Median : 450000 Median : 3.000 Median :2.250 Median : 1910 Median : 7618 Mean :4.580e+09 20140708T000000: 127 Mean : 540088 Mean : 3.371 Mean :2.115 Mean : 2080 Mean : 15107 3rd Qu.:7.309e+09 20150427T000000: 126 3rd Qu.: 645000 3rd Qu.: 4.000 3rd Qu.:2.500 3rd Qu.: 2550 3rd Qu.: 10688 Max. :9.900e+09 20150325T000000: 123 Max. :7700000 Max. :33.000 Max. :8.000 Max. :13540 Max. :1651359 (Other) :20833 floors waterfront view condition grade sqft_above sqft_basement yr_built Min. :1.000 Min. :0.000000 Min. :0.0000 Min. :1.000 Min. : 1.000 Min. : 290 Min. : 0.0 Min. :1900 1st Qu.:1.000 1st Qu.:0.000000 1st Qu.:0.0000 1st Qu.:3.000 1st Qu.: 7.000 1st Qu.:1190 1st Qu.: 0.0 1st Qu.:1951 Median :1.500 Median :0.000000 Median :0.0000 Median :3.000 Median : 7.000 Median :1560 Median : 0.0 Median :1975 Mean :1.494 Mean :0.007542 Mean :0.2343 Mean :3.409 Mean : 7.657 Mean :1788 Mean : 291.5 Mean :1971 3rd Qu.:2.000 3rd Qu.:0.000000 3rd Qu.:0.0000 3rd Qu.:4.000 3rd Qu.: 8.000 3rd Qu.:2210 3rd Qu.: 560.0 3rd Qu.:1997 Max. :3.500 Max. :1.000000 Max. :4.0000 Max. :5.000 Max. :13.000 Max. :9410 Max. :4820.0 Max. :2015 yr_renovated zipcode lat long sqft_living15 sqft_lot15 Min. : 0.0 Min. :98001 Min. :47.16 Min. :-122.5 Min. : 399 Min. : 651 1st Qu.: 0.0 1st Qu.:98033 1st Qu.:47.47 1st Qu.:-122.3 1st Qu.:1490 1st Qu.: 5100 Median : 0.0 Median :98065 Median :47.57 Median :-122.2 Median :1840 Median : 7620 Mean : 84.4 Mean :98078 Mean :47.56 Mean :-122.2 Mean :1987 Mean : 12768 3rd Qu.: 0.0 3rd Qu.:98118 3rd Qu.:47.68 3rd Qu.:-122.1 3rd Qu.:2360 3rd Qu.: 10083 Max. :2015.0 Max. :98199 Max. :47.78 Max. :-121.3 Max. :6210 Max. :871200▷ KC County의 집값 데이터는 21,613개의 행과 21개의 열로 구성되어 있고, 각 열의 의미는 다음과 같다.
[id]: Unique ID for each home sold
[date]: Date of the home
sale
[price]: Price of each home sold
[bedrooms]: Number of bedrooms
[bathrooms]: Number of bathrooms, where .5 accounts for a room with a toilet but no shower
[sqft_living]: Square footage of the apartments interior living space
[sqft_lot]: Square footage of the land space
[floors]: Number of floors
[waterfront]: A dummy variable for
whether the apartment was overlooking the waterfront or not
[view]: An index from 0 to 4 of how good the view of the property was
[condition]: An index from 1 to 5 on the condition of the apartment,
[grade]: An index from 1 to 13, where 1-3 falls short of building construction and design, 7 has an average level of construction and design, and 11-13 have a high-quality level of construction and
design
[sqft_above]: The square footage of the interior housing space that is above ground level
[sqft_basement]: The square footage of the interior housing space that is below ground level
[yr_built]: The year the house was initially built
[yr_renovated]: The year of the house’s last renovation
[zipcode]: What zip code area the house is in
[lat]:
Lattitude
[long]: Longitude
[sqft_living15]: The square footage of interior housing living space for the nearest 15 neighbors
[sqft_lot15]: The square footage of the land lots of the nearest 15 neighbors
분석을 수행하기 위해 다음의 전처리 과정을 거쳤다.
In:
df_kc = data_kc %>% select(-id, -date, -zipcode, -lat, -long) df_kc$age = 2015 - df_kc$yr_built + 1 df_kc = df_kc %>% select(-yr_built) df_kc = df_kc %>% mutate(yr_renovated = if_else(yr_renovated == 0, 'No Renovation', if_else(yr_renovated < 1980, 'Under 1980', if_else(yr_renovated < 2000, '1980 - 2000', '2000 - 2015')))) df_kc$yr_renovated = as.factor(df_kc$yr_renovated) df_kc$sqft_above_ratio = with(df_kc, sqft_above/sqft_living)) df_kc = df_kc %>% select(-sqft_above, -sqft_basement) df_kc$waterfront = as.factor(df_kc$waterfront) df_kc[, sapply(df_kc, function(x) is.integer(x))] = lapply(df_kc[, sapply(df_kc, function(x) is.integer(x))], as.double)▷ id, date, zipcode, lat, long은 분석 대상에서 제외하였다.
▷ 집의 나이를 의미하는 age는 데이터 측정 시점인 2015년에 yr_built를 빼서 생성하고, yr_built를 제외하였다.
▷ yr_renovated의 경우, 보수가 안 된 집은 0, 보수가 된 집은 공사된 해로 나타나 있다. 이를 모델에 하나의 변수로 넣게되면 해석의 문제가 발생하게 된다. 따라서 네 개의 카테고리(No Renovation, Under 1980 - 2000, 2000 - 2015)로 바꾸었다.
▷ sqft_above와 sqft_basement의 합은 sqft_living이다. 즉, 이 세 열의 정보는 중복되어 있다. 따라서 sqft_living만 남겨두고, sqft_above를 sqft_living으로 나누어 거주 공간 중 지상의 차지 비율을 의미하는 sqft_above_ratio라는 변수를 생성하였다.
▷ 범주형 변수는 factor로 변환하고, 이외의 변수는 모두 실수로 변환하였다.
2. 시각화 및 상관관계 분석
In:
df_temp = df_kc %>% select(-yr_renovated, -waterfront) df_temp %>% gather(key = key, value = value, bedrooms:view) %>% ggplot(aes(value, price)) + geom_bin2d() + scale_x_continuous(label = comma) + scale_fill_gradient(trans = 'log') + guides(fill = F) + facet_wrap(~key, scales = 'free', ncol = 2) + labs(x = NULL) df_temp %>% gather(key = key, value = value, condition:sqft_above_ratio) %>% ggplot(aes(value, price)) + geom_bin2d() + scale_x_continuous(label = comma) + scale_fill_gradient(trans = 'log') + guides(fill = F) + facet_wrap(~key, scales = 'free', ncol = 2) + labs(x = NULL) df_temp = df_kc %>% mutate(waterfront = if_else(waterfront == '1', 'TRUE', 'FALSE')) %>% select(price, waterfront, yr_renovated) df_temp %>% gather(key = key, value = value, waterfront, yr_renovated) %>% mutate(value = factor(value, levels = c('Under 1980', '1980 - 2000', '2000 - 2015', 'No Renovation', 'TRUE', 'FALSE'))) %>% ggplot(aes(value, price, colour = value)) + geom_boxplot(size = 1) + scale_y_log10() + facet_wrap(~ key, scale = 'free', ncol = 2) + guides(colour = F)Out:
▷ sqft_lot, sqft_lot15, sqft_living15는 price와 비선형 관계를 보이고 있다.
▷ 위의 시각화로부터 다음의 경향성을 확인할 수 있다.
- (욕실의 수 / 침실의 수 / 내부 공간 / 평가 등급 / 주변 이웃의 내부 공간)이 클수록 가격이 증가하는 경향을 보인다.
- (땅의 크기 / 주변 이웃의 땅의 크기)가 클수록 가격이 감소하는 경향을 보인다.
- (바다 또는 강이 보이는 뷰를 가지는 경우 / 최근에 보수공사를 진행한 경우에)에 가격이 증가하는 경향을 보인다.
In:
cor.mtest <- function(mat, conf.level = 0.95) { mat <- as.matrix(mat) n <- ncol(mat) p.mat <- lowCI.mat <- uppCI.mat <- matrix(NA, n, n) diag(p.mat) <- 0 diag(lowCI.mat) <- diag(uppCI.mat) <- 1 for (i in 1:(n - 1)) { for (j in (i + 1):n) { tmp <- cor.test(mat[, i], mat[, j], conf.level = conf.level) p.mat[i, j] <- p.mat[j, i] <- tmp$p.value lowCI.mat[i, j] <- lowCI.mat[j, i] <- tmp$conf.int[1] uppCI.mat[i, j] <- uppCI.mat[j, i] <- tmp$conf.int[2] } } return(list(p.mat, lowCI.mat, uppCI.mat)) } res <- cor.mtest(df_kc %>% select(-waterfront, -yr_renovated), 0.95) corrplot(df_kc %>% select(-waterfront, -yr_renovated) %>% cor(method = 'spearman'), p.mat = res[[1]], sig.level = 0.05, method = 'number', type = 'lower')Out:
▷ 범주형 변수인 waterfont와 yr_renovated를 제외하고, 연속형 변수에 대하여 상관관계 분석을 수행하였다. 위의 결과는 비선형 관계를 고려할 수 있는 스피어만 상관계수를 나타낸 것이다.
▷ X 표시는 상관계수 검정결과가 유의수준 0.05에서 유의하지 않은 상관관계를 의미한다.
▷ age와 sqft_above_ratio를 제외한 연속형 변수와 price가 양의 상관관계를 띄는 것으로 나타났다.
3. 다중회귀분석
In:
model_lm = lm(log(price) ~ ., df_kc) summary(model_lm)Out:
▷ 시각화를 통해 price와 다른 연속형 변수의 비선형 관계를 확인할 수 있었다. 따라서 log를 취한 price를 모델의 반응변수로 정하였다.
▷ 이 모델의 R-squared는 0.6567로 전체 변동의 약 66%를 설명한다. F-Statistic를 통해 유의수준 0.05에서 이 모델이 유의하는 결론을 얻을 수 있다.
▷ yr_renovated 변수의 No Renovation는 유의수준 0.05에서 유의하지 않은 것으로 나타났다. 이외의 모든 변수는 유의수준 0.05에서 유의한 것으로 나타났다.
In:
plot(model_lm, 2)Out:
▷ 왼쪽 아래 끝 부분을 제외한 대부분의 데이터는 직선 상에 위치하는 것을 확인할 수 있다. 따라서 정규성 가정을 만족한다고 볼 수 있다.
In:
vif(model_lm)Out:
GVIF Df GVIF^(1/(2*Df)) bedrooms 1.645304 1 1.282694 bathrooms 3.372189 1 1.836352 sqft_living 5.266456 1 2.294876 sqft_lot 2.087090 1 1.444676 floors 1.922529 1 1.386553 waterfront 1.205512 1 1.097958 view 1.377756 1 1.173778 condition 1.224774 1 1.106695 grade 3.226952 1 1.796372 yr_renovated 1.164329 3 1.025682 sqft_living15 2.783465 1 1.668372 sqft_lot15 2.118644 1 1.455556 age 2.010378 1 1.417878 sqft_above_ratio 1.496085 1 1.223146▷ 모든 변수의 VIF가 10 이하이기 때문에, 다중공선성 문제가 나타나지 않는다고 볼 수 있다.
4. 베이지안 네트워크 모델링
In:
df_input = df_kc %>% mutate(log_price = log(price)) %>% select(-price) model_bn_prototype = hc(df_input, score = 'bic-cg') model_bn_prototype plot_bn = layoutGraph(as.graphNEL(model_bn_prototype)) nodeRenderInfo(plot_bn) <- list(fontsize = 150) renderGraph(plot_bn)Out:
Bayesian network learned via Score-based methods model: [waterfront][yr_renovated|waterfront][sqft_lot|yr_renovated][sqft_lot15|sqft_lot:waterfront:yr_renovated] [bathrooms|sqft_lot:waterfront:sqft_lot15][sqft_living|bathrooms:sqft_lot:waterfront:sqft_lot15] [sqft_above_ratio|bathrooms:sqft_living:sqft_lot:sqft_lot15][floors|bathrooms:sqft_living:sqft_lot:sqft_lot15:sqft_above_ratio] [age|bathrooms:sqft_living:floors:yr_renovated:sqft_lot15:sqft_above_ratio][condition|bathrooms:floors:yr_renovated:age:sqft_above_ratio] [sqft_living15|sqft_living:sqft_lot:floors:yr_renovated:sqft_lot15:age:sqft_above_ratio] [grade|bathrooms:sqft_living:floors:sqft_living15:sqft_lot15:age:sqft_above_ratio] [log_price|bathrooms:sqft_living:floors:waterfront:condition:grade:sqft_living15:age:sqft_above_ratio] [view|waterfront:yr_renovated:sqft_living15:age:sqft_above_ratio:log_price] [bedrooms|bathrooms:sqft_living:floors:view:condition:grade:sqft_lot15:age:sqft_above_ratio:log_price] nodes: 15 arcs: 71 undirected arcs: 0 directed arcs: 71 average markov blanket size: 12.80 average neighbourhood size: 9.47 average branching factor: 4.73 learning algorithm: Hill-Climbing score: BIC (cond. Gauss.) penalization coefficient: 4.990525 tests used in the learning procedure: 1260 optimized: TRUE▷ Score는 BIC로, 이를 최대화하는 구조를 찾기 위해 Hill-Climbing 알고리즘을 사용하였다.
▷ 위의 그림은 학습된 네트워크의 구조이고, 우리의 직관과 맞지 않는 관계를 가지고 있다. 위의 네트워크에 따르면 log_price가 bedrooms에 영향을 주다. 즉, 가격이 집의 침대의 개수에 영향을 준다고 보아야 한다. 이 인과관계는 우리의 직관과 맞지 않다. 따라서 데이터의 특성에 맞는 인과관계를 미리 지정하여 합리적인 네트워크를 만들어야 한다.
데이터의 특성을 고려한 베이지안 네트워크의 구성 조건은 다음과 같다.
- bedrooms, bathrooms, sqft_living, waterfront, view, condition, grade, yr_renovated는 log_price에 영향을 준다.- floors, bedrooms, bathrooms, sqft_living, sqft_lot, sqft_above_ratio, sqft_living15, sqft_lot15, waterfront, view, age는 노드의 최상단에 위치하고, 서로 영향을 주고 받을 수 없다.
- log_price는 어느 변수에도 영향을 줄 수 없다.
- condition, grade는 최상단에 위치한 노드에 영향을 줄 수 없다.- yr_renovated는 최상단 노드에 영향을 줄 수 없다.
위의 조건을 고려하여 네트워크의 구조를 학습하여 보자.
In:
top_node = c('floors', 'bedrooms', 'bathrooms', 'sqft_living', 'sqft_lot', 'sqft_above_ratio', 'sqft_living15', 'sqft_lot15', 'waterfront', 'view', 'age') df_wl = data.frame(from = c('bedrooms', 'bathrooms', 'sqft_living', 'waterfront', 'view', 'condition', 'grade', 'yr_renovated'), to = 'log_price') df_bl = NULL for (i in top_node) { df_bl = df_bl %>% bind_rows(data.frame(from = top_node[top_node != i], to = i)) } df_bl = df_bl %>% bind_rows(data.frame(from = 'log_price', to = names(df_kc)[names(df_kc) != 'price'])) df_bl = df_bl %>% bind_rows(data.frame(from = 'condition', to = top_node)) df_bl = df_bl %>% bind_rows(data.frame(from = 'grade', to = top_node)) df_bl = df_bl %>% bind_rows(data.frame(from = 'yr_renovated', to = top_node)) model_bn = hc(df_input, blacklist = df_bl, whitelist = df_wl, score = 'bic-cg') plot_bn = layoutGraph(as.graphNEL(model_bn)) nodeRenderInfo(plot_bn) <- list(fontsize = 50) renderGraph(plot_bn)Out:
▷ 앞의 네트워크 구조 학습 방법과 차이점은 blacklist, whitelist 인자에 네트워크 구성 조건을 준 것이다.
▷ sqft_lot는 네트워크에서 고립되어 어느 노드에도 영향을 주고 받지 않는 것으로 나타났다.
In:
fit_bn = bn.fit(model_bn, df_input) fit_bnOut:
Bayesian network parameters Parameters of node bedrooms (Gaussian distribution) Conditional density: bedrooms Coefficients: (Intercept) 3.370842 Standard deviation of the residuals: 0.9300618 Parameters of node bathrooms (Gaussian distribution) Conditional density: bathrooms Coefficients: (Intercept) 2.114757 Standard deviation of the residuals: 0.7701632 Parameters of node sqft_living (Gaussian distribution) Conditional density: sqft_living Coefficients: (Intercept) 2079.9 Standard deviation of the residuals: 918.4409 Parameters of node sqft_lot (Gaussian distribution) Conditional density: sqft_lot Coefficients: (Intercept) 15106.97 Standard deviation of the residuals: 41420.51 Parameters of node floors (Gaussian distribution) Conditional density: floors Coefficients: (Intercept) 1.494309 Standard deviation of the residuals: 0.5399889 Parameters of node waterfront (multinomial distribution) Conditional probability table: 0 1 0.992458243 0.007541757 Parameters of node view (Gaussian distribution) Conditional density: view Coefficients: (Intercept) 0.2343034 Standard deviation of the residuals: 0.7663176 Parameters of node condition (conditional Gaussian distribution) Conditional density: condition | bathrooms + floors + yr_renovated + age + sqft_above_ratio Coefficients: 0 1 2 3 (Intercept) 3.0563791874 3.1737338235 3.1973525083 3.8059657879 bathrooms 0.0312814109 -0.0095737742 0.1204390398 0.2832070755 floors 0.0269270784 0.0154644257 -0.1347846515 -0.0639222984 age 0.0024137791 -0.0007246165 0.0090552567 -0.0025437365 sqft_above_ratio -0.0275911248 -0.0854984414 -0.2587305161 -0.4778581940 Standard deviation of the residuals: 0 1 2 3 0.6009327 0.2598014 0.5917577 0.6960968 Discrete parents' configurations: yr_renovated 0 1980 - 2000 1 2000 - 2015 2 No Renovation 3 Under 1980 Parameters of node grade (Gaussian distribution) Conditional density: grade | bedrooms + bathrooms + sqft_living + floors + view + sqft_living15 + sqft_lot15 + age + sqft_above_ratio Coefficients: (Intercept) bedrooms bathrooms sqft_living floors view sqft_living15 sqft_lot15 5.196123e+00 -1.262738e-01 1.360192e-01 6.117853e-04 2.420609e-01 7.028056e-02 4.541821e-04 -1.453307e-06 age sqft_above_ratio -4.804130e-03 3.204805e-01 Standard deviation of the residuals: 0.6555349 Parameters of node yr_renovated (multinomial distribution) Conditional probability table: waterfront yr_renovated 0 1 1980 - 2000 0.014358974 0.159509202 2000 - 2015 0.020885781 0.061349693 No Renovation 0.959347319 0.742331288 Under 1980 0.005407925 0.036809816 Parameters of node sqft_living15 (Gaussian distribution) Conditional density: sqft_living15 Coefficients: (Intercept) 1986.552 Standard deviation of the residuals: 685.3913 Parameters of node sqft_lot15 (Gaussian distribution) Conditional density: sqft_lot15 Coefficients: (Intercept) 12768.46 Standard deviation of the residuals: 27304.18 Parameters of node age (Gaussian distribution) Conditional density: age Coefficients: (Intercept) 44.99486 Standard deviation of the residuals: 29.37341 Parameters of node sqft_above_ratio (Gaussian distribution) Conditional density: sqft_above_ratio Coefficients: (Intercept) 0.8754978 Standard deviation of the residuals: 0.1709693 Parameters of node log_price (conditional Gaussian distribution) Conditional density: log_price | bedrooms + bathrooms + sqft_living + waterfront + view + condition + grade + yr_renovated Coefficients: 0 1 2 3 4 5 6 7 (Intercept) 1.066013e+01 1.139515e+01 1.121704e+01 1.244367e+01 1.083384e+01 1.153135e+01 1.097135e+01 -2.108439e+01 bedrooms 8.894919e-04 1.359918e-01 -2.512079e-02 1.356706e-01 -1.509238e-02 1.677411e-02 -4.520446e-02 1.120495e+00 bathrooms 5.170345e-02 -2.965593e-02 4.840945e-02 1.804738e-01 -9.093745e-04 8.195861e-02 5.097185e-02 2.878328e+01 sqft_living 1.569443e-04 3.193704e-04 1.891389e-04 -9.619998e-05 1.984457e-04 1.835918e-04 1.766649e-04 -1.798751e-03 view 4.760609e-02 -2.261726e-02 3.788562e-02 -5.117922e-01 7.375035e-02 8.165891e-02 1.121705e-01 2.645102e+01 condition 7.673433e-02 1.196717e-01 -1.013576e-01 6.484588e-02 1.019852e-01 4.940656e-02 -7.447056e-02 -4.044361e+01 grade 2.443866e-01 1.168730e-01 2.517358e-01 3.300950e-01 1.929564e-01 1.407172e-01 2.775896e-01 0.000000e+00 Standard deviation of the residuals: 0 1 2 3 4 5 6 7 0.3428534 0.3922664 0.3361898 0.5091354 0.3331445 0.3407674 0.3259330 0.0000000 Discrete parents' configurations: waterfront yr_renovated 0 0 1980 - 2000 1 1 1980 - 2000 2 0 2000 - 2015 3 1 2000 - 2015 4 0 No Renovation 5 1 No Renovation 6 0 Under 1980 7 1 Under 1980▷ bn.fit 함수를 이용하여, 학습된 구조로부터 파라미터를 학습할 수 있다. 위의 결과는 파라미터의 학습 결과이다. 각 Conditional density의 계수로부터 변수간의 관계를 확인할 수 있다.
In:
pred_output = predict(model_lm, df_kc) rmse_lm = sum(abs(pred_output - log(df_kc$price))^2)/nrow(df_kc) df_lm = data.frame(log_price = log(df_kc$price), pred_log_price = pred_output, model = 'Multiple Linear Regression') pred_output = predict(fit_bn, node = 'log_price', data = df_input) rmse_bn = sum(abs(pred_output - df_input$log_price)^2)/nrow(df_input) df_bn = data.frame(log_price = df_input$log_price, pred_log_price = pred_output, model = 'Bayeisan Network') df_total = df_lm %>% bind_rows(df_bn) print(rmse_lm) print(rmse_bn) df_total %>% ggplot(aes(log_price, pred_log_price, colour = model)) + geom_point(alpha = 0.05) + geom_abline(slope = 1, intercept = 0, linetype = 'dashed', size = 0.75) + guides(colour = F) + facet_wrap(~ model)Out:
[1] 0.09514861 [1] 0.1108972▷ 다중회귀 모델과 학습 결과의 RMSE가 베이지안 네트워크 모델보다 더 낮은 것으로 나타났지만, 큰 차이는 없는 것을 알 수 있다.
▷ 두 모델의 잔차의 분포가 비슷한 형태를 띄는 것을 확인할 수 있다.