3.1 분류형 기계학습 모델
기계학습의 영향 변수와 결과 변수 관계는 다양한 학습기를 통해 여러 특성으로 나타난다. 특히, 이러한 학습기들은 Hyper- parameter를 통해
학습기 내의 개별적인 특성에 대한 세부 사항을 지정할 수 있다. 이는 모델의 성능을 조정하고 과적합을 방지하는 데 도움을 준다. 본 연구에서는 이러한
학습 관계의 특성을 다양하게 반영하여 분석하기 위해 의사 결정 트리(decision tree, DT), 판별 분석(discriminant analysis,
DA), 나이브 베이즈(naive bayes, NB), 서포트 벡터 머신(support vector machine, SVM), K-최근접 이웃 알고리즘(K-Nearest
Neighbors, KNN), 인공 신경망(artificial neural network, ANN), 그리고 앙상블 학습기(ensemble)를 활용하여
최적의 예측 모델을 도출하고자 하였다.
DT는 비모수 모델로, 데이터 특성으로부터 간단한 결정 규칙을 추론하여 모델을 형성한다. 하이퍼 파라미터로는 최대 깊이(max_depth)와 최대
리프 노드 수(max_leaf_nodes)를 지정할 수 있다. 여기서 트리의 최대 깊이 제한은 모델의 과적합을 방지하고, 최대 리프 노드 수 설정은
모델의 복잡성을 제어한다. 이 외에도 분할 기준(split criterion)과 최소 샘플 분할(min_ samples_split) 등 다양한 설정값을
통해 파라미터를 형성한다(Bishop 2006).
DA는 두 개 이상의 클래스로 사전에 분류된 데이터를 분석하고 새로운 관측치의 특성을 기반으로 세밀한 분류를 수행하는 기법으로, 일반적으로 선형 판별
분석(LDA)과 이차 판별 분석(QDA)이 있다. 주요 하이퍼 파라미터는 각 클래스의 사전 확률(prior probabilities)과 공분산 행렬의
추정값(covariance matrix estimates)을 지정하여 형성한다(Shalev-Shwartz and Ben-David 2014).
NB는 베이즈 정리를 활용하여 클래스가 주어졌을 때 예측 변수를 독립적이라고 가정하기 때문에 비교적 해석하기 쉽고 다중 클래스 분류에 유용하다. 하이퍼
파라미터는 분류 종류, 커널 유형, 그리고 데이터 표준화 방식을 지정할 수 있다(Williams and Rasmussen 2006).
SVM은 고차원 공간에서 데이터 분리를 최적화하는 분류 모델로, 정규화 매개변수(C)와 커널 매개변수(γ)를 통해 하이퍼 파라미터를 설정할 수 있다.
C는 모델의 과적합을 제어하며, 높은 C 값을 지정할수록 적은 오차를 허용하여 복잡한 모델을 생성한다. γ는 커널 함수에서 결정 경계의 곡률을 조절한다.
높은 γ 값을 지정할수록 더 복잡한 결정 경계를 생성한다(Cortes and Vapnik 1995).
KNN은 새로운 데이터 포인트와 가장 가까운 훈련 데이터베이스의 데이터 포인트를 찾아 예측하는 비모수 모델로, k값과 거리 측정 방법을 지정하여 하이퍼
파라미터 모델을 형성한다. k값은 새로운 데이터 포인트를 분류할 때 참조할 이웃의 개수를 결정하며, 값이 클수록 모델의 편향을 증가시켜 과소 적합을
발생시킬 수 있다. 거리 측정 방법은 유클리드 거리, 맨해튼 거리, 민코프스키 거리 등 다양한 방법을 사용할 수 있으며, 데이터 특성에 따라 적절한
방법을 선택해야 한다(Pedregosa et al. 2011).
ANN은 다층 신경망으로 구성된 모델로, 주요 하이퍼 파라미터로는 은닉층의 수, 각 층의 뉴런 수, 학습률 그리고 배치 크기(batch size)
등이 있다. 은닉층의 수와 각 층의 뉴런 수는 네트워크의 복잡도와 학습 능력을 결정한다. 학습률은 모델이 학습하는 속도를 조절하며, 적절한 학습률을
선택함으로써 모델의 수렴 속도와 최종 성능을 향상시킬 수 있다. 배치 크기는 모델이 학습할 때 사용되는 데이터의 크기를 결정한다.
Ensemble은 앞선 다양한 학습기를 결합하여 예측 성능을 향상시키는 방법으로, 주요 하이퍼 파라미터로는 기본 학습기의 수, 학습기의 유형, 그리고
결합 방법(bagging, boosting, 그리고 staking 등)이 있다. 기본 학습기의 수는 앙상블의 다양성과 안정성을 결정하며, 너무 많은
학습기는 계산 비용을 증가시킬 수 있다. 학습기의 유형은 각 학습기의 특성과 성능에 따라 선택되며, 다양한 학습기를 결합함으로써 모델의 예측 성능을
향상시킬 수 있다(Kuncheva and Whitaker 2003).
본 연구는 이러한 7가지 분류 학습기를 모두 활용하여 신속한 폭발손상 예측 모델을 형성하였으며, 해당 분류기의 다양한 평가지표(혼동행렬, F-score
그리고 AUC)를 종합적으로 분석하여 가장 높은 예측 정확도를 지닌 모델을 선택하였다. 혼동행렬(confusion matrix)은 모델의 예측 결과를
표 형태로 나타낸 것으로, 참 양성(true positive, TP), 거짓 양성(false positive, FP), 참 음성(true negative,
TN) 그리고 거짓 음성(false negative, FN)으로 예측 정확도를 판단할 수 있다. 이를 통해 모델의 예측 성능을 직관적으로 파악할 수
있으며, 특히 어떤 유형의 오류가 발생하는지 분석하는 데 유용하다. 또한, 혼동행렬을 통해 정확도(accuracy), 정밀도(precision) 그리고
재현율(Recall)의 추가 성능 지표를 계산할 수 있으며, 이는 다음 식 (3)~(5)와 같이 구할 수 있다.
F-score는 정밀도와 재현율의 조화 평균을 나타내는 지표로, 분류 모델의 예측 성능을 종합적으로 평가하는 데 사용되며 다음 식 (6)과 같이 계산할 수 있다.
AUC는 ROC(receiver operating characteristic) 곡선 아래의 면적을 나타내는 지표로, TP와 FP의 관계를 그래프로
나타낸 것이다. AUC 값은 모델이 양성과 음성을 얼마나 잘 구분하는지를 나타내며, 1에 가까울수록 모델의 성능이 우수함을 의미한다.
3.2 기계학습 모델 개발
본 연구에서 개발한 폭발손상 평가모델은 크게 두 가지 목표를 지닌 학습 모델로 구성된다(Fig. 1 참고). 첫 번째 모델은 파괴유형 분류 모델(FM model)으로, 간단한 기둥 상세에 대한 파괴유형(전단파괴 그리고 휨파괴)을 분류할 수 있다(정확도
0.86 %). FM model은 파괴유형 결정을 위한 전단 성능과 요구의 비교와 연성 능력 산정과정 없이 단순한 정보 입력만으로 빠른 속도로 기둥의
파괴유형을 분류할 수 있다(Kim et al. 2024a). 또한, ASCE 59-22 (2022)에 제시된 폭발 저항성능 평가를 위한 연성 한계는 파괴유형에 따라 정의되므로, RC 기둥 모델의 폭발 저항성능을 정확하게 평가할 수 있다. FM model의
입력변수는 콘크리트 압축강도, 축 하중 비, 형상비, 주 철근비 그리고 전단 철근비이며, 출력 변수는 파괴유형(휨파괴유형과 전단파괴유형)이다. 해당
모델은 다양한 ML 모델(ANN, KNN 그리고 RF) 대비 DT 학습기가 가장 우수한 성능(16.5 %)을 보였다. 모델의 개발 및 검증 과정은
Kim et al. (2024b)을 참고할 수 있다.
FM model에서 도출한 파괴유형은 폭발 저항성능을 예측할 수 있는 폭발손상 평가모델(BRE model)에 대한 입력정보로 활용하였다. 폭발손상
평가의 입력변수는 폭발 규모, 축 하중 비, 주 철근비 그리고 전단 철근비를 활용하였으며, 출력 변수는 Ductility 기법의 폭발손상 평가 등급을
예측하였다(Table 1 참고). Table 3은 폭발손상 평가모델을 개발하기 위해 적용한 다양한 분류 학습기의 학습 데이터와 검증 데이터에 대한 평가지표(Precision, Recall, F-score
그리고 AUC) 결과이다. 해당 모델에 적용된 학습 데이터는 앞선 2.2절에서 도출한 703개의 데이터 중 658개의 데이터(전체 데이터의 93.5
%)를 활용하였다. 또한, 검증 데이터의 경우 폭발 저항성능 등급에 따라 예측 정확도를 개별적으로 확인하기 위해 각 등급마다 9개의 데이터를 추출하여
총 45개의 검증 데이터(전체 데이터의 6.5 %)를 도출하였다. 표에 나타난 것과 같이 Ensemble 학습기가 다른 분류 학습기에 비해 높은 예측
성능을 보인 것을 확인할 수 있다. 해당 분류기는 Bagging 기법을 활용한 RF(Random Forest)로, NLearn 값은 312이다. Ensemble
기법을 제외한 다른 모델의 경우 학습 데이터 수가 적었던 중간 등급(Moderate, Heavy 그리고 Hazardous)에서 예측 성능이 매우 낮게
나타났으며, 비교적 학습 데이터 수가 높았던 Collapse 등급에서 과적합이 발생한 것을 확인할 수 있다. 이는 여러 개별 모델의 다양성을 활용하여
결합한 방식의 Ensemble 기법이 일부 등급에서 적은 학습 데이터가 나타났음에도 불구하고 높은 예측 정확도를 보일 수 있음을 확인할 수 있다.
해당 모델은 학습 데이터에서 전체 분류기 대비 평균 45.34 % 향상된 F-score 값을 보였으며, 8.79 % 향상된 AUC값을 보였다. 또한,
검증 데이터에서는 평균 41.05 % 향상된 F-score 값을 보였으며, 14.65 % 향상된 AUC 값을 보이며 높은 예측 성능을 나타냈다. Fig. 5는 Table 3에서 가장 높은 정확도 수치를 보인 Ensemble 기법의 Confusion matrix를 보여준다. 그림에 나타난 것과 같이, 전체 등급에서 학습
데이터 세트와 검증 데이터 세트에 대한 평균 정밀도는 각각 70.8 %와 70.4 %로 나타났으며, 재현율은 67.9 %와 64.5 %로 나타나며
데이터 비율이 높은 Collapse와 Superficial 등급의 정밀도 및 재현율 대비 최대 37 % 낮은 값을 보였다. 이는 Moderate와
Heavy 등급에서 학습 및 검증 데이터의 정확도가 비교적 낮게 발생하여 나타난 결과로, 특히 학습 데이터에서 Moderate 등급이 Heavy 등급으로
예측되거나 Heavy 등급이 Moderate 등급으로 예측되는 케이스가 주로 발생함을 확인할 수 있다. 이는 휨파괴 유형 기둥의 해당 등급 기준이
다른 등급 대비 좁게 적용하기 때문에 발생한 결과이다. 이는 일부 등급에 대한 학습 데이터 수의 증가 또는 새로운 기계학습 방식의 도입 등을 통해
개선할 수 있다.
Fig. 5 Confusion matrix by ensemble model
Table 3 Result of performance measurements of classification models
Classification model
|
Blast resistance performance
|
Superficial
|
Moderate
|
Heavy
|
Hazardous
|
Collapse
|
Average
|
DT
|
Train
|
Precision
|
0.66
|
0.36
|
0.54
|
0.41
|
0.93
|
0.58
|
Recall
|
0.72
|
0.41
|
0.46
|
0.34
|
0.95
|
0.58
|
F-score
|
0.69
|
0.38
|
0.50
|
0.37
|
0.94
|
0.58
|
AUC
|
0.95
|
0.88
|
0.87
|
0.79
|
0.93
|
0.89
|
Test
|
Precision
|
1.00
|
0.63
|
0.46
|
1.00
|
0.36
|
0.69
|
Recall
|
0.67
|
0.56
|
0.67
|
0.44
|
1.00
|
0.67
|
F-score
|
0.80
|
0.59
|
0.55
|
0.62
|
0.53
|
0.62
|
AUC
|
0.92
|
0.79
|
0.67
|
0.82
|
0.95
|
0.82
|
DA
|
Train
|
Precision
|
0.56
|
0.33
|
0.54
|
0.00
|
0.89
|
0.46
|
Recall
|
0.67
|
0.41
|
0.44
|
0.00
|
0.95
|
0.50
|
F-score
|
0.61
|
0.36
|
0.48
|
0.00
|
0.92
|
0.48
|
AUC
|
0.97
|
0.90
|
0.90
|
0.75
|
0.93
|
0.89
|
Test
|
Precision
|
0.89
|
0.67
|
0.42
|
0.00
|
0.44
|
0.48
|
Recall
|
0.89
|
0.44
|
0.56
|
0.00
|
0.89
|
0.56
|
F-score
|
0.89
|
0.53
|
0.48
|
0.00
|
0.59
|
0.50
|
AUC
|
0.97
|
0.91
|
0.73
|
0.67
|
0.89
|
0.83
|
SVM
|
Train
|
Precision
|
0.65
|
0.46
|
0.48
|
0.33
|
0.88
|
0.56
|
Recall
|
0.77
|
0.32
|
0.46
|
0.02
|
0.97
|
0.51
|
F-score
|
0.70
|
0.38
|
0.47
|
0.04
|
0.92
|
0.50
|
AUC
|
0.97
|
0.91
|
0.90
|
0.51
|
0.85
|
0.83
|
Test
|
Precision
|
0.88
|
0.50
|
0.31
|
0.00
|
0.42
|
0.42
|
Recall
|
0.78
|
0.11
|
0.56
|
0.00
|
0.89
|
0.47
|
F-score
|
0.82
|
0.18
|
0.40
|
0.00
|
0.57
|
0.40
|
AUC
|
0.95
|
0.85
|
0.63
|
0.68
|
0.75
|
0.77
|
KNN
|
Train
|
Precision
|
0.58
|
0.22
|
0.56
|
0.49
|
0.91
|
0.55
|
Recall
|
0.61
|
0.21
|
0.54
|
0.39
|
0.93
|
0.53
|
F-score
|
0.60
|
0.21
|
0.55
|
0.43
|
0.92
|
0.54
|
AUC
|
0.94
|
0.66
|
0.79
|
0.80
|
0.92
|
0.82
|
Test
|
Precision
|
0.70
|
0.80
|
0.57
|
0.75
|
0.42
|
0.65
|
Recall
|
0.78
|
0.44
|
0.44
|
0.33
|
0.89
|
0.58
|
F-score
|
0.74
|
0.57
|
0.50
|
0.46
|
0.57
|
0.57
|
AUC
|
0.92
|
0.83
|
0.58
|
0.77
|
0.82
|
0.78
|
ANN
|
Train
|
Precision
|
0.49
|
0.44
|
0.51
|
0.67
|
0.88
|
0.60
|
Recall
|
0.81
|
0.24
|
0.34
|
0.18
|
0.96
|
0.51
|
F-score
|
0.61
|
0.31
|
0.41
|
0.29
|
0.92
|
0.51
|
AUC
|
0.96
|
0.92
|
0.89
|
0.72
|
0.93
|
0.88
|
Test
|
Precision
|
0.50
|
0.50
|
0.38
|
1.00
|
0.39
|
0.55
|
Recall
|
0.78
|
0.11
|
0.33
|
0.33
|
0.78
|
0.47
|
F-score
|
0.61
|
0.18
|
0.35
|
0.50
|
0.52
|
0.43
|
AUC
|
0.90
|
0.82
|
0.61
|
0.62
|
0.88
|
0.76
|
NB
|
Train
|
Precision
|
0.52
|
0.25
|
0.50
|
1.00
|
0.87
|
0.63
|
Recall
|
0.93
|
0.21
|
0.22
|
0.02
|
0.97
|
0.47
|
F-score
|
0.67
|
0.23
|
0.31
|
0.04
|
0.91
|
0.43
|
AUC
|
0.97
|
0.90
|
0.88
|
0.71
|
0.94
|
0.88
|
Test
|
Precision
|
0.62
|
0.29
|
0.25
|
0.00
|
0.38
|
0.31
|
Recall
|
0.89
|
0.22
|
0.11
|
0.00
|
0.89
|
0.42
|
F-score
|
0.73
|
0.25
|
0.15
|
0.00
|
0.53
|
0.33
|
AUC
|
0.96
|
0.89
|
0.75
|
0.90
|
0.94
|
0.89
|
Ensemble
|
Train
|
Precision
|
0.83
|
0.39
|
0.64
|
0.71
|
0.95
|
0.71
|
Recall
|
0.81
|
0.38
|
0.69
|
0.98
|
0.95
|
0.76
|
F-score
|
0.82
|
0.39
|
0.67
|
0.83
|
0.95
|
0.73
|
AUC
|
0.98
|
0.92
|
0.95
|
0.90
|
0.97
|
0.94
|
Test
|
Precision
|
0.75
|
0.71
|
0.60
|
0.80
|
0.53
|
0.68
|
Recall
|
0.67
|
0.56
|
0.67
|
0.44
|
0.89
|
0.64
|
F-score
|
0.71
|
0.63
|
0.63
|
0.57
|
0.67
|
0.64
|
AUC
|
0.96
|
0.90
|
0.75
|
0.90
|
0.94
|
0.89
|