2.1 결정트리

결정트리는 데이터를 분류하기 위한 비모수적 방법이다. 이 알고리즘은 분류 규칙에 따라 훈련용 데이터를 기반으로 분류한다^{(Dietterich 2000)}.

결정트리는 전체 데이터로 형성되는 루트 노드에서 분류를 시작하고 규칙 노드에서 변수별 분류가 된 후 리프 노드에서 분류 결과를 도출한다. 또한 새 규칙 조건별 서브 트리가 발생한다. 결정트리에서 각 노드는 하나의 부모 노드와 이진 분할만을 가진다.

Fig. 2는 결정트리의 전형적인 예측 방법을 나타낸다. 먼저 훈련용 데이터 그룹의 공간($x_{1},\: x_{2},\: ...,\: x_{n}$)은 $n$개의 뚜렷하고 겹치지 않는 각 루트 노드 영역($R_{1},\: R_{2},\: ...,\: R_{n}$)으로 분할된다. 트리는 처음에 변수 $x_{1}$을 기준으로 영역을 두 부분으로 나눈다. $x_{1}< a_{1}$인 경우, 트리의 오른쪽 가지가 활성화되고 변수 $x_{3}$에 따라 예측자 $b$에 할당된다($x_{3}\ge a_{3}$).

$x_{1}< a_{1}$이고 $x_{3}< a_{3}$인 경우, $x_{2}$의 값($x_{2}\ge a_{2}$)에 따라 트리는 예측자 $e$ 또는 $f$에 할당된다. 주 노드에서 트리의 왼쪽 가지는 $x_{1}\ge a_{1}$인 경우에 활성화되며, 예측자는 $x_{2}$에 대한 $a_{2}$값에 따라 달라진다. 그리고 루트 노드 영역($R_{1},\: R_{2},\: ...,\: R_{n}$)은 실제 응답과 예측된 응답 사이의 잔차 제곱합이 최소가 되도록 재귀적 이진 분할 접근법을 사용하여 평가된다. 트리 구조는 가장 약한 연결 가지치기 접근법(link pruning approach)을 사용하여 얻어진다^{(Friedman et al. 2001)}.

Fig. 2 Illustration of decision tree

2.2 랜덤포레스트

랜덤포레스트는 결정트리를 기반으로 앙상블로 구성된 학습 방법으로, 배깅(bootstrap aggregating)과 무작위 특성 선택이라는 두 가지 머신러닝 기법을 활용한다^{(Breiman 2001)}. 배깅에서는 각 트리가 훈련 데이터의 부트스트랩 샘플을 사용하여 독립적으로 구성되며, 예측에는 트리들의 출력 평균값이 사용된다^{(Breiman 1996)}. 랜덤포레스트는 배깅의 개선된 버전이며, 결정트리에서처럼 모든 특성을 사용하는 대신 랜덤포레스트는 트리를 성장시킬 때 각 노드에서 나눈 특성의 부분 집합을 무작위로 선택한다.

Fig. 3은 랜덤포레스트의 전형적인 예측 방법을 나타낸다. 랜덤포레스트의 일반적인 알고리즘은 훈련용 데이터 그룹에서 $n_{t}$개의 부트스트랩 샘플을 생성한다. 이후 데이터그룹 중 최적의 분할을 선택하여 각 부트스트랩 샘플에서 결정트리를 생성한다. $n_{t}$개의 결정트리들이 예측한 누적 결과들의 평균을 통해 새로운 데이터그룹의 출력 결과를 예측한다. 랜덤포레스트의 예측 결과는 식 (1)과 같이 표현될 수 있다.

여기서, 좌측의 $\hat{f}_{RF}^{n_{t}}(x)$은 $n_{t}$개의 결정트리의 전체에 대한 랜덤포레스트의 예측(평균값) 결과를 나타낸다. 우측 항에서 $f_{n_{t}}(x)$는 입력 벡터 $x$에 대한 트리의 개별 예측자이다. 계수 $\rho$와 표준 편차 $\sigma$의 상관관계와 함께 $n_{t}$개의 임의 변수들의 평균에 대한 분산은 식 (2)와 같다.

랜덤포레스트에서 오차율의 추정치는 부트스트랩 샘플이 아닌 원본 데이터 세트에 있는 데이터(out-of-bag data)의 예측 결과를 집계하고, 부트스트랩 샘플로 성장한 트리를 사용하여 각 부트스트랩 반복에서 부트스트랩 샘플로 성장한 데이터의 예측 결과와 비교하여 도출한다.

Fig. 3 Illustration of random forest

2.3 XGBoost

그라디언트부스팅머신(gradient boosting machine, GBM)은 결정트리를 기반으로 앙상블로 구성된 학습 방법이며 Fig. 3의 랜덤포레스트와 유사한 구조를 지닌다. GBM은 약한 분류기를 순차적으로 학습하고 예측하면서 잘못 예측한 데이터에 오류식(실제값-예측값)을 최소화하는 방향성을 가지고 반복 수행을 통해 오류를 최소화할 수 있도록 가중치의 업데이트 값을 도출하는 기법이다.

XGBoost는 손실함수에 규제항을 추가하여 과적합 규제 기능을 추가하여 과적합에 대한 내구성을 개선시켰으며, GBM의 느린 연산 속도를 개선하였다^{(Chen and Guestrin 2016)}. XGBoost는 주어진 손실함수인 $\widetilde{L}^{(t)}(q)$가 최소가 되는 결정트리를 구성하는 것을 목표로 한다.

여기서, $\lambda$와 $\gamma$는 규제상수이며, 결정트리의 크기를 제한하고 과적합을 방지한다. $T$는 결정트리의 리프(최종 노드)의 개수를 의미한다.

이때 만들어질 수 있는 모든 트리의 경우를 고려하는 것은 불가능하므로 가지치기(tree pruning) 전과 후의 차이인 $L_{spl}$을 식 (4)와 같이 사용하여 순차적으로 가지를 추가해 가능 방식으로 취한다.

여기서, $g_{i}$와 $h_{i}$는 손실함수의 1차 및 2차 기울기를 의미하며, $I_{R}$과 $I_{L}$은 결정트리 분기 후의 좌우 노드를 의미한다. XGBoost는 $L_{spl}$이 최대가 되는 방향으로 분기를 종료한다.

3.1 도로교량

도로교량의 안전등급 분포를 확인한 결과에 따르면, 안전등급은 제1종의 경우 A등급, B등급, C등급이 각각 6 %, 84 %, 8 %로 분포하며, 제2종의 경우 3 %, 84 %, 12 %로 분포하였다^{(FMS 2023)}.

시설물의 안전 및 유지관리 실시 세부지침^{(MOLIT 2023)}에 따르면 교량의 안전등급 평가 항목은 구조형식에 따라 부재별 가중치(결함점수)가 다르게 구성된다. 일반교량의 구조형식은 슬래브 교량, 거더 분리형 교량, 거더 일체형 교량, 라멘교로 구분하고, 거더 분리형 교량의 경우 2차 부재의 유무와 바닥판 없는 경우로 구분한다. FMS에서 일반국도에 있는 교량을 상부구조형식을 기준으로 세부지침^{(MOLIT 2023)}을 따르면, 도로교량의 총 수량은 제1종과 제2종에서 3,118개소이며, 구조형식은 강합성상형교가 41 %(1,272/3,118)로 가장 높은 빈도였으며, 제1종 도로교량에서 가장 많은 빈도로 나타났다. PC 빔교는 15 % (457/3,118)로 그다음 높은 빈도였으며, 제2종 도로교량에서는 가장 많은 빈도로 나타났다. 상부구조형식에서 두 구조형식은 거더 분리형 교량으로 가장 빈도수가 높은 구조형식에 해당하고 안전등급을 결정하는 평가항목이 동일하다. 이를 고려하여 데이터베이스 구축할 때 두 구조형식을 포함하였다.

Table 2는 지침에서 정밀안전진단/정밀안전점검의 상태평가와 성능평가의 상태안전성능을 평가하기 위한 결함도 평가항목을 거더 분리형 교량에서 2차 부재 유무를 구분하여 부재별 결함점수를 나타내었다. 상태평가는 콘크리트의 탄산화와 염화물을 포함하고 있으며, 포함 유무에 따라 상태안전성능과 전체 결함점수와 7만큼 차이가 있다. 또한 세 가지 평가항목(기초, 교량 받침, 교면 포장)의 결함점수 합이 상대적으로 약 1.5배의 차이를 보이지만, 전체 결함점수에서 9의 차이가 나타나는 점을 제외하면 각 평가항목의 결함점수가 유사하게 구성되어있다. 이에 따라 성능평가와 정밀안전진단/정밀안전점검을 통한 도로교량의 안전등급은 유사한 결과를 도출한다. 이러한 유추를 기반으로 데이터베이스 구축 시 성능평가와 정밀안전진단/정밀안전점검 결과를 함께 수집하였다. 데이터 수집은 성능평가, 정밀안전점검, 정밀안전진단 점검 결과로부터 총 215개소의 일반 교량을 대상으로 1,033건의 점검 결과를 수집하였으며, 시간 의존성을 고려하기 위해 교량 1개소에서 최소 2건 이상의 점검 결과가 있는 경우를 고려하였다.

예측 모델 개발에 사용된 입력 변수는 교량의 연장과 교폭, 사용연수를 포함하였으며, 사용연수는 점검시점과 준공시점의 차로 사용하였으며, 다른 도로시설물도 동일하게 사용하였다. 부재별 결함도 평가항목으로 교량 바닥판, 거더, 보, 교량/교각, 교량받침, 신축이음, 보호시설, 배수시설, 교면포장을 포함하였다. 출력 변수는 안전등급을 평가하기 위한 결함지수이다. Fig. 4는 교량에서 수집된 자료를 바탕으로 도수분포표를 계산하고 이를 히스토그램으로 시각화한 것이다. 사용연수는 최대 35년을 넘지 않은 것으로 확인되었고, 13~16년도 사이에 가장 많은 분포를 보였다. 결함지수는 0.15~0.20에 가장 많이 분포하며 0.50을 넘지 않았다. 교량의 연장은 150~300 m 사이에 가장 많이 분포하며, 교량의 폭은 8~14 m 사이에 가장 많이 분포하였다. 부재별 결함도 평가항목을 살펴보면, 교량의 바닥판과 거더, 보, 교각/교대는 대체로 0.4를 넘지 않았으며 교량받침은 0.6을 초과하지 않았다. 교량내 신축이음, 배수시설, 교면포장, 보호시설은 대체로 0.6을 넘지 않았다. 이에 상응하는 안전등급은 C를 초과하지 않았으며, A가 10 %(104/1,033), B가 87 %(906/1,033), C가 2 %(23/1,033)로 분포하였다.

Fig. 4 Histogram for condition rating items of road bridges

3.2 도로터널

도로터널의 안전등급 분포는 제1종의 경우 A등급, B등급, C등급이 각각 31 %, 67 %, 0 %로 분포하며, 제2종의 경우 38 %, 59 %, 0 %로 분포하였으며, 나머지는 안전등급 점검 이력이 FMS에 동기화되지 않았다^{(FMS 2023)}.

New Austrian tunneling method(NATM) 터널은 제1종 및 제2종을 포함하면 전체 수량의 87 %(2,441개소/2,781개소)로 가장 많은 공법을 차지하였다^{(FMS 2023)}. 이를 참고하여 본 연구에서는 NATM 터널을 대상으로 데이터베이스를 구축하였다.

Table 3은 NATM 터널의 상태평가와 상태안전성능 평가를 위한 부재별 결함점수를 나타낸다. 상태평가의 경우 상태안전성능과 달리 결함점수가 100이 되지 않아 합계 점수인 46에 대한 백분율을 괄호 안에 표시하였다. 상태안전성능을 기준으로 균열에 대한 결함점수는 상태평가와 비교하면 0.57배로 감소하고, 터널 주변의 평가항목 중 배면 공동과 내공단면의 변형 여부에 대한 결함점수가 23으로 증가하여 가장 큰 차이를 보인다. 위 항목을 제외하면 각 평가항목의 결함점수는 유사하게 구성되어있다. 이러한 유추를 기반으로 데이터 수집은 성능평가, 정밀안전점검/정밀안전진단의 점검 결과로부터 총 159개소의 NATM 터널을 대상으로 402건의 점검 결과를 수집하였다. 또한 도로터널 1개소에서 최소 2건 이상의 점검 결과가 있는 경우를 고려하였다.

예측 모델 개발에 사용된 입력 변수는 터널의 연장과 사용연수가 사용되었으며, 부재별 결함점수로는 라이닝 상태에 해당하는 균열, 누수, 파손 및 손상, 박리, 층분리 및 박락, 재료 분리와 터널 주변의 배수상태, 갱문상태, 지반상태, 공동구상태가 사용되었다. 출력 변수는 안전등급 평가를 위한 결함지수이다. Fig. 5는 도로터널에서 수집된 자료를 바탕으로 도수분포표를 계산하고 이를 히스토그램으로 시각화하였다. 사용연수는 최대 35년을 넘지 않은 것으로 확인되었고, 10~15년도 사이에 가장 많은 분포를 보였다. 결함지수는 0.15~0.20 사이에 가장 많이 분포하며, 최대 0.45를 넘지 않았다. 터널의 연장은 350~450 m 사이에 가장 많이 분포하였다. 부재별 평가항목을 살펴보면, 터널 라이닝에서 균열은 3~4 사이에 가장 많이 분포하였으며, 이외의 라이닝 내 평가항목들은 대체로 0.50을 넘지 않았다. 터널 주변 상태는 대체로 2를 넘지 않았다. 이에 상응하는 안전등급은 C를 초과하지 않았으며, A가 35 %(143/403), B가 64 %(258/403), C가 0 %(1/403)로 분포하였다.

Fig. 5 Histogram for condition rating items of NATM tunnels

3.3 도로옹벽

도로옹벽의 안전등급 분포는 제2종의 경우 A등급, B등급, C등급이 각각 89 %, 9 %, 0 %로 분포하며, 제3종의 경우 48 %, 56 %, 2 %로 분포하였다. 나머지는 D등급과 E등급에 분포하였다^{(FMS 2023)}.

도로옹벽은 재료와 이에 따른 구조형식으로 구분한다. 도로옹벽의 재료 유형 중 콘크리트는 무근콘크리트와 철근콘크리트로 분류된다. 철근콘크리트 옹벽은 제2종에서 전체의 35 %(499개소/1,416개소)로 가장 많이 분포하였다^{(FMS 2023)}. 철근콘크리트 옹벽은 구조형식에 상관없이 부재별 결함도 평가항목이 동일하여 이를 참고하여 데이터베이스를 구축하였다.

Table 4는 철근콘크리트 옹벽의 상태평가와 상태안전성능 평가를 위한 부재별 결함점수를 나타낸다. 침하와 활동, 백화에서 성능평가보다 약 2배로 결함점수가 높게 증가한 반면, 박락과 세굴에서는 약 0.25배와 0.6배로 감소하였으며, 이를 제외한 8개 항목은 유사하게 구성되어있다. 이러한 유추를 기반으로 데이터 수집은 성능평가, 정밀안전점검/정밀안전진단 점검 결과로부터 총 65개소의 철근콘크리트 옹벽에서 421건의 점검 결과를 수집하였다. 또한 옹벽 1개소에서 최소 2건 이상의 점검 결과가 있는 경우를 고려하였다.

예측 모델 개발에 사용된 입력 변수는 옹벽의 연장과 사용연수이며, 부재별 결함도 평가항목은 침하, 활동, 배수공상태, 계획선형오차, 재료분리, 균열, 마모, 박락 및 층분리, 박리, 백태, 철근 노출, 세굴이 사용되었다. 출력 변수는 안전등급 평가를 위한 결함지수이다. Fig. 6은 도로옹벽에서 수집된 자료를 바탕으로 도수분포표를 계산하고 이를 히스토그램으로 시각화하였다. 사용연수는 최대 45년을 넘지 않은 것으로 확인되었고, 8~14년도 사이에 가장 많이 분포하였다. 결함지수는 0.15~0.20 사이에 가장 많이 분포하며, 0.35를 넘지 않았다. 옹벽의 연장은 250 m 이하에 가장 많이 분포하였으며, 최대 1,600 m를 초과하지 않았다. 부재별 결함도 평가항목에서 결함점수 분포를 살펴보면, 배수공 상태는 12를 넘지 않았으며 5~7 사이에 가장 많이 분포하였다. 침하와 활동, 계획선형오차와 철근 노출, 주변 영향인자는 모두 0에 가장 많이 분포하였다. 옹벽의 균열은 8을 넘지 않았으며 3~5 사이에 가장 많이 분포하였다. 세굴은 8을 넘지 않았으며 0~1 사이에 가장 많이 분포하였다. 이에 상응하는 안전등급은 C를 초과하지 않았으며, A가 27 %(113/421), B가 73 % (306/421), C가 0 %(2/421)로 분포하였다.

Fig. 6 Histogram for condition rating items of reinforced concrete retaining walls

4.1 데이터베이스 전처리

안전등급 예측 모델을 개발하는 과정에서 결측값이나 이상값이 존재할 수 있으며 불균형한 데이터 분포는 예측 모델 개발 시 성능 저하에 영향을 줄 수도 있다. 도로시설물의 데이터베이스 중 일부 점검 결과에는 이러한 결측값이 포함되어 있음을 확인하여 데이터 정제 과정을 수행하였다. 예측 모델의 성능 향상을 위해서는 불균형한 데이터를 균일하게 만들기 위해 특정 범위에 대해 샘플링을 수행하거나, 이상치와 같은 결과를 제거할 수 있다. 또한 일부 변수를 축소하거나 추가할 수 있다. 본 연구에서 시설물 통계 연보를 참고하여 도로시설물의 안전등급 분포를 확인한 결과에 따르면 전체적인 시설물의 안전등급이 균일하지 않고 안전등급 A와 B에 높은 빈도로 분포함을 확인하였다. 하지만, 데이터 불균일을 조정하기 위해 샘플링을 적용하면 시간에 따른 안전등급 예측에 있어 불확실성이 증가할 것으로 판단하여 샘플링 기법을 적용하지 않았다.

도로시설물의 안전등급을 예측하기 위해 정제된 데이터를 훈련용 데이터 그룹(전체 데이터의 70 %)과 테스트용 데이터 그룹(전체 데이터의 30 %)으로 나누었다. 전체 데이터는 무작위로 훈련용 데이터 그룹과 테스트용 데이터 그룹으로 할당하였다. 훈련용 데이터 그룹은 예측 모델을 구축하는 데 사용되고, 테스트용 데이터 그룹은 구축된 예측 모델의 성능을 평가하는 데 사용된다. 이러한 과정의 일관성을 보장하기 위해, 서로 다른 머신러닝 방법에 대해 같은 훈련용 데이터 그룹과 테스트용 데이터 그룹을 사용한다. 본 연구의 예측 모델은 ^{Friedman et al. (2001)}을 참고하여 훈련용 데이터 그룹의 10겹 교차 검증을 사용하여 구축되었다. 이 10겹 교차 검증에서는 각 훈련용 데이터 세트 겹에서 90 %를 사용하여 모델을 구축하고, 나머지 10 %의 훈련용 데이터 그룹을 사용하여 그 성능을 평가하였다. 이 절차는 각 훈련용 데이터 세트에 대해 10번 반복되었으며, 가중치의 평균을 사용하여 예측 모델을 구축하였다. 알려지지 않은 데이터 그룹(모델 구축에 사용되지 않은 데이터 또는 추후 적용될 데이터)에 대한 머신러닝 모델의 성능을 확인하기 위해 테스트용 데이터 그룹은 훈련용 데이터 그룹과 별도로 유지되며 예측 모델 구축에 사용되지 않는다.

4.2 예측 모델의 성능 비교

4.2.1절은 본문의 머신러닝 예측 모델에 사용된 하이퍼파라미터 선정값을 제시하고, 4.2.2절은 머신러닝을 사용한 도로시설물의 결함지수 예측성능을 비교한다. 4.2.3절은 4.2.2절에서 예측한 결함지수를 기반으로 평가된 안전등급을 실제 등급과 비교한다. 도로시설물의 안전등급은 상태평가와 상태안전성능의 평가항목별 결함점수에 가중치를 곱하여 산출한 결함지수에 따라 안전등급이 결정된다(Table 1).

4.2.2 결함지수 예측성능 비교

본문에서 사용한 머신러닝 알고리즘은 회귀분석을 기반으로 한다. 이에 예측 성능평가 비교를 위한 지표로 평균 제곱근 오차(root mean squared error, RMSE)와 결정계수(coefficient of determination, $R^{2}$)를 이용하였다. 본문에서 사용한 머신러닝 모델들의 예측 성능 비교를 위한 성능평가 지표는 Table 6에 기술하였다. Table 6에서 테스트용 데이터 그룹의 $R^{2}$는 모델의 실제 예측 능력을 나타내는 지표이며, 훈련용 데이터의 $R^{2}$의 경우 결정계수에서 10겹 교차 검증을 통해 도출된 평균값을 나타낸다. 본 연구에서 고려한 머신러닝 모델들 중 테스트용 데이터 그룹의 성능평가 지표는 모든 경우에서 XGBoost 모델이 가장 높은 결정계수와 가장 낮은 RMSE를 보였다. 하지만 훈련용 데이터와 테스트용 데이터의 성능지표는 시설물별로 다른 결과가 나타났다. 도로교량과 도로터널의 경우 결정트리와 랜덤포레스트에서 과적합으로 인해 훈련용 데이터보다 테스트용 데이터의 결정계수가 0.003과 0.026만큼 낮게 나타났으나, XGBoost에서는 이러한 과적합이 방지되어 테스트용 데이터의 결정계수가 0.002만큼 높게 나타났다. 세 가지 시설물 중 도로옹벽의 경우 성능지표가 가장 낮게 나타났다. 또한 도로옹벽에 적용된 모든 머신러닝 기법의 결정계수는 훈련용 데이터보다 테스트용 데이터에서 0.13 이상(훈련용 데이터 대비 최소 20 %) 높게 나타났다. 이러한 원인은 도로시설물들의 결함도 평가항목에서 평가등급(결함점수)에 대한 분포 차이로 판단된다. 도로교량과 도로터널은 항목별 평가등급이 대부분 a~b사이에 높은 빈도로 분포하고 있으나, 도로옹벽은 항목별 평가등급의 분포 차이가 있었다. 도로옹벽에서 결함점수가 가장 높은 배수공상태와 균열은 결함도 점수 총합의 30 %를 차지하나, 결함도 평가등급이 c~d 사이에 높게 분포하고 있다. 그리고 다른 결함도 평가등급은 대부분 a~b사이에 분포하고 있다(Fig. 6).

Table 6을 기반으로 각 도로시설물에 대한 머신러닝 모델들의 안전등급 예측 성능을 비교한 결과에 따르면, 모든 도로시설물에서 XGBoost 알고리즘이 가장 높은 성능을 보였다. 이러한 비교 결과를 바탕으로 XGBoost 모델을 이용하여 훈련용 데이터와 테스트용 데이터에 대한 예측결과를 Fig. 7에 나타내었다. 그림에서 가로축은 실제 데이터의 결함도 지수를 나타내며, 세로축은 XGBoost 모델로 예측한 결함도 지수를 나타낸다. Fig. 7(a)에서 훈련용 데이터의 결정계수는 Table 6 표기된 결정계수보다 높게 나타났다. Table 6의 결정계수는 10겹 교차 검증을 통해 도출된 평균값이므로 차이가 있음을 주의할 필요가 있다. Fig. 7(b)에서 도로교량에 대한 테스트 데이터의 경우 학습된 모델과 편차가 작은 경향을 보였으나, Fig. 8(b)의 도로터널과 Fig. 9(b)의 도로옹벽의 경우 학습된 모델과 편차가 크게 나타났다.

Fig. 7 Predicted results of the proposed XGBoost model for ordinary bridges

Fig. 8 Predicted results of the proposed XGBoost model for in NATM tunnels

Fig. 9 Predicted results of the proposed XGBoost model for reinforced concrete retaining walls

Table 6 Comparison of performance of candidate regression models for three structure types

Structure / machine learning		Training set		Test set
		$R^{2}$	RMSE	$R^{2}$	RMSE
Ordinary bridges	DT	0.785	0.005	0.782	0.023
	RF	0.912	0.000	0.886	0.015
	XGB	0.957	0.005	0.959	0.009
NATM tunnel	DT	0.739	0.025	0.728	0.037
	RF	0.795	0.023	0.766	0.035
	XGB	0.798	0.009	0.807	0.031
Reinforced concrete retaining walls	DT	0.339	0.019	0.544	0.041
	RF	0.572	0.005	0.707	0.033
	XGB	0.613	0.009	0.777	0.029

4.2.3 혼동행렬을 통한 안전등급 예측결과 비교

시간 의존성에 따른 도로시설물의 안전등급 예측을 위해 앞서 예측한 결함지수 결과를 이용하여 혼동행렬을 구성하였다. Fig. 10에 나타낸 혼동행렬은 테스트용 데이터 그룹에서 관찰된 도로시설물의 실제 안전등급과 예측된 안전등급을 표로 나타낸 것이다. 본 연구에서는 Table 1에서 제시된 결함지수에 따른 안전등급 기준에 따라 안전등급을 분류하였다. 혼동행렬 구성에 사용된 머신러닝 기법은 각 도로시설물의 결함지수 예측성능을 비교한 결과에 따라 높은 성능을 보인 XGBoost 모델과 랜덤포레스트 모델을 사용하였다. 혼동행렬의 대각선 요소는 머신러닝 알고리즘에 의해 정확하게 분류된 안전등급을 나타내며, 비 대각선 요소는 정확하게 예측되지 않은 안전등급을 나타낸다.

예를 들어, Fig. 10(a)는 도로교량의 테스트용 데이터 그룹에 대한 랜덤포레스트 모델의 혼동행렬을 보여준다. 혼동행렬은 선택된 안전등급에 해당하는 3행 3열로 구성된다. 혼동행렬의 A, B, C 라벨은 각각 안전등급에 해당한다. 그림에서 랜덤포레스트 모델이 6개의 A등급과 280개의 B등급, 11개의 C등급을 정확히 예측했음을 볼 수 있다.

혼동행렬의 효율성은 정밀도(precision)와 재현율(recall)로 평가할 수 있다. 정밀도는 각각 예측된 안전등급에 대한 성공적인 예측의 백분율이며 혼동행렬의 하단(4행)에 제공된다. 재현율은 데이터 그룹의 실제 데이터 중 성공적인 예측의 백분율이며 혼동행렬의 우측(4열)에 표시된다. 높은 정밀도와 재현율은 실제 안전등급을 식별하는 효율성을 나타낸다. 예를 들어, Fig. 10(a)의 랜덤포레스트 모델에서 교량의 안전등급을 A로 예측한 경우 12개 중 6개의 시편을 정확히 예측했다. 즉 4열의 첫 번째 행에 표시된 대로 안전등급 A에 대해 50 %의 재현율을 보인다. 마찬가지로, B등급에 대해 약 100 %의 재현율을 보여주었다. 도로교량 예측의 경우 XGBoost 모델(Fig. 10(b))이 랜덤포레스트 모델(Fig. 10(a))보다 모든 안전등급 예측에서 높은 재현율과 정밀도를 보이므로, XGBoost 모델이 높은 정확도로 안전등급을 식별할 수 있다. 하지만 실제 구조물에 적용 시 안전등급을 결정하는 결함도 평가항목 이외에 일일교통량, 기후환경 등 다양한 변수와 외부 요인이 작용할 수 있으며 이러한 원인으로 예측 정확도에 오차가 있을 수 있음을 주의할 필요가 있다.

또한 혼동행렬은 머신러닝 기법에 의해 정확히 예측된 도로시설물의 안전등급의 수와 함께 전체 데이터 그룹에서 각 안전등급에 대한 성공적인 예측과 실패한 예측의 백분율을 나타낸다. Fig. 10(a)의 랜덤포레스트를 이용한 혼동행렬 결과에서 전체 데이터 그룹은 안전등급 A에 대해 2 %, B에 대해 90 %, C에 대해 4 %로, 총 96 %의 모델 정확도를 보이므로, 랜덤포레스트 모델의 테스트용 데이터 그룹이 96 %의 안전등급을 성공적으로 예측했음을 확인하였다.

Fig. 11은 NATM 터널에서 랜덤포레스트 모델로 예측한 안전등급의 혼동행렬과 XGBoost 모델로 예측한 결과를 나타낸다. 랜덤포레스트 모델은 A등급의 정밀도가 79 %로 낮은 성능을 보였으며, 정확도는 83 %로 안전등급 예측이 가능함을 보였다. XGBoost 모델은 높은 정확도(100 %)로 안전등급을 예측하였다.

Fig. 12는 철근콘크리트 옹벽에서 랜덤포레스트 모델로 예측한 안전등급의 혼동행렬과 XGBoost 모델로 예측한 결과를 나타낸다. 도로옹벽은 Table 5의 성능지표 비교 결과에서 가장 낮은 예측성능을 보였음에도 혼동행렬을 이용한 예측성능은 좋은 결과를 보였다. 랜덤포레스트 모델에서 A등급의 재현율은 82 %로 낮은 성능을 보였으나, 전체 안전등급 예측 정확도는 93 %를 보여주었으며 XGBoost 모델로 안전등급은 높은 정확도(100 %)를 보였다.

Fig. 10 Performance evaluation of machine learning models for ordinary bridges

Fig. 11 Performance evaluation of two machine learning models for NATM tunnels

Fig. 12 Performance evaluation of two machine learning models for reinforced concrete retaining walls