서 론
재료 및 방법
시험 포장 및 재배 조건
영상 수집 및 전처리
데이터셋 구축
딥러닝 모델
Grad-CAM 분석
모델 예측 기반 품종별 출수일 산출
통계 분석
결과 및 고찰
모델 학습 결과 및 정확도 평가
출수일 예측값과 실측값 비교
Grad-CAM 기반 모델 판별 특성 분석
적 요
서 론
벼의 출수는 이삭이 엽초 밖으로 출현하기 시작하는 시점으로 정의되며(Counce et al., 2000), 재배 현장에서는 일반적으로 전체 분얼의 약 40~50%가 출수한 시점을 출수기로 간주한다(Hoshikawa, 1989). 이러한 출수기는 재배 관리 및 수확 시기를 결정하는 등 주요 영농의사결정에 활용되며, 품종 간 출수 특성과 생육 반응을 비교하기 위한 중요한 표현형 형질로 활용될 수 있다(Lee et al., 2020; Li et al., 2023; Zhou et al., 2021). 또한, 생육 단계 중 수량 형성과 직결되는 중요한 시기로서(Desai et al., 2019), 정확한 판별은 생육 상태 모니터링, 병해 관리 및 수량 예측과 같은 정밀 재배 관리에 필수적이다. 그러나 최근 이상기후로 인해 출수기의 연차 간 변동성이 확대되는 경향을 보이며 재배 관리의 불확실성이 증가하고 있다(Kim et al., 2025; Ye et al., 2019). 특히 수확 시기는 출수 이후의 생육 진행을 기준으로 결정되는 주요 관리 시점 중 하나이며, 수확 시기의 차이는 벼의 수량과 품질에 유의한 영향을 미치는 것으로 보고되었다(Zhou et al., 2025). 따라서 출수기를 정확히 판별하는 것은 이후 재배 관리와 수확 시기 판단의 신뢰성을 높이는 데 중요하다. 그러나 현재의 출수기 판별은 주로 조사자의 육안 관찰에 의존하고 있어 관측자의 숙련도에 따른 편차가 발생하며, 다수 품종 또는 계통을 동시에 평가해야 하는 육종 현장에서는 신속하고 객관적인 데이터 확보에 큰 한계가 있다.
최근 무인항공기(Unmanned Aerial Vehicle, UAV)를 활용한 원격탐사 기술의 발전으로 작물 생육 상태를 넓은 면적에서 신속하게 모니터링하려는 연구가 활발히 이루어지고 있다. UAV는 기존 위성영상이나 지상 관측에 비해 공간 해상도가 높고 운용이 유연하여, 작물의 세부적인 생육 정보를 비파괴적으로 획득할 수 있는 장점을 가진다(Guo et al., 2025; Tsouros et al., 2019). 벼의 출수 또는 이삭 형성과 관련된 특성을 파악하기 위해 Red-Green-Blue (RGB) 영상으로부터 색상값 또는 수작업 기반의 시각적 특징을 활용한 분석 방법이 제안된 바 있으나(Duan et al., 2015; Guo et al., 2015), 이러한 접근은 촬영 시의 광량 변화와 영상 배경, 영상 획득 조건 등에 영향을 받아 분석 결과의 일관성과 정확도가 저하될 수 있다(Guo et al., 2015; Sun et al., 2024). 이러한 한계를 보완하기 위한 대안으로 최근 딥러닝 기반 영상 분석 기법이 주목받고 있다. 딥러닝은 대규모 영상 데이터로부터 특징을 자동으로 학습하여 복잡한 패턴을 인식할 수 있으며(LeCun et al., 2015), 다양한 환경 조건에서도 안정적인 성능을 보이는 것으로 보고되고 있다(Wang et al., 2022; Xiong et al., 2017).
최근에는 객체 탐지 기반 딥러닝 모델이 작물 생육 분석에 폭넓게 적용되고 있으며, 그 중 YOLO (You Only Look Once)는 단일 네트워크에서 객체의 위치와 종류를 동시에 예측하는 구조를 갖는 대표적인 객체 탐지 모델이다(Redmon et al., 2016). YOLO 계열 모델은 빠른 처리 속도와 높은 정확도를 동시에 확보할 수 있어(Wu et al., 2025), UAV 영상에서 작물의 특정 생육 구조를 탐지하는 데 효과적인 방법으로 활용되고 있다. 벼를 대상으로 한 연구에서도 딥러닝 기반 객체 탐지 모델을 활용하여 이삭과 같은 생육 구조를 인식하려는 연구가 보고되고 있으며(Wang et al., 2022), UAV 영상에서 복잡한 포장 환경에서도 안정적으로 이삭을 탐지하기 위한 YOLO 기반 모델이 제안된 바 있다(Sun et al., 2022). 또한 영상 기반으로 이삭을 탐지하고 그 발달 단계를 판별하려는 연구가 수행되어, 영상 기반 생육 단계 분석의 활용 가능성이 제시되고 있다(Chaurasia et al., 2024).
그러나 선행연구들은 주로 이삭 객체의 탐지, 계수, 단계 인식 또는 수량 추정에 초점을 두고 있어, 실제 논 포장에서 다수 품종의 재배구를 대상으로 출수 진행을 시계열적으로 해석하고 이를 현장 실측값과 연계하여 검증한 연구는 상대적으로 부족하다. 또한 일부 연구는 고정형 지상 영상 또는 통제된 환경에서 수집된 자료에 기반하고 있으며, UAV 및 포장 영상 기반 분석에서도 이삭의 중첩, 밀식, 광환경 변화, 소형 객체 누락 등의 문제가 여전히 남아 있다. 특히 출수 초기에는 이삭이 부분적으로만 출현하여 영상에서 식별 가능한 시각적 특징이 제한적이기 때문에 판별 정확도가 저하될 가능성이 있다. 이는 기존 연구들이 벼 이삭 인식 기술의 가능성을 보여주었음에도 불구하고, 실제 포장 조건에서 안정적이고 일반화 가능한 출수기 추정 기술로 확장되기 위해서는 추가적인 검증과 보완이 필요함을 시사한다.
본 연구에서는 실제 논 포장에서 재배된 벼 144품종을 대상으로 오전, 정오 및 오후의 세 시간대에 UAV RGB 영상을 수집하고, 딥러닝 기반 분류 모델인 YOLOv11을 활용하여 벼의 출수 여부를 판별할 수 있는 모델을 구축하였다. 또한 영상 구역별 예측 결과를 품종 단위의 예측 출수일로 변환하고, 이를 현장 실측 출수일과 비교하여 날짜 단위의 예측 성능을 평가하였다. 아울러 Grad-CAM 분석을 통해 모델이 출수 판별에 활용한 주요 영상 특징을 시각화하였다. 이를 통해 다수 품종이 재배되는 실제 포장 조건에서 출수 조사 자동화와 육종 표현형 평가를 지원할 수 있는 UAV 기반 출수 판별 기술의 활용 가능성을 검토하고자 하였다.
재료 및 방법
시험 포장 및 재배 조건
본 연구는 전라북도 완주군 이서면에 위치한 국립식량과학원의 벼 재배 포장에서 수행되었다. 벼(Oryza sativa L.) 144품종을 사용하였으며 2025년 6월 2일에 이앙하여 농촌진흥청 표준재배법에 따라 재배하였다. 사용된 품종은 성숙기에 따라 조생종 30품종, 중생종 53품종, 중만생종 61품종으로 구분하였다. 실측 출수일은 각 품종별 전체 이삭의 약 40~50%가 출현한 것으로 육안 판단된 날짜로 기록하였다.
영상 수집 및 전처리
UAV 영상은 RGB 카메라가 탑재된 드론(MAVIC PRO, DJI, China)을 이용하여 수집하였다. 영상 촬영은 시간대에 따른 태양 고도와 광량 변화 등 다양한 노지 광환경을 학습 데이터에 반영하기 위해 오전 8시, 정오 12시, 오후 4시에 수행하였다. 비행은 웨이포인트 방식으로 수행되었으며, 비행 고도는 평균 해수면 기준(ASL) 28.9 m, 지표면 고도는 ASL 14.7 m로 설정하였다. 영상 촬영 시 전방 및 측방 중첩도는 각각 80%로 설정하였다. 획득된 영상의 공간 해상도(GSD)는 0.5 cm/pixel이었다.
수집된 영상은 OpenDroneMap (ODM) 소프트웨어를 이용하여 정사영상으로 정합하였다. 이후 정사영상을 가로 및 세로 100 픽셀 크기로 분할하였고, 이때 100 픽셀 미만으로 분할되지 않는 영상은 분석에서 제외하였다.
데이터셋 구축
전처리 과정을 통해 총 79,331장의 UAV 영상 데이터셋을 구축하였다. 각 영상은 실제 출수기 조사 결과를 기준으로 출수 이전과 출수 이후의 두 단계로 분류하여 라벨링하였다(Fig. 1). 구축된 데이터셋은 딥러닝 모델 학습을 위해 개별 영상 patch 단위로 무작위 분할하여 학습 데이터(training set)와 검증 데이터(validation set)로 각각 7:3 비율로 구성하였다(Table 1).
Table 1.
Number of drone image patches assigned to the training and validation datasets for pre-heading and heading classes.
| Train | Validation | |
| Heading | 31,905 | 11,958 |
| Pre-heading | 25,780 | 9,688 |
| Total | 57,685 | 21,646 |
딥러닝 모델
출수기 판별을 위해 대규모 영상 데이터 처리 효율성과 전이학습 활용 가능성을 고려하여 YOLOv11 기반 분류 모델을 사용하였다. 해당 모델은 ImageNet 데이터셋으로 사전 학습된 가중치를 활용하였으며 전이학습을 통해 벼 출수기 판별에 적합하도록 학습하였다. 모델 학습을 위한 입력 이미지 크기는 100 × 100 pixel로 설정하였으며, 배치 크기(batch size)는 32, 학습 횟수(epoch)는 500으로 설정하였다. 최적화 알고리즘과 학습률(learning rate)은 YOLOv11 프레임워크의 기본 설정을 사용하였고, 과적합(overfitting)을 방지하기 위해 patience를 20으로 설정하여 조기 종료(early stopping)를 적용하였으며 실제 학습은 30 epoch에서 종료되었다. 모델 학습은 Quadro RTX 5000 GPU를 사용하였고, 운영체제는 Windows 10을 사용하였다.
Grad-CAM 분석
YOLO 모델이 영상의 어떤 특징을 보고 분류하였는지 시각화하기 위해 Gradient-weighted Class Activation Mapping (Grad-CAM)을 사용하여 확인하였다. Grad-CAM은 딥러닝 프레임워크에서 모델 예측 결과에 대한 요인을 시각화하고 추정하기 위해 사용하는 알고리즘이다(Selvaraju et al., 2017). 특히, 영상의 어떠한 특징이 클래스 분류에 큰 영향을 주었는지 확인하기 위해서 학습한 YOLO 모델의 마지막 레이어에서 추출된 feature map과 특정 class 예측값에 대한 가중치를 이용하여 분류에 기여한 영상 내 영역을 히트맵(heat map)으로 시각화하였다.
모델 예측 기반 품종별 출수일 산출
품종별 예측 출수일 산출에는 동일 시간대의 영상을 기준으로 비교하기 위해 오후 4시에 촬영한 영상을 사용하였다. 각 품종의 중앙부에서 선정한 3개 구역에 대해 모델이 산출한 출수 클래스의 예측 확률을 확인하였다. 각 구역의 출수 예측 확률이 80% 이상인 구역이 3개 중 2개 이상인 경우 해당 품종을 그 촬영일에 출수한 것으로 판정하였다. 날짜별 판정 결과에서 출수 판정이 최초로 나타난 이후 후속 조사일까지 지속적으로 유지된 최초 날짜를 해당 품종의 모델 예측 출수일로 정의하였다.
통계 분석
모델의 출수일 예측 정확도를 평가하기 위해 품종별 예측 출수일과 실측 출수일 간의 평균 편향(mean bias), 평균절대오차(mean absolute error, MAE) 및 평균제곱근오차(root mean square error, RMSE)를 산출하였다. 또한 예측 출수일이 실측 출수일 기준 ±2일 이내에 포함된 품종의 비율을 계산하였다. 성숙군별 예측 출수일과 실측 출수일 간 차이는 대응표본 t-검정(paired t-test)을 이용하여 분석하였다. 통계적 유의성은 p < 0.05 수준에서 판단하였다.
결과 및 고찰
모델 학습 결과 및 정확도 평가
YOLO 모델의 학습 과정에 따른 정확도(Accuracy)와 손실(Loss) 추이를 분석한 결과, 학습이 진행됨에 따라 정확도는 초기 0.941에서 최종 0.953으로 향상되었으며, 최소 0.938에서 최대 0.960의 범위를 나타냈다(Fig. 2A). 반면 손실값은 초기 0.281에서 최종 0.142로 감소하여 학습이 진행될수록 모델이 안정적으로 수렴하는 경향을 보였다(Fig. 2B). 초기 epoch 구간에서는 일부 변동성이 관찰되었으나 일정 수준 이상의 학습이 진행된 이후에는 성능이 전반적으로 안정화되어 모델이 데이터의 특징을 효과적으로 학습한 것으로 판단된다.
Fig. 2
Training performance and classification accuracy of the YOLOv11-based rice heading classification model. Changes in accuracy (A) and training loss (B) during model training are shown, and the confusion matrix (C) summarizes the classification performance between pre-heading and heading classes. The final accuracy was 0.953, and training terminated at epoch 30 according to the early stopping criterion.
Confusion matrix 분석 결과, 모델은 출수 후(heading)와 출수 전(pre-heading) 단계를 전반적으로 높은 정확도로 구분하였다(Fig. 2C). Heading class를 기준으로 산출한 precision, recall 및 F1-score는 각각 0.975, 0.951 및 0.963으로 나타나 출수 판별의 정밀도와 재현율이 모두 높은 수준임을 확인하였다. 특히 출수 후 단계에 대한 판별 성능이 상대적으로 우수하게 나타났으며, 오분류의 대부분은 출수 초기 단계에서 발생하는 경향을 보였다. 이는 출수 초기에는 이삭 끝부분 또는 일부만 엽초 밖으로 노출되어 영상에서 식별 가능한 형태적 특징이 충분히 발현되지 않기 때문으로 판단된다(Bleiholder et al., 2001; Lyu et al., 2023). 또한 드론 영상 기반 벼 이삭 탐지에서는 작은 객체 크기, 군락 내 밀집 분포, 잎과 이삭의 중첩 및 차폐가 주요 탐지 제한 요인으로 작용할 수 있어 초기 출수 단계에서의 오분류를 증가시킨 것으로 해석된다(Luo et al., 2025).
이러한 결과는 YOLOv11 기반 모델이 드론 영상에서 벼의 출수 여부를 효과적으로 판별할 수 있음을 보여주며, 자동화된 생육 단계 판별 기술로서의 활용 가능성을 시사한다(Wu et al., 2025).
출수일 예측값과 실측값 비교
성숙군별로 예측 출수일과 현장 조사에 의해 측정된 실측 데이터를 비교한 결과, 모든 그룹에서 두 값 간 통계적으로 유의한 차이가 나타났다(Fig. 3). 조생종(early group)에서는 출수 시기가 비교적 짧은 기간 내에 집중되어 분포 범위가 좁게 나타났으며, 모델 역시 비교적 일관된 예측 결과를 보였다. 반면, 중생종 및 중만생종에서는 개체 간 생육 편차와 군락 내 출수 시기의 비균일성이 증가함에 따라 예측값의 분산이 확대되는 경향이 나타났다.
Fig. 3
Comparison of predicted and field-observed heading dates by rice maturity group. Boxplots show the distributions of heading dates predicted by the YOLOv11-based heading classification model and those observed in the field for the early (n = 30), medium (n = 53), and medium–late (n = 61) maturity groups. *** indicates significant difference at the P ≤ 0.001 level in the t-test.
전체 144품종에서 예측 출수일과 실측 출수일 간의 평균 편향은 1.89일로 나타났고 MAE와 RMSE는 각각 2.14일과 2.66일이었으며, 전체 품종의 60.42%가 실측 출수일 기준 ±2일 이내에 예측되었다. 성숙군별 평균 편향은 조생종, 중생종 및 중만생종에서 각각 2.23일, 1.49일 및 2.07일로 나타났다. 성숙군별 MAE는 각각 2.57일, 1.68일 및 2.33일이었으며, RMSE는 각각 3.10일, 2.18일 및 2.79일로 나타나 중생종에서 상대적으로 낮은 예측 오차를 보였다.
예측 출수일이 실측 출수일보다 평균적으로 약 1.9일 늦게 나타난 것은 모델이 출수 개시 시점보다는 이삭의 형태적 특징과 군락 내 출수 패턴이 영상에서 충분히 발현된 이후를 출수로 판정하는 경향을 반영한 것으로 판단된다. 선행연구에서도 UAV 시계열 영상 기반 벼 출수일 추정에서는 출수개시일(initial heading date)와 완전출수일(full heading date)을 구분하여 다루며, 이삭 수의 시계열 변화를 이용해 10~80% 출수일과 같은 단계적 출수 형질을 산출한 바 있다(Chen et al., 2024; Lyu et al., 2023). 또한 영상 기반 출수일 추정은 탐지 가능한 이삭 또는 개화 이삭 영역(flowering panicle region)의 수에 의존하므로 출수 초기처럼 이삭의 노출 정도가 낮은 시기에는 현장 실측 기준보다 지연된 예측이 나타날 수 있다(Desai et al., 2019).
이러한 예측 지연을 고려할 때 본 모델은 다수 품종 및 계통의 출수 시기를 일관된 기준으로 평가하고 현장 조사 부담을 줄이기 위한 육종 표현형 조사 지원 기술로 활용될 가능성을 보여준다. 향후 출수 초기 단계의 영상 데이터 보강과 출수 판정 확률의 임계값 및 연속 시계열 판정 기준 개선을 통해 예측 지연을 줄인다면, 보다 정밀한 출수 시기 추정과 실시간 생육 모니터링으로의 확장이 가능할 것으로 기대된다.
Grad-CAM 기반 모델 판별 특성 분석
학습된 모델이 영상에서 출수 전후의 분류에 영향을 미치는 주요 특징을 분석하기 위해 Grad-CAM을 적용하여 시각화하였다(Fig. 4). Grad-CAM 분석 결과, 조생종과 중생종, 그리고 중만생종 모두 출수 이후 이삭이 분포하는 영역을 중심으로 높은 가중치가 나타났다. 이는 모델이 출수 판별 과정에서 이삭의 존재 여부를 주요 판단 기준으로 활용하고 있음을 보여준다. 한편, 가중치는 특정 개별 이삭에 국한되기보다는 군락 내 일정 영역 또는 패턴 단위로 넓게 분포하는 경향이 확인되었다. 이는 모델이 개별 객체 수준의 특징뿐만 아니라 군락 구조 및 공간적 패턴과 같은 집합적 특성을 함께 활용하여 출수 여부를 판별하고 있음을 시사한다. UAV 영상 기반 벼 생육 특성 연구에서는 개별 이삭 탐지 결과를 바탕으로 시계열 이삭 수를 계수하고, 이를 시험구 수준의 이삭 수 정량화로 확장하여 출수 관련 형질과 군락 수준의 이삭 특성을 추정한 바 있다(Chen et al., 2024; Lu et al., 2024).
Fig. 4
Grad-CAM visualization of the YOLOv11-based rice heading classification model by maturity group. Representative images are shown for the early group on August 4, medium group on August 18, and medium–late group on August 22. Regions with higher weights indicate image areas that contributed more strongly to the model’s heading classification.
일부 영상에서는 이삭이 아닌 잎이나 배경에서도 가중치가 나타나는 경향이 확인되었다. 이는 모델이 이삭의 직접적인 형태뿐 아니라 출수 진행에 따라 변화하는 군락의 색상, 질감, 잎의 배열 및 그림자와 같은 주변 특징을 보조적인 판단 근거로 활용했기 때문일 수 있다. 특히 출수 이후에는 이삭의 노출 증가와 함께 군락 상부의 색조와 구조가 변화하므로 이러한 특징이 출수 단계와 간접적으로 연관된 정보로 학습되었을 가능성이 있다. 또한 이러한 비대상 영역의 가중치는 UAV 영상에서 나타나는 복잡한 군락 구조와 객체 간 중첩의 영향을 반영할 수 있으며(Luo et al., 2025), 동시에 모델이 간접적인 영상 특징에 일부 의존했을 가능성을 시사한다. 향후에는 이삭 영역에 대한 정밀 annotation 또는 segmentation 기반 학습을 통해 모델의 판단 근거를 보다 명확히 하고 비대상 영역에 대한 의존성을 줄일 필요가 있다.
적 요
1. 벼의 출수 여부를 자동으로 판별하고 출수기를 추정하기 위해 드론의 시계열 RGB 영상을 활용한 YOLOv11 기반 분류 모델을 구축하였다.
2. 벼 144품종을 대상으로 오전, 정오, 오후의 3개 시간대에 영상을 수집하였으며, 정사영상 정합 및 분할 과정을 통해 총 79,331장의 데이터셋을 구축하였다.
3. 모델 학습 결과 정확도는 초기 0.941에서 최종 0.953으로 향상되었고, 손실값은 초기 0.281에서 최종 0.142로 감소하여 안정적으로 수렴하는 경향을 보였다.
4. Confusion matrix 분석 결과 출수 전과 출수 후 단계를 높은 정확도로 구분하였으며, 오분류는 주로 출수 초기 단계에서 발생하였다. 이는 출수 초기에는 이삭의 노출 정도가 낮고 영상에서 식별 가능한 형태적 특징이 제한적이기 때문으로 판단되었다.
5. 전체 144품종에서 예측 출수일과 실측 출수일 간의 평균 편향은 1.89일이었으며, MAE와 RMSE는 각각 2.14일과 2.66일이었다. 전체 품종의 60.42%가 실측 출수일 기준 ±2일 이내에 예측되었으며, 모델은 전반적으로 실측 출수일보다 늦게 예측하는 경향을 보였다.
6. Grad-CAM 분석 결과, 출수 이후 이삭 부위에 높은 가중치가 나타나 모델이 출수 판별에 유효한 시각적 특징을 반영하고 있음을 확인하였다. 또한 일부 잎과 배경 영역에서도 가중치가 나타나, 모델이 이삭 자체뿐 아니라 군락 내 공간적 맥락을 함께 활용했을 가능성이 확인되었다.
7. 이상의 결과는 드론 영상과 YOLO 기반 분류 모델이 다수 품종의 출수 시기를 일관된 기준으로 평가하고 현장 조사 부담을 줄이기 위한 육종 표현형 조사 지원 기술로 활용될 수 있음을 보여주었다. 향후 출수 초기 단계 데이터 보강과 출수 확률 임계값 및 연속 시계열 판정 기준의 개선을 통해 실제 논 포장에서 보다 정밀한 출수 시기 추정이 가능할 것으로 기대된다.
