서 론

최근 농촌 인구의 감소, 고령화와 더불어 가격경쟁력 향상을 위한 생산비 절감 그리고 탄소 배출 저감 등의 다양한 이유로 벼 재배 기술들이 확대, 보급되고 있다(Hwang et al., 2023). 특히 이앙 재배의 한 방법인 드문모심기는 육묘시에 파종량을 늘리고, 벼 포장의 재식 밀도를 감소시키는 것으로 육묘 및 이앙시 소모되는 노동력과 시간을 감소시키고 경제성을 확보하는 재배기술이다(Kanetaka et al., 2004; Hayashi et al., 2006). 일반적으로 재식밀도가 낮을수록 수량이 감소하는 것으로 알려져 있지만 단위면적당 분얼수를 확보할 수 있는 적절한 품종을 선택할 경우 수량의 감소 폭을 줄이고 안정적으로 수량을 확보할 수 있다(Yang et al., 2021). 논 포장의 재식거리를 조절하는 재배 기술에는 아시아와 아프리카에서 주로 사용되는 SRI (System of Rice Intensification)가 있다. SRI 또한 벼의 재식밀도를 감소시키고 간격 관개로 관개용수 절약과 생산성 증대 그리고 온실가스 저감에 효과가 있는 기술이라고 평가받고 있다(Norman, 2008; Kim et al., 2012).

드문모심기와 SRI 등, 다양한 재배양식에 따른 재식밀도의 변화로 여러 포장의 재식밀도를 정확하게 측정하는 것은 농업 생산량 예측에 있어서 매우 중요하다. 하지만 기존의 물리적인 방식의 재식밀도의 측정은 한 포장에서의 측정에서도 많은 노동력을 필요로 하고 또한 지역 단위의 재배단지에서 재식거리를 모두 측정하는 것은 많은 시간적, 경제적인 부분에 있어서 어려움이 따른다. 따라서 기존의 방법을 대체하기위한 새로운 재식거리의 측정방법의 필요성이 대두되는 상황이다.

최근 무인항공기술과 영상 분석 기술의 발전으로 다양한 환경에서 드론 영상 데이터를 대용량으로 수집하고 높은 처리량의 데이터를 분석하는 것이 가능해지면서 드론에서 수집된 RGB 또는 NIR기반의 영상 데이터를 사용하여 다양한 작물의 포장의 상황을 모니터링하거나 피해를 진단하는 연구들이 수행되었다(Li et al., 2019; Kazemi & Parmehr, 2022; Dobosz et al., 2023). 이러한 분석방법은 노지의 작물 군락에서 드론으로 촬영된 영상 데이터에서 획득한 식생지수를 활용하여 작물의 발아율이나 군락 성장율 그리고 농작물의 피해 면적 등을 추정하는데 효과적임을 나타내었다. 또한 Lee et al. (2022)의 연구에서는 RGB카메라의 카메라 노출값을 달리한 실험에서 촬영된 밀 포장의 직하방 RGB의 데이터로 ExG, ExR 그리고 CIVE 등 8종류의 식생지수를 활용하여 밀의 군락피복도와의 상관관계를 확인하였다. 그 결과, ExG에서 밀의 군락 피복도와 높은 상관관계(R²=0.95)를 나타내었다. 하지만 RGB와 NIR에서 획득한 식생지수를 이용한 분석은 촬영 당시 기상 환경에 따른 편차가 존재하며, 작물에 따라서도 서로 다른 식생지수 값을 나타내기 때문에 보정값을 넣는 등의 처리를 수행하여야 하는 문제점이 존재한다(Hama et al., 2021).

이러한 문제점의 대안으로 영상 분석기술 중 하나인 인공지능을 활용한 CNN (Convolutional Neural Network)이 주목받고 있다. CNN은 Convolution kernel로 생성된 수많은 영상의 특징(feature map)을 다층의 신경망(nerural network)으로 학습하여 영상을 분류하는 딥 러닝 모델 중 하나이다(Alzubaidi et al., 2021). 최근에는 영상 데이터에 CNN기반의 모델을 활용한 영상 분석기술을 활용하는 것으로 작물을 분류하고 포장 단위의 벼 도복 피해 면적이나 옥수수 포장의 잡초 면적을 추정하는 등(Ban et al., 2021; Bouguettaya et al., 2022; Bak et al., 2023), 기존의 방법으로는 많은 시간과 노동력이 소모되는 문제에 대한 대안으로 주목받고 있다. 또한 Shen et al. (2024)의 연구에서는 딥러닝 기반의 객체 탐지 모델을 사용해서 드론에서 촬영된 옥수수의 RGB영상에서 옥수수 개체를 탐지하는 모델을 작성하여 옥수수의 밀도를 추정하는 연구를 수행하였다. 실제 서로 다른 재식밀도로 분포된 옥수수의 포장에서 기존의 머신러닝 기반의 재식밀도 추정 모델과 비교하였을 때, 더 높은 정확도를 나타내었다(R²=0.99, RMSE=0.09). 이 결과는 객체 탐지모델에서 탐지된 객체의 정보를 활용하여 각각의 데이터에서 객체들의 상대적인 밀도를 높은 정확도로 추정하는 것이 가능하다는 점을 나타낸다.

따라서 본 연구에서는 딥러닝 기반의 벼 객체탐지 모델로 추출된 벼의 위치정보로 해당 포장의 평균적인 재식거리를 추정하는 알고리즘을 작성하였고, 또한 알고리즘을 통해 추정된 재식거리와 실제 영상에서 직접 측정한 재식거리를 비교하여 모델과 알고리즘의 정확도를 평가하였다.

재료 및 방법

학습 데이터 수집 및 전처리

벼 객체 탐지를 위한 학습 데이터는 2021, 2023년 전라북도 김제시의 벼 포장과 2022, 2023년 전라북도 완주군에 위치한 국립식량과학원 내 벼 포장에서 다분광 카메라 드론(PHANTOM 4 Multispectral, DJI, China)와 RGB 카메라 드론(MAVIC PRO, DJI, China) 2종류를 사용하여 수집하였다. 수집된 데이터 형식은 PHANTOM 4 Multispectral은 가로 1300픽셀 세로 800픽셀의 RGB 영상을 획득하였고, MAVIC PRO로는 가로 4000픽셀, 세로 3000픽셀의 RGB 영상 데이터를 획득하였다. 드론 영상은 10 m에서 15 m 사이의 고도에서 수직으로 촬영하였다. 수집된 데이터는 파이썬(Python 3.8)의 OpenCV 4.6.0 라이브러리를 이용해서 모델 학습이 용이하고 라벨링이 편한 형태인 가로 216픽셀 세로 216픽셀로 분할하였고 총 4063개의 영상데이터를 제작하였다(Fig. 1).

Fig. 1.

(A) DJI Phantom 4 multispectral image; (B) images captured using DJI Mavic Pro; (C) training dataset images collected in various paddy fields.

영상 데이터 라벨링 및 데이터 증강

벼 포장의 재식거리 판별을 위한 딥 러닝 모델의 학습을 위해 수집한 영상데이터를 오픈소스 프로그램인 Labelme (http://labelme2.csail.mit.edu)를 이용하였고, 영상에서 육안으로 확인할 수 있는 벼의 중심부의 위치를 먼저 라벨링 하여 json형식으로 저장하였다. 저장된 라벨링 데이터에서 모델의 입력 데이터 형식으로 변환하면서 벼의 중심부를 무게중심으로 하는 사각형으로 변환하였다. 별도의 클래스(Class) 없이, 벼를 인식하기 위한 단일 클래스로 분류하였고, 영상의 외각 부근에서 벼 중심부가 보이지 않거나 정상적인 형태의 벼가 아닐 경우에는 라벨링을 진행하지 않았다.

데이터 증강(Data Augmentation)은 원본의 영상에 다양한 변환을 적용하여 데이터의 규모를 키우고 더욱 일반화된 모델을 작성하는 기술이다(Shorten & Khoshgoftaar, 2019). 본 연구에서는 가로 216 픽셀 세로 216 픽셀로 분할된 영상 데이터에서 밝기(Brightness), 대비(Contrast) 그리고 스케일(Scale)이 원래의 값의 0.5배에서 1.5배 수준에서 무작위로 변형된 영상을 원본 데이터의 3배인 12,189개로 증강하였다. 밝기와 대비 그리고 스케일의 변형은 촬영 당시의 다양한 기상 환경과 그리고 촬영 높이에서 보다 일반화된 모델을 만들 수 있다. 스케일이 변형된 라벨의 좌표 정보는 변형된 이미지의 크기와 위치에 맞게 조정하였다.

딥 러닝 모델

본 논문에서는 벼의 좌표 탐지를 위해 YOLO (You Only Look Once) 모델을 사용하였다(Redmon et al., 2016). YOLOv5는 객체 탐지(Object Detection) 분야에서 많이 사용되는 딥 러닝 모델이다. YOLOv5 모델의 전반적인 특징은 한번의 순전파(Forward Propagation)을 통해서 영상의 크기와 상관없이 목표를 한꺼번에 탐지할 수 있는 특징이 있다(Ultralytics, 2020). 또한 YOLOv5는 CSPNet (Cross Stage Partial Network)를 Backbone Network로 적용하여 채널 축소를 최소화하는 구조를 가지고 있다(Fig. 2). 이전의 RCNN계열의 객체 탐지 모델과 비교하였을 때, 처리속도가 매우 높기 때문에 많은 양의 데이터를 빠르게 분석할 수 있다는 장점이 있다.

YOLOv5 모델은 구조적 복잡도에 따라서 YOLOv5s, YOLOv5m, YOLOv5l, YOLOv5x로 구분된다. YOLOv5s는 모델의 복잡도가 낮아 처리시간이 빠르지만 정확도가 비교적 낮고, YOLOv5m, YOLOv5l 그리고 YOLOv5x 순서대로 더 많은 레이어(Layer)가 있고, 구조적으로 복잡하기 때문에 학습에 소요되는 시간이 길지만 정확도가 높은 특징이 있다. 본 연구에서는 모델의 정확도에 중점을 둔 YOLOv5x 모델을 사용하여 학습을 진행하였다.

Fig. 2.

Structure of YOLOv5 for rice detection.

모델 학습 및 평가

YOLOv5 모델의 학습에 사용된 장치의 하드웨어는 CPU는 Intel Xeon 622R, GPU는 Quadro RTX 5000을 사용하였고 운영체제는 Window 10을 사용하였다. 그리고 YOLOv5 모델은 Python을 프로그래밍 언어로 사용하는 Pytorch 프레임 워크를 사용하여 구현하였다. 또한 YOLOv5 구동에 필요한 CUDA, cuDNN 그리고 OpenCV와 같은 필수 라이브러리도 사용하였다. 본 연구에서 학습 파라미터로 옵티마이저(Optimizer)는 SGD (Stochastic Gradient Descent), 입력 이미지의 크기는 원본과 동일한 가로 216 픽셀, 세로 216 픽셀로 하였고 초기 학습률(Initial learning rate)은 0.01, 배치 크기(Batch size)는 16으로 설정하였으며, 에폭(Epoch)은 모델의 성능이 더 이상 좋아지지 않는 지점인 224회로 학습하였다.

모델의 검증을 위해, 모델 학습에는 사용되지 않은 검증용 데이터 621장을 학습된 모델의 입력 값으로 사용해서 모델을 평가하였다. 검증을 위한 지표로는 정밀도(Precision), 재현성(Recall) 그리고 두 값의 조화평균을 나타내는 F1 score로 평가하였다(식 (1), (2), (3)). 또한 Precision-Recall 곡선의 적분 값인 mAP (mean Average Precision)을 구하였다.

Where TP, TN, FP, FN is true positive, true negative, false positive, false negative.

재식거리 평가 포장 영상정합

벼 포장의 전체의 고해상도 이미지를 획득하기 위해서 영상 정합 프로그램인 PIX4Dfields (https://www.pix4d.com/product/pix4dfields/)를 사용하였고 정합에 사용되는 영상은 10 m의 고도에서 별도로 촬영되었으며, 정합 영상의 GSD가 0.6 cm/pixel이 되도록 설정하여 촬영하였다. 정합 처리 옵션으로는 프로그램 내부의 빠른 처리로 정합하였고, 정합된 고해상도의 포장 영상은 정사모자이크의 영상만을 추출하여 원본 크기의 TIF 파일로 저장하였다. 그 후 포장의 크기와 모양에 따라 수작업으로 회전시켰고 영상이 포장 내부만을 포함하도록 자른 후 정합 영상을 모델의 입력데이터로 사용하였다(Fig. 3).

Fig. 3.

Image processing steps involving alignment of drone images to create a stitched image of the paddy field.

드론 영상 기반 벼 재식 거리 추정 알고리즘

벼 중심부의 상대적 좌표정보를 바탕으로 재식거리를 추정하는 알고리즘을 작성하였다. 모델이 예측한 벼의 개별 중심점에서 각각 +X, -X, +Y, -Y 4방향의 가장 가까운 점과의 거리를 측정하고 중복값을 제외한 값들의 평균값을 구한 뒤, X의 거리값과 Y의 거리값 중 길이가 긴 쪽을 주간거리, 짧은 쪽을 조간거리로 설정하고 주간거리의 픽셀 수를 30 cm로 환산하여 조간거리를 cm단위로 변환하였다. 각 점의 모든 주간거리와 조간거리의 분포에서 각각의 최빈값을 주간거리와 조간거리의 대표값으로 지정하였다. 또한 주간거리와 조간거리의 분포도에서 z-score가 3 이하인 값들은 이상치로 판단하여 계산에 포함시키지 않았고, 벼 포장의 외각 부분은 재식거리가 일정하지 않은 벼가 많이 존재하기 때문에 영상의 중심부에 있는 벼의 위치정보를 이용하여 계산하였다. 재식거리를 측정하는 벼의 개수는 포장의 비율과 전체 주수를 고려하여 설정하였다. 재식거리의 평가는 조간거리가 서로 다른 포장의 각 주의 조간거리의 평균값과 동일한 구역과 면적에서 모델이 추정한 평균 조간거리를 비교하여 결정계수(R²)와 RMSE (Root Mean Square Error)로 평가하였다.

결과 및 고찰

모델 학습 결과 및 평가

훈련 데이터셋으로 학습된 YOLOv5x 모델을 검증 데이터셋을 이용하여 정확도를 평가하였다. 검증 데이터셋의 box loss와 obj loss는 각각 0.03과 0.043을 나타내었고, 정밀도(precision)와 재현율(recall)은 0.826과 0.828을 그리고 조화평균은 0.827을나타내었다(Fig. 4A). 각 영상에서 정밀도와 재현율의 PR곡선 아래 면적의 평균값을 나타내는 mAP는 IoU 임계점이 0.5일 때 0.828이였으며, 0.5부터 0.95사이에서의 mAP의 값은 0.351을 나타내었다(Fig. 4B). 이러한 결과는 YOLOv5x 모델이 벼의 특징을 안정적으로 탐지할 수 있음을 시사한다. 특히, IoU 임계점 0.5에서 mAP 점수가 0.828로 높은 값을 나타내는 것은 모델이 명확한 조건에서 벼의 특징을 효과적으로 탐지할 수 있음을 의미한다. 반면, IoU 임곗값 0.5~0.95 사이의 mAP가 0.351로 다소 낮게 나타났는데, 구조적으로 복잡하거나 일반적이지 않은 환경에서의 벼의 탐지는 정확도가 비교적 낮게 나타나는 것을 의미한다. 따라서 추후 다양한 환경에서 추가적인 학습데이터를 확보하고, 추가적인 모델 세부 조정을 통한 모델의 개선이 필요할 것으로 판단된다.

Fig. 4.

(A) Evaluation of rice detection model trained with YOLOv5; (B) Precision–Recall curve.

벼 포장 주수 추정 및 밀도 분포 시각화

YOLOv5x로 작성된 모델을 필지 단위에서 벼의 주수를 추정하기 위해서 드론으로 촬영된 재식거리 시험포장의 정합영상을 모델에 입력데이터로 사용하여 전체 주수를 평가하였다. 실제 3.3 m² 당 80주, 70주, 60주 그리고 50주의 재식밀도로 이앙된 논 포장의 실제 주수와 모델이 예측한 주수를 비교하였을 때, 평균 절대 백분율 오차(MAPE) 0.65%로 비교적 높은 정확도를 나타내었다(Table 1). 모델이 예측한 벼의 좌표지점을 가우시안 스무딩(gaussian smoothing)으로 1차원의 점을 연속적인 2차원의 값으로 변환하여 점 밀도의 중첩도를 히트맵(heatmap)으로 시각화 하였다(Fig. 5). 해당 히트맵은 YOLOv5x로 제작한 벼 탐지 모델이 서로 다른 재식밀도로 이앙된 논 포장에서 재식밀도를 효과적으로 추정할 수 있는 방법이라는 것을 시사한다.

Fig. 5.

(A) Stitched image of paddy fields planted with different planting densities; (B) heatmap of planting density using Gaussian filtering.

벼 포장의 재식 거리 추정

각 재식거리별 4개의 구역에서 본 연구에서 작성한 알고리즘을 통해 재식거리를 추정하였다. 4개의 구역은 50개의 점들 사이의 주간거리와 조간거리를 사용하였다(Fig. 6A). 서로 다른 재식밀도(50주, 60주, 70주, 80주/3.3 m²)로 이앙된 포장에서 동일한 방법으로 재식거리를 측정하였을 때, 단위면적당 이앙된 벼의 수가 많은 포장일수록 알고리즘을 통해 추정한 조간거리는 짧아짐을 확인할 수 있다(Fig. 6B). 재식밀도의 평균 조간거리는 50주, 60주, 70주, 80주/3.3 m²에서 각각 23.74 cm, 19.28 cm, 16.67 cm, 14.92 cm로 나타났는데, 이는 실제 환산된 조간거리인 22 cm, 18 cm, 16 cm, 14 cm와 비교하였을 때, 실제 환산된 값보다 다소 높은 수치를 나타내었지만 유사한 결과를 얻을 수 있었다.

Fig. 6.

(A) Point distance-based planting distance measurement for four sections in the paddy field with a density of 70 plants/3.3 m²; (B) planting distance measurements for paddy fields with densities of 50, 60, 70, and 80 plants / 3.3 m².

그리고 T 검정을 통해, 주어진 각 재식밀도의 그룹 간의 조간거리 평균 차이가 통계적으로 유의함을 확인하였다(Fig. 7). 본 결과에서 동일포장에서 알고리즘이 추정한 조간간격 사이에 편차가 존재하였는데, 이는 동일한 재식밀도로 이앙된 벼 포장내부에서의 공간변이가 존재하지만, 50주, 60주, 70주, 80주/3.3 m²의 재식밀도를 통계적으로 분류할 수 있음을 나타낸다.

Fig. 7.

Graph illustrating the planting distances calculated by the planting distance measurement algorithm for each planting density (***p<0.001).

이를 이용하여 다양한 지역과 환경에서 촬영된 드론 영상을 본 연구에서 작성한 알고리즘을 통해 해당 영상이 촬영된 조간거리를 추정하고 이를 실제 관측된 조간거리와 비교하였다. 알고리즘 입력 값으로 영상 중심부의 9개의 구획에서 주간거리와 조간거리를 히스토그램 나타내었고 각 히스토그램의 최빈값을 대표 조간거리, 주간거리로 설정하여 주간거리인 30 cm에 해당하는 픽셀값을 cm단위로 변환하여 조간거리를 구하였다. 46개의 서로 다른 포장에서 촬영된 영상과 알고리즘을 통해 추정된 조간거리는 결정계수가 0.877로 높은 상관성을 보였으며, RMSE는 0.8127 cm를 나타내었다(Fig. 8). 따라서 해당 알고리즘이 포장의 일부분을 드론 영상을 촬영하는 것으로 해당 포장의 재식거리를 효율적으로 추정할 수 있다고 판단된다.

또한 Fig. 8의 결과에서 각 포장의 재식거리의 주간거리와 조간거리의 히스토그램을 확인하였을 때, 최빈값 주위에 분포한 집단에서 두배 혹은 세배의 값에서 다시 분포가 형성되는 지점을 확인할 수 있는데, 이는 결주가 발생하였거나 모델이 벼를 올바르게 찾지 못하였을 때 발생하는 지점인 것을 확인하였다. 이를 통해 모델의 정확도를 더욱 개선한다면, 주간거리와 조간거리의 분포도로 각 포장에서 결주의 추정이 가능할 것으로 예상된다. 또한 현재 알고리즘에서는 분포도의 최빈값을 대표 주간거리와 조간거리로 설정하기 때문에 결주가 많은 포장이나, YOLOv5를 사용한 벼 탐지 모델의 정확도가 떨어지는 포장에서는 사용하기 힘들다는 단점이 존재한다. 추후 연구에서는 이를 보완하여 다양한 데이터세트를 확보하고 모델 파라미터를 최적화함으로써 벼 탐지 모델의 정확도를 개선하고, 포장의 재식 거리뿐만 아니라 결주율, 재식 균일도와 같은 포장의 전반적인 재식 양상을 모니터링할 수 있는 방법에 대한 연구가 필요할 것으로 보인다.

Fig. 8.

(A) Distance distribution histogram of each point for estimating planting distance from drone images of different paddy fields; (B) correlation between observed and estimated distances of various paddy field.

적 요

본 연구는 농업 분야에서의 드론으로 촬영되어진 영상을 딥 러닝 기반의 영상분석 기술을 사용하여 벼 재식거리를 추정하는 알고리즘을 작성하였다. 다양한 포장에서 수집된 영상데이터를 전처리 과정을 거처 YOLOv5x 딥 러닝 모델의 학습데이터로 활용하였다. 영상 데이터를 학습시킨 결과, 높은 정밀도와 재현율을 보여 각 영상에서 벼의 위치 정보를 효과적으로 추정할 수 있음을 확인하였고, 학습된 모델은 다양한 논 포장의 환경에서 벼의 중심부 좌표를 기반으로 벼의 위치를 정확하게 추정할 수 있었다. 이를 통해 각 포장의 벼의 주수를 추정하였고 실제 값과 유사한 값을 얻을 수 있었다. 또한 영상의 벼의 위치정보를 기반으로 하여 재식거리를 정확히 파악할 수 있는 새로운 알고리즘을 제시하였다. 포장의 일부를 촬영한 다양한 지역의 드론 영상에서 본 연구에서 작성한 알고리즘이 실제 재식거리와 R²=0.877의 높은 상관성을 확인하였다. 이는 본 연구에서 작성한 알고리즘이 실제 농업 현장에서 효과적으로 적용될 수 있다는 가능성을 시사한다.