Classification of tobacco stalk filaments based on imaging hyperspectral techniques(초분광 이미징 기술 기반 담배 줄기 필라멘트 분류)

2025-11-25 By sales 0

2022/02/24

Introduction

Tobacco is an important cash crop in China and the world. With the improvement in life quality, people pay more and more attention to the quality and taste of tobacco products. The application of near-infrared spectroscopy as a rapid nondestructive testing technique in the tobacco field is also increasing. As early as 1977, McClure et al[1] used spectral second-order derivative regression analysis to establish a model for the detection of reducing sugar content in tobacco leaves by NIR method, with a model correlation coefficient of 0.968 and a prediction standard deviation of 1.36. Hanam et al[2] used various artificial neural network algorithms to predict the nicotine content of tobacco leaves. After decades of development, NIR technology is now widely used in the tobacco industry. Although NIR spectroscopy for non-destructive rapid detection in tobacco industry can be applied to process analysis, however, non-imaging NIR spectroscopy is not suitable for quantitative analysis and dispersive sample analysis, because the interference with external factors cannot be effectively eliminated, its model needs constant maintenance correction after establishment and the test sensitivity is relatively low and the relative error are relatively large .Qing Gu et al[3] used hyperspectral imaging technique for The early non-destructive detection of tomato spotted wilt virus (TSWV) infection in tobacco by using hyperspectral imaging; Marcelo C. A. Marceloa et al[4] used a near-infrared hyperspectral system to make accurate classification assessment of different tobacco stalk positions, leaf color and leaf quality; Keqiang Yu et al[5] used a visible/near-infrared hyperspectral imaging system to detect heavy metal Hg-stressed tobacco crops; Ting Guo et al[6] used hyperspectral imaging to study the quantitative relationship between chlorophyll content and three canopy hyperspectral parameters in tobacco; Hong-yan Zhu et al[7] used hyperspectral imaging to classify and identify tobacco from different diseases; Frederico L.F. Soares et al[8] have applied hyperspectral imaging system to high-speed sorting in the tobacco industry.

At present, most of the tobacco stalk content detection is done by sampling at the production line, then crushing, separating the stalks, and then weighing to derive the tobacco stalk content, which not only has a long cycle time and complicated operation, but also affects the normal production and cannot be removed from the production line of a timely manner for the tobacco that exceeds the standard. The purpose of this study is to analyze and study different varieties of tobacco shreds and stalk shreds by using imaging hyperspectral technology nondestructive monitoring technology, in order to identify different varieties of tobacco shreds and stalk shreds quickly by imaging hyperspectral technology.

1 Materials and Methods

1.1 Materials

The tobacco yarn and stem yarn for this study were provided by Yunnan Hongta Group, and there were seven samples, Including tobacco, blended tobacco, stemmed tobacco, expanded tobacco, flake tobacco, stemmed tobacco at different process temperatures 158 and stemmed tobacco 160, and each part was taken on a black cloth for imaging hyperspectral equipment to obtain image information.

1.2 Hyperspectral image acquisition

The GaiaSorter hyperspectral sorter system (V10E, N25E-HS) of Jiangsu Shuangli Hepu Technology Co., Ltd. was used for hyperspectral image data acquisition. The system is mainly composed of hyperspectral imager, surface array camera, halogen lamp light source, dark box and computer, as shown in Fig. 1. The experimental instrument parameters are set as in Table 1.

Figure 1 GaiaSorter hyperspectral instrument

Table 1 GaiaSorter hyperspectral instrument system parameters

Serial number	parameters	V10E	N25E-HS
1	Spectral range	400-1000 nm	1000-2500 nm
2	Spectral resolution	2.8 nm	10 nm
3	Spectral sampling rate	0.7nm	7.6×14.2
4	Slit size	30μm*9.6mm	30μm*9.2mm
5	Numerical aperture	F/2.4	F/2.0
6	Number of bands	520	288

When performing hyperspectral image acquisition, the camera exposure time, stage movement speed, and distance between objectives need to be set. These 3 parameters affect each other, and the purpose of image adjustment is to make the acquired images suitable for size, clearly and without distortion. After repeated attempts, the objective height was set to 31 cm, the exposure time was set to 10 ms, and the stage movement speed was set to 6.0 mm/s (400-1000 nm) and 16 mm/s (1000-2500 nm).The image acquisition software was completed by the hyperspectral imaging system acquisition software provided by Jiangsu Shuangli Hepu Technology Co. The image processing was carried out using ENVI5.3 software. Before the image processing, the acquired spectral images were subjected to image correction, and the image correction equation was as follows:

(1)

In equation (1), Rref is the corrected image, DNraw is the original image, DNwhite is the whiteboard corrected image, and DNdark is the blackboard corrected image.

1.3 Spectral noise removal

SG smoothing algorithm can effectively reduce the random noise in the spectral data, and the noise elimination effect is influenced by the number of smoothing points, so SG quadratic polynomial 5-point smoothing is chosen to process the spectral data in this paper.

1.4 Sample selection of interest

The spectra of different samples were selected separately from the acquired hyperspectral images to establish a spectral database for rapid identification of different varieties of tobacco and stems using hyperspectral techniques.

2. Results and analysis

2.1 spectral analysis of samples

Figure 2 shows the false color images taken by mobile phone (left), visible near-infrared camera (750nm/650nm/550nm, middle) and short wavelength infrared camera (2175nm / 1811nm / 1347nm, right). It can be seen from the figure that it is difficult for human eyes ( i.e. mobile phone shooting) to distinguish different varieties of tobacco and stemmed tobacco; It is difficult to distinguish tobacco and stemmed tobacco from the false color image by visible near infrared camera; The false color image of short wavelength infrared camera can distinguish some tobacco and stemmed tobacco, but it is difficult to distinguish different varieties of tobacco and stemmed tobacco.

In order to further analyze the spectral and image differences between tobacco and stemmed tobacco, we selected the spectral reflectance of the seven samples in the image and established the spectral database, so as to further distinguish tobacco and stemmed tobacco through hyperspectral analysis technology. Fig. 3 shows the spectral of tobacco and stemmed tobacco of different varieties. It can be seen from the figure that the overall change trend of spectral reflectance of stemmed tobacco and tobacco is consistent; In the short bands, the spectral reflectance of stemmed tobacco is higher than that of tobacco.

Fig. 2 false color images taken by mobile phone (left), visible near infrared camera (medium) and short wavelength infrared camera (right)

Fig. 3 spectral reflectance curves of different samples in visible near infrared and short wavelength infrared

According to the spectral reflectance of different samples, the spectral database of tobacco and stemmed tobacco was constructed, and then the fast classification and recognition of images was achieved according to the hyperspectral analysis algorithm and chemometrics. The classification effect is shown in Figure 4. It can be seen from the figure that the visible near-infrared camera can only roughly distinguish tobacco sheet, but not the other six samples. The short wavelength infrared camera effectively distinguishes tobacco, stemmed tobacco, flake tobacco, stemmed silk 158 and stemmed silk 160, and roughly distinguished the expanded silk. This is because No. 2 blended silk has established a spectral database as an independent sample, and No. 2 sample contains many kinds of tobacco including expanded silk, which participates in the classification as blended tobacco.

2.2 image classification and analysis of hyperspectral technology

Fig. 4 classification results (left: RGB; middle: visible near infrared classification results; right: short-wavelength infrared classification results)

2.3 percentage analysis of classification results

The most significant advantage of imaging hyperspectral technology is “Combination of image and spectrum”, that is, there are both spectral data of near-infrared cameras and image data of ordinary cameras, and each band corresponds to a gray image data. Each gray image includes hundreds of thousands to millions of pixel information, and each pixel information has a continuous spectral, Therefore, after the classification map of tobacco and stemmed tobacco is obtained by using hyperspectral analysis technology and chemometric analysis, the proportion of tobacco and stemmed tobacco of different varieties in the image can be further counted on the basis of the classification map, as shown in Figure 5, which is conducive to the rapid analysis of the proportion of tobacco and stemmed tobacco contained in tobacco, It is no longer necessary to judge the proportion of tobacco and stemmed tobacco according to traditional chemical methods or manual methods.

Figure 5 proportion of tobacco and tobacco stemmed silk of different varieties

2.4 composition analysis of tobacco and stemmed

We all know that smoking is harmful to health. The cigarettes commonly used in our life are mainly blended according to different proportions of tobacco and stemmed tobacco. Cigarettes contain many harmful ingredients, such as nicotine, tar, nitrosamine, carbon monoxide, radioactive substances and other harmful and carcinogenic substances. There are some illegal businesses in the market. They add excessive harmful ingredients to cigarettes, and these harmful substances far exceed the standards given by the National Tobacco administration. Therefore, before packaging the finished products of cigarettes, it is necessary for us to analyze the components of tobacco and stemmed tobacco of cigarettes through hyperspectral nondestructive detection technology, such as the detection of nicotine, tar and nitrosamine, or the detection of chemical components such as total sugar, reducing sugar, total nitrogen, nicotine, protein and Schmidt value. The principle of this kind of detection technology is similar to the application of hyperspectral technology in agriculture.

3 Conclusion

In this study, two types of hyperspectral cameras, visible NIR and short-wave NIR, were used to classify different varieties of tobacco and stem filaments. It is clear from the analysis of the study that the visible NIR camera is not ideal in the classification study of tobacco and stem filaments, and can only distinguish flake filaments, but the short-wave NIR camera is more ideal in the classification study of tobacco and tobacco filaments，it can also effectively resolve tobacco, stem tobacco, flake tobacco Stemmed tobacco 158, Stemmed tobacco 160, and roughly distinguished expanded tobacco. The results of the study lay the foundation for further application of imaging hyperspectral technology in the tobacco industry.

References

[1] MCCLURE W F, NORRIS K H, WEEKS W W. Rapid spectrophotometric analysis of the chemical composition of tobacco[J]. Beiträge Zur Tabakforschung, 2019,11(4): 219-227.

[2] HANA M, MCCLURE W, WHITAKER T, et al. Applying artificial neural networks. I. Estimating nicotine in tobacco from near infrared data[J]. Journal of Near Infrared Spectroscopy, 1995,3(1): 133-142.

[3] GUA Q, SHENG L, ZHANG T, et al. Early detection of tomato spotted wilt virus infection in tobacco using the hyperspectral imaging technique and machine learning algorithms – ScienceDirect[J]. Computers and Electronics in Agriculture, 2019,167.

[4] MARCELO M, SOARES F, ARDILA J A, et al. Fast Inline Tobacco Classification by Near-Infrared Hyperspectral Imaging and Supporting Vector Machines-Discriminant Analysis[J]. Analytical Methods, 2019.

[5] YU K, FANG S, ZHAO Y. Heavy metal Hg stress detection in tobacco plant using hyperspectral sensing and data-driven machine learning methods[J]. Spectrochimica Acta Part A Molecular and Biomolecular Spectroscopy, 2020,245: 118917.

[6] GUO T, TAN C, LI Q, et al. Estimating leaf chlorophyll content in tobacco based on various canopy hyperspectral parameters[J]. Journal of ambient intelligence and humanized computing, 2019,10(8): 3239-3247.

[7] ZHU H, CHU B, ZHANG C, et al. Hyperspectral Imaging for Presymptomatic Detection of Tobacco Disease with Successive Projections Algorithm and Machine-learning Classifiers[J]. Scientific Reports, 2017,7(1): 4125.

[8] SOARES F L F, MARCELO M C A, PORTE L M F, et al. Inline simultaneous quantitation of tobacco chemical composition by infrared hyperspectral image associated with chemometrics[J]. Microchemical Journal, 2019,151: 104225.

서론 (Introduction)

담배는 중국과 전 세계에서 중요한 환금 작물(cash crop)입니다. 삶의 질이 향상됨에 따라 사람들은 담배 제품의 품질과 맛에 더욱 주목하고 있습니다. 담배 분야에서 신속한 비파괴 검사 기술로서 근적외선(NIR) 분광법의 적용 또한 증가하고 있습니다. 1977년 McClure 등[1]은 스펙트럼 2차 미분 회귀 분석을 사용하여 NIR 방식으로 담배 잎의 환원당 함량을 검출하는 모델을 수립했으며, 모델 상관계수는 0.968, 예측 표준 편차는 1.36이었습니다. Hanam 등[2]은 다양한 인공 신경망 알고리즘을 사용하여 담배 잎의 니코틴 함량을 예측했습니다. 수십 년의 발전 끝에 NIR 기술은 이제 담배 산업에서 널리 사용되고 있습니다.

비파괴 고속 검출을 위한 NIR 분광법은 공정 분석에 적용될 수 있지만, 비이미징(non-imaging) NIR 분광법은 정량 분석 및 분산된 시료 분석에는 적합하지 않습니다. 이는 외부 요인과의 간섭을 효과적으로 제거할 수 없고, 모델 수립 후 지속적인 유지 보수 및 보정이 필요하며, 테스트 감도가 상대적으로 낮고 상대 오차가 크기 때문입니다.

Qing Gu 등[3]은 초분광 이미징 기술을 사용하여 담배의 토마토 반점 위조 바이러스(TSWV) 감염을 조기에 비파괴적으로 검출했습니다. Marcelo C. A. Marceloa 등[4]은 근적외선 초분광 시스템을 사용하여 다양한 담배 줄기 위치, 잎 색상 및 잎 품질에 대한 정확한 분류 평가를 수행했습니다. Keqiang Yu 등[5]은 가시광선/근적외선 초분광 이미징 시스템을 사용하여 중금속 Hg(수은) 스트레스를 받은 담배 작물을 검출했습니다. Ting Guo 등[6]은 초분광 이미징을 사용하여 엽록소 함량과 세 가지 캐노피 초분광 매개변수 간의 정량적 관계를 연구했습니다. Hong-yan Zhu 등[7]은 초분광 이미징을 사용하여 다양한 질병에 걸린 담배를 분류하고 식별했습니다. Frederico L.F. Soares 등[8]은 초분광 이미징 시스템을 담배 산업의 고속 선별에 적용했습니다.

현재 대부분의 담배 줄기(stalk) 함량 검출은 생산 라인에서 시료를 채취한 다음, 분쇄하고 줄기를 분리한 뒤 무게를 측정하여 줄기 함량을 도출하는 방식으로 이루어집니다. 이는 주기가 길고 작업이 복잡할 뿐만 아니라 정상적인 생산에 영향을 미치며, 기준을 초과하는 담배를 적시에 생산 라인에서 제거할 수 없습니다. 본 연구의 목적은 이미징 초분광 기술 비파괴 모니터링 기술을 사용하여 다양한 품종의 담배 잎 가닥(tobacco shreds)과 줄기 가닥(stalk shreds)을 분석 및 연구함으로써, 이미징 초분광 기술로 이들을 신속하게 식별하는 것입니다.

1. 재료 및 방법 (Materials and Methods)

1.1 재료

본 연구를 위한 담배 엽사(tobacco yarn)와 경사(stem yarn, 줄기 실)는 Yunnan Hongta Group에서 제공받았으며, 잎담배(tobacco), 혼합 담배(blended tobacco), 줄기 담배(stemmed tobacco), 팽화 담배(expanded tobacco), 판상 담배(flake tobacco), 서로 다른 공정 온도(158도, 160도)에서 처리된 줄기 담배 등 7가지 시료가 있었습니다. 각 부분은 초분광 장비로 이미지 정보를 획득하기 위해 검은 천 위에 놓였습니다.

1.2 초분광 이미지 획득

초분광 이미지 데이터 획득에는 Jiangsu Shuangli Hepu Technology Co., Ltd.의 GaiaSorter 초분광 선별 시스템(V10E, N25E-HS)이 사용되었습니다. 이 시스템은 그림 1과 같이 주로 초분광 이미저, 면배열 카메라(surface array camera), 할로겐 램프 광원, 암실 및 컴퓨터로 구성됩니다. 실험 장비 매개변수는 표 1과 같이 설정되었습니다.

표 1: GaiaSorter 초분광 장비 시스템 매개변수

Serial number	parameters	V10E	N25E-HS
1	Spectral range	400-1000 nm	1000-2500 nm
2	Spectral resolution	2.8 nm	10 nm
3	Spectral sampling rate	0.7nm	7.6×14.2
4	Slit size	30μm*9.6mm	30μm*9.2mm
5	Numerical aperture	F/2.4	F/2.0
6	Number of bands	520	288

초분광 이미지 획득을 수행할 때 카메라 노출 시간, 스테이지 이동 속도 및 대물렌즈 간 거리를 설정해야 합니다. 이 3가지 매개변수는 서로 영향을 미치며, 이미지 조정의 목적은 획득한 이미지가 크기에 적합하고 왜곡 없이 선명하게 보이도록 하는 것입니다. 반복적인 시도 끝에 대물렌즈 높이는 31cm, 노출 시간은 10ms, 스테이지 이동 속도는 6.0mm/s(400-1000nm) 및 16mm/s(1000-2500nm)로 설정되었습니다. 이미지 획득 소프트웨어는 Jiangsu Shuangli Hepu Technology Co.에서 제공한 초분광 이미징 시스템 획득 소프트웨어를 사용했습니다. 이미지 처리는 ENVI 5.3 소프트웨어를 사용하여 수행되었습니다. 이미지 처리 전에 획득한 스펙트럼 이미지는 이미지 보정을 거쳤으며, 이미지 보정 식은 다음과 같습니다.

(1)

식 (1)에서 R_{ref}는 보정된 이미지, DN_{raw}는 원본 이미지, DN_{white}는 화이트보드 보정 이미지, DN_{dark}는 블랙보드(암전류) 보정 이미지입니다.

1.3 스펙트럼 노이즈 제거

SG(Savitzky-Golay) 스무딩 알고리즘은 스펙트럼 데이터의 무작위 노이즈를 효과적으로 줄일 수 있으며, 노이즈 제거 효과는 스무딩 포인트 수에 영향을 받습니다. 따라서 본 논문에서는 스펙트럼 데이터를 처리하기 위해 SG 2차 다항식 5점 스무딩을 선택했습니다.

1.4 관심 시료 선택

획득한 초분광 이미지에서 각기 다른 시료의 스펙트럼을 별도로 선택하여 초분광 기술을 이용해 다양한 품종의 담배와 줄기를 신속하게 식별하기 위한 스펙트럼 데이터베이스를 구축했습니다.

2. 결과 및 분석 (Results and analysis)

2.1 시료의 스펙트럼 분석

그림 2는 휴대폰(왼쪽), 가시광선-근적외선 카메라(750nm/650nm/550nm, 중간) 및 단파장 적외선 카메라(2175nm/1811nm/1347nm, 오른쪽)로 촬영한 가색상(false color) 이미지를 보여줍니다. 그림에서 볼 수 있듯이 육안(즉, 휴대폰 촬영)으로는 다양한 품종의 담배와 줄기 담배를 구별하기 어렵습니다. 가시광선-근적외선 카메라의 가색상 이미지로도 담배와 줄기 담배를 구별하기 어렵습니다. 단파장 적외선 카메라의 가색상 이미지는 일부 담배와 줄기 담배를 구별할 수 있지만, 다양한 품종의 담배와 줄기 담배를 명확히 구별하기는 어렵습니다.

담배와 줄기 담배 사이의 스펙트럼 및 이미지 차이를 추가로 분석하기 위해 이미지 내 7개 시료의 스펙트럼 반사율을 선택하고 스펙트럼 데이터베이스를 구축하여 초분광 분석 기술을 통해 담배와 줄기 담배를 더욱 명확히 구별하고자 했습니다. 그림 3은 다양한 품종의 담배와 줄기 담배의 스펙트럼을 보여줍니다. 그림에서 줄기 담배와 담배의 스펙트럼 반사율의 전반적인 변화 추세는 일치함을 알 수 있습니다. 단파장 대역에서는 줄기 담배의 스펙트럼 반사율이 담배보다 높게 나타납니다.

그림 2: 휴대폰(좌), 가시광선-근적외선(중), 단파장 적외선(우)으로 촬영한 가색상 이미지

그림 3: 가시광선-근적외선 및 단파장 적외선에서의 다양한 시료의 스펙트럼 반사율 곡선

다양한 시료의 스펙트럼 반사율에 따라 담배 및 줄기 담배의 스펙트럼 데이터베이스를 구축한 후, 초분광 분석 알고리즘과 화학계량학(chemometrics)에 따라 이미지의 빠른 분류 및 인식을 수행했습니다. 분류 효과는 그림 4에 나와 있습니다. 그림에서 가시광선-근적외선 카메라는 담배 시트(tobacco sheet)만 대략적으로 구별할 뿐 다른 6개 시료는 구별하지 못함을 알 수 있습니다. 단파장 적외선 카메라는 담배, 줄기 담배, 판상 담배, 경사(줄기 실) 158 및 경사 160을 효과적으로 구별하고 팽화사를 대략적으로 구별했습니다. 이는 2번 혼합사(blended silk)가 독립적인 시료로 스펙트럼 데이터베이스를 구축했고, 2번 시료에는 혼합 담배로서 분류에 참여하는 팽화사를 포함한 여러 종류의 담배가 포함되어 있기 때문입니다.

2.2 초분광 기술의 이미지 분류 및 분석

**그림 4: 분류 결과 (좌: RGB, 중: 가시광선-근적외선 분류 결과, 우: 단파장 적외선 분류 결과)**

2.3 분류 결과의 비율 분석

이미징 초분광 기술의 가장 큰 장점은 “이미지와 스펙트럼의 결합”입니다. 즉, 근적외선 카메라의 스펙트럼 데이터와 일반 카메라의 이미지 데이터가 모두 있으며, 각 밴드는 회색조 이미지 데이터에 해당합니다. 각 회색조 이미지는 수십만에서 수백만 개의 픽셀 정보를 포함하며, 각 픽셀 정보는 연속적인 스펙트럼을 갖습니다. 따라서 초분광 분석 기술과 화학계량학 분석을 사용하여 담배와 줄기 담배의 분류 지도를 얻은 후, 그림 5와 같이 분류 지도를 기반으로 이미지 내 다양한 품종의 담배와 줄기 담배의 비율을 추가로 집계할 수 있습니다. 이는 담배에 포함된 엽사와 경사의 비율을 신속하게 분석하는 데 도움이 되며, 더 이상 전통적인 화학적 방법이나 수작업 방법에 의존하여 담배와 줄기 담배의 비율을 판단할 필요가 없습니다.

그림 5: 다양한 품종의 담배 및 담배 줄기(경사)의 비율

2.4 담배 및 줄기의 성분 분석

우리는 흡연이 건강에 해롭다는 것을 모두 알고 있습니다. 우리 생활에서 일반적으로 사용되는 담배는 주로 담배 잎과 줄기를 다른 비율로 혼합하여 만듭니다. 담배에는 니코틴, 타르, 니트로사민, 일산화탄소, 방사성 물질 및 기타 유해 및 발암 물질과 같은 많은 유해 성분이 포함되어 있습니다. 시장에는 불법 사업자들이 존재합니다. 그들은 담배에 과도한 유해 성분을 첨가하며, 이러한 유해 물질은 국가 담배 관리국에서 제시한 기준을 훨씬 초과합니다. 따라서 담배 완제품을 포장하기 전에 니코틴, 타르 및 니트로사민 검출이나 총당, 환원당, 총질소, 니코틴, 단백질 및 슈미트(Schmidt) 값과 같은 화학 성분 검출 등 초분광 비파괴 검출 기술을 통해 담배의 잎과 줄기 성분을 분석해야 합니다. 이러한 종류의 검출 기술 원리는 농업 분야에서의 초분광 기술 적용과 유사합니다.

3. 결론 (Conclusion)

본 연구에서는 가시광선-근적외선(Visible NIR)과 단파장 근적외선(Short-wave NIR)의 두 가지 유형의 초분광 카메라를 사용하여 다양한 품종의 담배 및 줄기 필라멘트를 분류했습니다. 연구 분석 결과, 가시광선-근적외선 카메라는 담배 및 줄기 필라멘트 분류 연구에서 이상적이지 않으며 판상 필라멘트(flake filaments)만 구별할 수 있는 반면, 단파장 근적외선 카메라는 담배 및 담배 필라멘트 분류 연구에서 더 이상적임이 분명합니다. 또한 단파장 근적외선 카메라는 담배, 줄기 담배, 판상 담배, 줄기 담배 158, 줄기 담배 160을 효과적으로 분해(resolve)할 수 있으며 팽화 담배도 대략적으로 구별했습니다. 연구 결과는 담배 산업에서 이미징 초분광 기술의 추가 적용을 위한 토대를 마련했습니다.