ПРЕПРИНТ
О результатах, изложенных в препринтах, не следует сообщать в СМИ как о проверенной информации.
Представлены основные результаты, полученные в ИПС им. А.К.Айламазяна РАН в рамках выполнения проекта РНФ № 22-11-20001 (2022-2024гг) «Разработка алгоритмического и программного обеспечения интеллектуальной системы обнаружения очагов возгорания на основе средств технического зрения в масштабе времени, близком к реальному» и гранта в форме субсидии из областного бюджета организациям Ярославской области. Тематика исследований соответствует приоритетному направлению «Охрана окружающей среды; мониторинг и прогнозирование состояния биотехносферы региона», поддерживаемому Правительством Ярославской области. Принимая во внимание масштабы возгораний полей и лесов в регионах РФ, включая Ярославскую область в последние годы, созданы современные алгоритмы, методы и средства мониторинга состояния полей и лесных массивов в рамках интеллектуальной технологии, в том числе с целью предупреждения, раннего обнаружения и оперативного реагирования на возникновение возгораний и пожаров. Даны рекомендации по применению методологического обеспечения профильными организациями Ярославского региона, осуществляющие мониторинг лесных территорий. Исследование выполнено за счет гранта Российского научного фонда № 22-11-20001, https://rscf.ru/project/22-11-20001/ и гранта в форме субсидии из областного бюджета организациям Ярославской области.
Абрамов Н. С., Емельянова Ю. Г., Талалаев А. А., Фраленко В. П., Хачумов В. М., Хачумов М. В., Шишкин О. Г., Шустова М. В. 2024. Методологическое обеспечение для решения задач обнаружения очагов возгорания на основе средств технического зрения в масштабе времени, близком к реальному. PREPRINTS.RU. https://doi.org/10.24108/preprints-3113182
1. V.Parthipan, D.Dhanasekaran. Preventing and Monitoring of Framework for Forest Fire Detection and Data Analysis Using Internet of Things (IoT). International Journal of Engineering and Advanced Technology (IJEAT) ISSN: 2249-8958 (Online), Volume-8 Issue-3S, February 2019, p.691-695.
2. Sidhant Goyal, MD Shagill, Arwinder Kaur, Harpreet Vohra, Ashima Singh. A YOLO based Technique for Early Forest Fire Detection. International Journal of Innovative Technology and Exploring Engineering (IJITEE) ISSN: 2278-3075 (Online), Volume-9 Issue-6, April 2020. p.1357-1362.
3. Zhen Wang(B), Huidan Zhang, Muxin Hou, Xiaoting Shu, Jianguo Wu, and Xiaoqian Zhang School of Electrical and Energy, Engineering Nantong Institute of Technology, Nantong, Jangsu, China A Study on Forest Flame Recognition of UAV Based on YOLO-V3 Improved Algorithm. – Springer Nature Singapore Pte Ltd. 2021 K. Li et al. (Eds.): LSMS 2021/ICSEE 2021, CCIS 1468, pp. 497–503.
4. Cheng Y., Chen K., Bai H. and etc. “An Efficient Fire Detection Algorithm Based on Multi-Scale Convolutional Neural Network”. Fire and Materials, 2021, 12 p. DOI: 10.1002/fam.3045.
5. Pradeep Kumar G, Rahul R, Ravindharan N. Early Forest Fire Detection Using Machine Learning Algorithms. International Journal of New Technology and Research (IJNTR) ISSN: 2454-4116, Volume-7, Issue-4, April 2021, pp. 1-5.
6. Henry Cruz(B), Tatiana Gualotuña1, María Pinillos, Diego Marcillo, Santiago Jácome, and Efraín R. Fonseca C. Machine Learning and Color Treatment for the Forest Fire and Smoke Detection Systems and Algorithms. CIT 2020, AISC 1326, pp. 109–120, 2021. https://doi.org/10.1007/978-3-030-68080-0_8.
7. Фраленко В.П. Нейросетевые методы обнаружения возгораний в лесных массивах. – Искусственный интеллект и принятие решений, №1, 2023, с.67-77. DOI: 10.14357/20718594230107 (RSCI).
8. Geetha S., Abhishek C.S., Akshayanat C.S. Machine Vision Based Fire Detection Techniques: A Survey. Fire Technology, 2021, Vol.57, pp.591-623. DOI: 10.1007/s10694-020-01064-z
9. Ciprián-Sánchez J.F., Ochoa-Ruiz G., Rossi L. and etc. “Assessing the Impact of the Loss Function, Architecture and Image Type for Deep Learning-Based Wildfire Segmentation”. Appl. Sci., 2021, Vol.11(15), 7046. DOI: 10.3390/app11157046
10. Shubhangi Chaturvedi, Pritee Khanna, Aparajita Ojha “A Survey on Vision-Based Outdoor Smoke Detection Techniques for Environmental Safety”. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, Vol.185, pp.158-187. DOI: 10.1016/j.isprsjprs.2022.01.013.
11. Favorskaya M.N. Early Smoke Detection in Outdoor Space: State-of-the-Art, Challenges and Methods. In: Virvou, M., Tsihrintzis, G.A., Jain, L.C. (eds). Advances in Selected Artificial Intelligence Areas. Learning and Analytics in Intelligent Systems, 2022, Vol.24. Springer, Cham. DOI: 10.1007/978-3-030-93052-3_8
12. Huo Y., Zhang Q., Jia Y. and etc. “A Deep Separable Convolutional Neural Network for Multiscale Image-Based Smoke Detection”. Fire Technology, 2022. DOI: 10.1007/s10694-021-01199-7.
13. Miao J., Zhao G., GaoY. and etc. “Fire Detection Algorithm Based on Improved YOLOv5”. 2021 International Conference on Control, Automation and Information Sciences (ICCAIS), 2021, pp.776-781. DOI: 10.1109/ICCAIS52680.2021.9624619
14. Li Y., Zhang W., Liu Y. and etc. “A Visualized Fire Detection Method Based on Convolutional Neural Network Beyond Anchor”. Applied Intelligence, 2022. DOI: 10.1007/s10489-022-03243-7.
15. Wang S., Zhao J., Ta N. and etc. “A Real-Time Deep Learning Forest Fire Monitoring Algorithm Based on an Improved Pruned + Kd Model”. J Real-TimeImage Proc 18, 2021, pp.2319-2329. DOI: 10.1007/s11554-021-01124-9.
16. Wang S. and etc. “Forest Fire Detection Based on Lightweight Yolo” 2021 33rd Chinese Control and Decision Conference (CCDC), 2021, pp.1560-1565, DOI: 10.1109/CCDC52312.2021.9601362.
17. Yiheng Cai, Yajun Guo, Yuanyuan Li and etc. “Fire Detection Method Based on Improved Deep Convolution Neural Network”. In Proceedings of the 2019 8th International Conference on Computing and Pattern Recognition (ICCPR '19), 2019. Association for Computing Machinery, New York, NY, USA, pp.466-470. DOI: 10.1145/3373509.3373570.
18. Athanasis N., Themistocleous M., Kalabokidis K. and etc. “Big Data Analysis in UAV Surveillance for Wildfire Prevention and Management”. Themistocleous, M., Rupinoda Cunha, P. (eds) Information Systems. EMCIS 2018. Lecture Notes in Business Information Processing, 2019, Vol.341. Springer, Cham. DOI: 10.1007/978-3-030-11395-7_5.
19. Ghali R., Akhloufi M.A., Mseddi W.S. Deep Learning and Transformer Approaches for UAV-Based Wildfire Detection and Segmentation. Sensors, 2022, Vol.22(5), 1977. DOI: 10.3390/s22051977.
20. Wu B., Xu C., Dai X. and etc. Visual Transformers: Token-based Image Representation and Processing for Computer Vision, 2020. DOI: 10.48550/arXiv.2006.03677. URL: https://arxiv.org/abs/2006.03677.
21. Andrija Vidović, Tomislav Mihetec, Bo Wang, Igor Štimac. Challenges and Solutions for Urban UAV Operations // International Scientific Conference “Science and Traffic Development”, 2018, 10 p.
22. Abramov N.S., Talalayev А.А., Fralenko V.P., Shishkin O.G., Khachumov V.M. Neural network technology to search for targets in remote sensing images of the Earth \\ CEUR Workshop Proceedings. Vol. 2391. Proceedings of the V International conference Information Technology and Nanotechnology. Session Image Processing and Earth Remote Sensing. Samara, Russia, May 21-24, 2019, pp.180-186.
23. H. D. K. Motlagh, F. Lotfi, H. D. Taghirad and S. B. Germi, “Position Estimation for Drones based on Visual SLAM and IMU in GPS-denied Environment”, 2019 7th International Conference on Robotics and Mechatronics (ICRoM), Tehran, Iran, 2019, pp.120-124.
24. Y. Kim, H. Bang. Vision-Based Navigation for Unmanned Aircraft Using Ground Feature Points and Terrain Elevation Data // Proceedings of the Institution of Mechanical Engineers Part G Journal of Aerospace Engineering, 2017 DOI: 10.1177/0954410017690548
25. P. Kumar, S. Sonkar, A. K. Ghosh and D. Philip, “Real-time vision-based tracking of a moving terrain target from Light Weight Fixed Wing UAV using gimbal control”, 2020 7th International Conference on Control, Decision and Information Technologies (CoDIT), Prague, Czech Republic, 2020, pp.154-159.
26. J. Li, D. H. Ye, T. Chung, M. Kolsch, J. Wachs, C. Bouman. Multi-Target Detection and Tracking from a Single Camera in Unmanned Aerial Vehicles (UAVs) // 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon Convention Center (October 9-14, 2016, Daejeon, Korea).
27. Фраленко В.П. Повышение качества видеопотока от системы технического зрения беспилотного летательного аппарата. – Программные системы: теория и приложения, №2, 2023, с.3-26. DOI: 10.25209/2079-3316-2023-14-2-3-26 (RSCI).
28. Датасет GoPro. URL: https://paperswithcode.com/dataset/gopro (дата обращения: 23.04.2024).
29. Awesome-Deblurring. URL: https://github.com/subeeshvasu/Awesome-Deblurring (дата обращения: 23.04.2024).
30. Test-time Local Converter (TLC). URL: https://github.com/megvii-research/TLC (дата обращения: 23.04.2024).
31. Multi-Axis MLP. URL: https://github.com/google-research/maxim (дата обращения: 23.04.2024).
32. EFNet. URL: https://github.com/AHupuJR/EFNet (дата обращения: 23.04.2024)
33. Learning degradation. URL: https://github.com/dasongli1/Learning_degradation (дата обращения: 23.04.2024).
34. Deep Generalized Unfolding (DGU). URL: https://github.com/MC-E/Deep-Generalized-Unfolding-Networks-for-Image-Restoration (дата обращения: 23.04.2024).
35. NAFNet width32. URL: https://github.com/megvii-research/NAFNet (дата обращения: 23.04.2024).
36. Stripformer. URL: https://github.com/pp00704831/Stripformer (дата обращения: 23.04.2024).
37. Uformer. URL: https://github.com/ZhendongWang6/Uformer (дата обращения: 23.04.2024).
38. Thakur A., Papakipos Z., Clauss C., Hollinger C., Andolina I. M., Boivin V., enarche-ahn, freol35241, Lowe B., Schoentgen M., Bouckenooghe R. abhiTron-ix/vidgear: VidGear v0.2.6. 2022. URL: https://zenodo.org/records/6926196
39. Yu-Lun Liu, Wei-Sheng Lai, Ming-Hsuan Yang, Yung-Yu Chuang, Jia-Bin Huang “Hybrid Neural Fusion for Full-frame Video Stabilization”. 2021. arXivarXiv: 2102.06205
40. Shuaicheng Liu, Ping Tan, Lu Yuan, Jian Sun, Bing Zeng. MeshFlow: Minimum Latency Online Video Stabilization, Proceedings of the ECCV 2016. Lecture Notes in Computer Science, vol. 9910, 2016, pp. 800-815.
41. Grundmann M., Kwatra V., Essa I. Auto-directed video stabilization with robust L1 optimal camera paths // Proceedings of the CVPR 2011. 2011. pp. 225-232.
42. Grundmann M., Kwatra V., Essa I. Auto-directed video stabilization with robust L1 optimal camera paths // Proceedings of the CVPR 2011. 2011. pp. 225-232.
43. Video stabilization using homography transform. URL: https://github.com/SergejVolkov/video_smoothing (дата обращения: 23.04.2024).
44. Yufei Xu, Jing Zhang, Stephen J. Maybank, Dacheng Tao. DUT: Learning Video Stabilization by Simply Watching Unstable Videos, 2022. arXivarXiv: 2011.14574.
45. Jinsoo Choi, In SoKweon. Deep Iterative Frame Interpolation for Full-frame Video Stabilization, 2019. arXivarXiv 1909.02641.
46. Wang M., Yang G.-Y., Lin J.-K., Zhang S.-H., Shamir A., Lu S.-P., Hu S.-M.. Deep online video stabilization with multi-grid warping transformation learning, IEEE Transactions on Image Processing, vol. 28, 2019, pp. 2283-2292.
47. OpenCV. URL: https://learnopencv.com/video-stabilization-using-point-feature-matching-in-opencv/ (дата обращения: 23.04.2024).
48. Abramov N., Talalaev A., Fralenko V. Methods of Solution to the Task on Early Detection of Fire Outbreaks Based on Images and Video Streams from Controlled Territories // Proceedings of the 6th Computational Methods in Systems and Software 2022 (CoMeSySo 2022) (October 13-15, 2022), Vol.2. In: Lecture Notes in Networks and Systems (LNNS, Vol.597), 2023, pp.75-86. DOI: 10.1007/978-3-031-21438-7_6.
49. Ultralytics YOLO v8.1.47, 2024. URL: https://github.com/ultralytics/ultralytics (дата обращения: 23.04.2024).
50. Lv W., Zhao Y., Xu S. and etc. “DETRs Beat YOLOs on Real-time Object Detection”, 2023, arXiv:2304.08069. DOI: 10.48550/arXiv.2304.08069.
51. Tsai, F.-J.; Peng, Y.-T.; Lin, Y.-Y.; Tsai, C.-C.; Lin, C.-W. Stripformer: Strip Transformer for Fast Image Deblurring. In Computer Vision – ECCV 2022; Avidan, S., Brostow, G., Cissé, M., Farinella, G.M., Hassner, T., Eds.; Lecture Notes in Computer Science; Springer Nature Switzerland: Cham, 2022; Vol. 13679, pp. 146–162.
52. Shamsoshoara, A.; Afghah, F.; Razi, A.; Zheng, L.; Fulé, P. The Flame Dataset: Aerial Imagery Pile Burn Detection Using Drones (UAVS). 2021. URL: https://ieee-dataport.org/open-access/flame-dataset-aerial-imagery-pile-burn-detection-using-drones-uavs (дата обращения: 23.04.2024).
53. Shuo Zhang, Shengbing CheZhen and LiuXu Zhang “A real-time and lightweight traffic sign detection method based on ghost-YOLO” // Multimedia Tools and Applications 82(9):1-25, 2023. DOI: 10.1007/s11042-023-14342-z.
54. RT-DETR-l object detection model. URL: https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/models/rt-detr/rtdetr-l.yaml (дата обращения: 23.04.2024).
55. Image classification from scratch, 2020. URL: https://keras.io/examples/vision/image_classification_from_scratch/ (дата обращения: 23.04.2024).
56. Thomson W., Bhowmik N., Breckon T.P. Efficient and Compact Convolutional Neural Network Architectures for Non-temporal Real-time Fire Detection, 2020. URL: https://arxiv.org/pdf/2010.08833.pdf. DOI: 10.48550/arXiv.2010.08833.
57. Akagic A., Buza E. LW-FIRE: A Lightweight Wildfire Image Classification with a Deep Convolutional Neural Network. Appl. Sci., 2022, Vol.12(5), 2646. DOI: 10.3390/app12052646.
58. Public API for tf.keras.applications namespace, 2024. URL: https://www.tensorflow.org/api_docs/python/tf/keras/applications (дата обращения: 23.04.2024).
59. Фраленко В.П. Экспериментальное исследование возможностей нейронной сети типа «Darknet» на задаче обработки снимков дистанционного зондирования // Авиакосмическое приборостроение. 2017. №6. с.44-52.
60. Yaowen Hu, Jialei Zhan, Guoxiong Zhou and etc. “Fast Forest Fire Smoke Detection Using MVMNet”. Knowledge-Based Systems, 2022, Vol.241, 20 p. DOI: 10.1016/j.knosys.2022.108219.
61. Емельянова Ю.Г. Алгоритм нахождения линии горизонта на снимках, полученных с камеры беспилотного летательного аппарата. – Авиакосмическое приборостроение, №1, 2023, с.40-53. DOI: 10.25791/aviakosmos.1.2023.1318.
62. Богуш Р.П, Абламейко С.В. Алгоритм обнаружения дыма лесного пожара на видеоизображении // Журнал Белорусского государственного университета. Математика. Информатика. 2021. № 1. С. 91–101. DOI: 10.33581/2520-6508-2021-1-91-101.
63. Xu Y., Han N. Smoke Detection Algorithm Based on Wavelet Transformation and Energy Analysis // Proc. of the 2012 National Conference on Information Technology and Computer Science (CITCS 2012). 2012. Atlantis Press. P. 410–413. ISBN 10.2991/citcs.2012.164. ISSN 1951-6851. DOI: 10.2991/citcs.2012.164.
64. Mukhiddinov M., Abdusalomov A.B., Cho J. A. Wildfire Smoke Detection System Using Unmanned Aerial Vehicle Images Based on the Optimized YOLOv5 // Sensors. 2022. Vol. 9384. Iss. 22. P 1–25. DOI: 10.3390/s22239384.
65. Wang C., Grau A., Guerra E., Shen Z., Hu J., Fan H. Semi-supervised wildfire smoke detection based on smoke-aware consistency // Front. Plant Sci. 2022. Vol. 980425. Iss. 13. P. 1–17. DOI: 10.3389/fpls.2022.980425.
66. Liu Y.J., Chiu C.C., Yang J.H. A Robust Vision-Based Skyline Detection Algorithm Under Different Weather Conditions // IEEE Access. 2017. Vol. 5. P. 22992–23009. DOI: 10.1109/ACCESS.2017.2728826.
67. Guo F., Mai Y., Tang J., Huang Y., Zhu L. Robust and Automatic Skyline Detection Algorithm Based on MSSDN // Journal of Advanced Computational Intelligence and Intelligent Informatics. 2020. Vol. 24. Iss. 6. P. 750–762. DOI: 10.20965/jaciii.2020.p0750.
68. Martinez-Sanchez L., Borio D., d’Andrimont R., Velde M. Skyline variations allow estimating distance to trees on landscape photos using semantic segmentation // Ecological Informatics. 2022. Vol. 70. P. 1–16. DOI: 10.1016/j.ecoinf.2022.101757.
69. Ahmad T., Emami E., Cadık M., Bebis G. Resource Efficient Mountainous Skyline Extraction using Shallow Learning // Proc. of the International Joint Conference on Neural Networks (IJCNN). Hoffman Estates: Institute of Electrical and Electronics Engineers. 2021. P. 1–9. ISBN 978-1-6654-3900-8.
70. Lin C., Chen W., Zhou H. Multi-Visual Feature Saliency Detection for Sea-Surface Targets through Improved Sea-Sky-Line Detection // Journal of Marine Science and Engineering. 2020. Vol 8. Iss. 10. P. 1–16. DOI: 10.3390/jmse8100799.
71. Zhu D., Wan L., Gao W. Fusion Method Evaluation and Classification Suitability Study of Wetland Satellite Imagery // Earth Sciences Research Journal. 2019. Vol. 23. No. 4. P. 339–346. DOI: 10.15446/esrj.v23n4.84350.
72. Вичевская Ю.А., Мурынов А.И. Структурный анализ изображений на основе использования функции информативности // Альманах современной науки и образования. Тамбов: Грамота. 2010. Т. 35. № 4. С. 53–55.
73. Тымчук А.И. О выборе уровней серого в задаче текстурной сегментации изображений на основе матриц яркостной зависимости // Кибернетика и программирование. 2018. № 3. С. 1–9. DOI: 10.25136/2306-4196.2018.3.26170.
74. Zhurbin I.V., Bazenova A.I., Shaura A.S., Zlobina A.G. Determining the Sliding Window Size and the Optimal Number of Clusters in the Problem of Texture Segmentation of Multispectral Aerial Photography Data // Chemical Physics and Mesoscopy. Udmurt Federal Research Center. 2020. Vol. 22. № 4. P. 434–447. DOI: 10.15350/17270529.2020.4.41.
75. Максимова Т.Г., Попова И.Н. Эконометрика: учебно-методическое пособие / Т.Г. Максимова, И.Н. Попова. СПб.: Университет ИТМО. 2018. – 70 c.
76. Емельянова Ю.Г. Алгоритмическое и программное обеспечение человеко-машинных интерфейсов с когнитивно-графическим отображением информации для систем космического назначения: дис. ... канд. техн. наук. Москва. 2019. 168 c.
77. Wojke N., Bewley A., Paulus D. Simple online and realtime tracking with a deep association metric, 2017. URL: https://arxiv.org/abs/1703.07402.
78. deep_sort_realtime. Github, 2024. URL: https://github.com/levan92/deep_sort_realtime (дата обращения: 23.04.2024).
79. Torchvision, 2024. URL: https://pytorch.org/vision/stable/index.html (дата обращения: 23.04.2024).
80. mobilenet_v2, 2024. URL: https://pytorch.org/vision/main/models/generated/torchvision.models.mobilenet_v2.html (дата обращения: 23.04.2024).
81. Zhou K., Yang Y., Cavallaro A. и др. Omni-scale feature learning for person re-identification, 2019. URL: https://arxiv.org/abs/1905.00953 (дата обращения: 23.04.2024).
82. Radford A., Kim J.W., Hallacy C. и др. Learning transferable visual models from natural language supervision, 2021. URL: https://arxiv.org/abs/2103.00020 (дата обращения: 23.04.2024).
83. Model Zoo, 2024. URL: https://kaiyangzhou.github.io/deep-person-reid/MODEL_ZOO.html (дата обращения: 23.04.2024).
84. Zhou K., Yang Y., Cavallaro A. и др. Omni-scale feature learning for person re-identification, 2019. URL: https://arxiv.org/abs/1905.00953 (дата обращения: 23.04.2024).
85. TLP, 2024. URL: https://amoudgl.github.io/tlp/ (дата обращения: 23.04.2024).
86. DIVOTrack, 2024. URL: https://github.com/shengyuhao/DIVOTrack (дата обращения: 23.04.2024).
87. MvMHAT, 2024. URL: https://github.com/realgump/MvMHAT (дата обращения: 23.04.2024).
88. Pixabay, 2024. URL: https://pixabay.com (дата обращения: 23.04.2024).
89. tflite_avto_num_recognation. URL: https://github.com/sovse/tflite_avto_num_recognation (дата обращения: 23.04.2024).
90. CCPD Dataset. URL: https://github.com/detectRecog/CCPD (дата обращения: 23.04.2024).
