Интеграция архитектуры на основе трансформеров и больших языковых моделей для анализа данных оптической когерентной томографии с целью повышения точности дифференциальной диагностики заболеваний сетчатки

Ольга Владимировна Коньшина,Андрей Дмитриевич Першин,Михаил Константинович Кулябин,Василий Ильич Борисов

ПРЕПРИНТ

Эта статья является препринтом и не была отрецензирована.
О результатах, изложенных в препринтах, не следует сообщать в СМИ как о проверенной информации.

Интеграция архитектуры на основе трансформеров и больших языковых моделей для анализа данных оптической когерентной томографии с целью повышения точности дифференциальной диагностики заболеваний сетчатки

О. В. Коньшина,

А. Д. Першин,

М. К. Кулябин,

В. И. Борисов

2025-08-18

https://doi.org/10.24108/preprints-3113672

Цель исследования: разработать и протестировать алгоритм взаимодействия между моделью глубокого обучения для мультиклассовой классификации биомаркеров на изображениях оптической когерентной томографии (ОКТ) и большой языковой моделью (LLM) DeepSeek-V3 с целью повышения точности дифференциальной диагностики заболеваний сетчатки. Материалы и методы: нами были собраны и размечены два набора данных: тренировочный (n=3288 изображений ОКТ центральной зоны сетчатки, размеченных по 8 биомаркерам) и валидационный (n=50 клинических случаев с сайта octcases.com). Для классификации биомаркеров сравнивались архитектуры ResNet, DenseNet, EfficientNet и Vision Transformer (ViT-Tiny-Patch16-224). Наибольшую эффективность показала модель ViT-Tiny с метриками F1 macro 0.84±0.03 и ROC AUC 0.9. Разработан алгоритм интеграции полученных меток с данными клинического анамнеза через API-интерфейс LLM DeepSeek-V3. Результаты: комбинация OCT-биомаркеров и анамнеза повысила диагностическую точность: Top-1 Accuracy – 78%, Top-3 – 94%, MRR – 84%, что на 10–44% выше, чем при использовании одного типа данных. Заключение: предложенный подход позволяет автоматизировать выявление биомаркеров на ОКТ и повысить точность дифференциальной диагностики заболеваний глаз, обеспечивая снижение времени интерпретации снимков и поддержку клинических решений.

Ссылка для цитирования:

Коньшина О. В., Першин А. Д., Кулябин М. К., Борисов В. И. 2025. Интеграция архитектуры на основе трансформеров и больших языковых моделей для анализа данных оптической когерентной томографии с целью повышения точности дифференциальной диагностики заболеваний сетчатки. PREPRINTS.RU. https://doi.org/10.24108/preprints-3113672

Список литературы

1. Использование оптической когерентной томографии в диагностике заболеваний сетчатки (обзор литературы) [Интернет]. [цитируется по 3 март 2025 г.]. Доступно на: https://cyberleninka.ru/article/n/ispolzovanie-opticheskoy-kogerentnoy-tomografii-v-diagnostike-zabolevaniy-setchatki-obzor-literatury/viewerа.

2. Pandya BU, Grinton M, Mandelcorn ED, Felfeli T. RETINAL OPTICAL COHERENCE TOMOGRAPHY IMAGING BIOMARKERS: A Review of the Literature. RETINA. 2024 Mar;44(3):369.

3. Yang M, Du J, Lv R. CRAT: Advanced transformer-based deep learning algorithms in OCT image classification. Biomedical Signal Processing and Control. 2025 Jun 1;104:107544.

4. Wang X, Tang F, Chen H, Luo L, Tang Z, Ran AR, et al. UD-MIL: Uncertainty-Driven Deep Multiple Instance Learning for OCT Image Classification. IEEE J Biomed Health Inform. 2020 Dec;24(12):3431–42.

5. Üzen H, Fırat H, Alperen Özçelik ST, Yusufoğlu E, Çiçek İB, Şengür A. Central serous retinopathy classification with deep learning-based multilevel feature extraction from optical coherence tomography images. Optics & Laser Technology. 2025 Jun 1;184:112519.

6. Khudhur AM. Optical coherence tomography retinal classification using deep neural network. J Opt [Internet]. 2025 Feb 1 [cited 2025 Jul 9]; Available from: https://doi.org/10.1007/s12596-025-02561-6.

7. Abbas Y, Hadi HJ, Aziz K, Ahmed N, Akhtar MU, Alshara MA, et al. Reinforcement-based leveraging transfer learning for multiclass optical coherence tomography images classification. Sci Rep. 2025 Feb 20;15(1):6193.

8. Diao S, Su J, Yang C, Zhu W, Xiang D, Chen X, et al. Classification and segmentation of OCT images for age-related macular degeneration based on dual guidance networks. Biomedical Signal Processing and Control. 2023 Jul 1;84:104810.

9. Hamid L, Elnokrashy A, Abdelhay EH, Abdelsalam MM. A deep learning LSTM-based approach for AMD classification using OCT images. Neural Comput & Applic. 2024 Nov 1;36(31):19531–47.

10. Каталевская Е.А., Сизов А.Ю., Гилемзянова Л.И. Алгоритм искусственного интеллекта для сегментации патологических структур на сканах оптической когерентной томографии сетчатки глаза | Российский журнал телемедицины и электронного здравоохранения [Internet]. [cited 2025 Mar 3]. Available from: https://jtelemed.ru/article/algoritm-iskusstvennogo-intellekta-dlja-segmentacii-patologicheskih-struktur-na-skanah-optic.

11. Salehi A, Lee GC, Ren H, Yu S, Singh R, Talcott K, et al. Multi-pathology classification of retinal OCT scans. Investigative Ophthalmology & Visual Science. 2023 Jun 1;64(8):1086.

12. Arzamastsev AA, Анатольевич АА, Arzamastsev AA, Fabrikantov OL, Львович ФО, Fabrikantov OL, et al. Classification of optical coherence tomography images using deep machine-learning methods. Digital Diagnostics. 2024 Apr 19;5(1):5–16.

13. Kulyabin M, Zhdanov A, Pershin A, Sokolov G, Nikiforova A, Ronkin M, et al. Segment Anything in Optical Coherence Tomography: SAM 2 for Volumetric Segmentation of Retinal Biomarkers. Bioengineering. 2024 Sep;11(9):940.

14. Bahir D, Zur O, Attal L, Nujeidat Z, Knaanie A, Pikkel J, et al. Gemini AI vs. ChatGPT: A comprehensive examination alongside ophthalmology residents in medical knowledge. Graefes Arch Clin Exp Ophthalmol. 2025 Feb 1;263(2):527–36.

15. ResearchGate [Internet]. 2024 [cited 2025 Mar 2]. (PDF) BiMediX2: Bio-Medical EXpert LMM for Diverse Medical Modalities. Available from: https://www.researchgate.net/publication/386949414_BiMediX2_Bio-Medical_EXpert_LMM_for_Diverse_Medical_Modalities.

16. Li C, Wong C, Zhang S, Usuyama N, Liu H, Yang J, et al. LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day.

17. Zhou J, He X, Sun L, Xu J, Chen X, Chu Y, et al. SkinGPT-4: An Interactive Dermatology Diagnostic System with Visual Large Language Model [Internet]. medRxiv; 2023 [cited 2025 Mar 4]. p. 2023.06.10.23291127. Available from: https://www.medrxiv.org/content/10.1101/2023.06.10.23291127v1

18. Gholami P, Roy P, Parthasarathy MK, Lakshminarayanan V. OCTID: Optical coherence tomography image database. Computers & Electrical Engineering. 2020 Jan 1;81:106532.

19. Kulyabin M, Zhdanov A, Nikiforova A, Stepichev A, Kuznetsova A, Ronkin M, et al. OCTDL: Optical Coherence Tomography Dataset for Image-Based Deep Learning Methods. Sci Data. 2024 Apr 11;11(1):365.

20. Yamauchi T. Spatial Sensitive Grad-CAM++: Improved Visual Explanation for Object Detectors via Weighted Combination of Gradient Map. In 2024 [cited 2025 Jul 9]. p. 8164–8. Available from: https://openaccess.thecvf.com/content/CVPR2024W/XAI4CV/html/Yamauchi_Spatial_Sensitive_Grad-CAM_Improved_Visual_Explanation_for_Object_Detectors_via_CVPRW_2024_paper.html.

ПРЕПРИНТ

ИНФОРМАЦИЯ

Использование куки-файлов