Комбинаторные и спектральные ограничения dual-encoder retrieval:     теория и эмпирическая проверка в e-commerce

Фдор Владимирович Краснов

ПРЕПРИНТ

Эта статья является препринтом и не была отрецензирована.
О результатах, изложенных в препринтах, не следует сообщать в СМИ как о проверенной информации.

Комбинаторные и спектральные ограничения dual-encoder retrieval: теория и эмпирическая проверка в e-commerce

Ф. В. Краснов

2026-02-25

https://doi.org/10.24108/preprints-3114590

В работе проводится теоретико-экспериментальный анализ ограничений embedding-based retrieval в задаче товарного поиска в e-commerce сегменте DIY. В качестве аналитической основы рассматриваются комбинаторные (sign-rank, VC-размерность), спектральные (низкоранговая факторизация) и геометрические (концентрация меры, hubness) ограничения билинейных моделей. Формулируется гипотеза о снижении эффективной размерности эмбеддингов в простой предметной области и его связи с наблюдаемым эффектом cosine collapse. Экспериментально исследуются три encoder-only модели (Qwen 2.5 (0.5B), Phi-3.5 Mini, BERT Multilingual) в режиме dual-encoder на датасете товаров из категории электроинструментов. Показано существенное уменьшение эффективной размерности по сравнению с номинальной, а также количественное согласование дисперсии косинусного сходства с оценкой $1/d_{\text{eff}}$. Продемонстрирована нестабильность fine ranking при малых возмущениях эмбеддингов. Полученные результаты подтверждают структурный характер ограничений embedding-based retrieval и объясняют практическую роль гибридной архитектуры retrieval + re-ranking как следствие различий в representational capacity билинейных и глубоко-нелинейных моделей.

Ссылка для цитирования:

Краснов Ф. В. 2026. Комбинаторные и спектральные ограничения dual-encoder retrieval: теория и эмпирическая проверка в e-commerce. PREPRINTS.RU. https://doi.org/10.24108/preprints-3114590

Список литературы

1. S. Li et al., “Embedding-based product retrieval in taobao search”, in Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining (KDD), 2021, pp. 3181–3189.

2. J.-H. Lin et al., “Enhancing relevance of embedding-based retrieval at walmart”, in Proceedings of the 33rd ACM International Conference on Information & Knowledge Management (CIKM), 2024.

3. Y. Gan et al., “Binary embedding-based retrieval at tencent”, in Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery & Data Mining (KDD), 2023.

4. V. Karpukhin et al., “Dense passage retrieval for open-domain question answering”, in Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020, pp. 6769–6781.

5. N. Thakur et al. “BEIR: A heterogenous benchmark for zero-shot evaluation of information retrieval models”. (2021), [Online]. Available: https://arxiv.org/abs/2104.08663.

6. H. Zeng, J. Killingback, and H. Zamani, “Scaling sparse and dense retrieval in decoder-only LLMs”, in Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval, 2025, pp. 2679–2684.

7. O. Weller et al. “On the theoretical limitations of embedding-based retrieval”. (2025).12

8. N. Alon, P. Frankl, and V. Rödl, “Geometrical realization of set systems and probabilistic communication complexity”, in 26th Annual Symposium on Foundations of Computer Science (FOCS), 1985, pp. 277–280.

9. N. Srebro and A. Shraibman, “Rank, trace-norm and max-norm”, in 18th Annual Conference on Learning Theory (COLT), 2005, pp. 545–560.

10. T. M. Cover, “Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition”, IEEE Transactions on Electronic Computers, vol. EC-14, no. 3, pp. 326–334, 1965.

11. P.-S. Huang et al., “Learning deep structured semantic models for web search using clickthrough data”, in Proceedings of the 22nd ACM International Conference on Information & Knowledge Management (CIKM), 2013, pp. 2333–2338.

12. J. Bromley et al., “Signature verification using a “siamese” time delay neural network”, in Advances in Neural Information Processing Systems (NIPS), vol. 6, 1993.

13. N. Reimers and I. Gurevych, “Sentence-BERT: Sentence embeddings using siamese BERT-networks”, in Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019, pp. 3982–3992.

14. J. Devlin et al., “BERT: Pre-training of deep bidirectional transformers for language understanding”, in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL), 2019, pp. 4171–4186.

15. M. Radovanović, A. Nanopoulos, and M. Ivanović, “Hubs in space: Popularity and high dimensionality”, Journal of Machine Learning Research, vol. 11, pp. 2487–2531, 2010.

16. R. Sennrich, B. Haddow, and A. Birch, “Neural machine translation of rare words with subword units”, in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), 2016, pp. 1715–1725.

17. M. Schuster and K. Nakajima, “Japanese and korean voice search”, in 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2012, pp. 5149–5152.

18. A. Yang et al. “Qwen2.5 technical report”. (2024).

19. M. Abdin et al. “Phi-4 technical report”. (2024).

ПРЕПРИНТ

ИНФОРМАЦИЯ

Использование куки-файлов