Исследователи из Стэнфордского университета выявили эффект «семантического коллапса», при котором эффективность работы нейросетей по классификации и поиску документов снижается по мере увеличения их объема. При преобразовании документов в векторы после достижения порога примерно в 10 000 документов кластеры начинают перекрываться, а расстояния между ними сжимаются, из-за чего система перестает различать документы по содержанию. Согласно исследованию, при объеме в 50 000 документов точность семантического поиска падает на 87%, что делает его менее эффективным, чем обычный поиск по ключевым словам, и ведет к росту галлюцинаций ИИ.