ИИ-проект Anthropic Glasswing за семь месяцев нашёл 37 966 кандидатов в уязвимости, но публично подтверждённых исправлений пока только 217. Почти 5 000 непроверенных отчётов, по данным Anthropic и подсчёту VulnCheck, компания передала волонтёрам open source, переложив разбор находок на них. Независимый анализ ставит под сомнение заявленную точность проекта.
По данным исследования, за семь месяцев после запуска Glasswing 7 апреля исследователь отследил 442 CVE, связанные с Anthropic, - около 0,5% всех CVE этого года. Лишь две из них фигурируют в VulnCheck KEV как эксплуатировавшиеся в реальных атаках. Трекер ведётся с 17 апреля по открытым CVE, GitHub Security Advisories, коммитам Linux и собственному реестру Glasswing.
37 966 - это кандидаты из дашборда Anthropic, а 7 349 раскрытых и 217 исправленных - подсчёт VulnCheck по выгрузке реестра, а не официальные показатели дашборда. Официальный дашборд Anthropic на 2 ноября показывает 5 087 раскрытых уязвимостей по 680 проектам и 629 исправленных. Там же указаны 6 009 подтверждённых находок, или 94,2% истинных срабатываний из 6 376. 217 в сводке дашборда нет, а 7 349 - это число записей реестра; среди опубликованных находок 1 654 (4,4%) оказались дублями, ещё 419 отозваны.
С сентября разрыв вырос: находок стало больше почти на 12 000, а исправлений прибавилось всего 15. Число дублей выросло с двух до 1 654 - примерно в восемь раз больше, чем исправлений. Автор анализа связывает это с тем, что находки долго лежат без проверки и их успевают найти другие.
Поняв, что проверять всё вручную не выходит, Anthropic запустила OSS Scanner - опциональный сканер для открытого кода. По её данным, найдено более 29 000 кандидатов, но вручную проверено около 6 000; сопровождающим проектов, попросившим присылать всё, ушло почти 5 000 непроверенных отчётов. Компания прямо предупреждает: отчёты полностью сгенерированы моделью, без человеческой проверки, и могут быть неверными.
Самый показательный пример - curl. Проект получил 45 отчётов; из 34 опубликованных 19 признаны не уязвимостями, шесть подтверждены как низкорисковые, девять ещё ждут оценки. Доля ложных срабатываний достигает 55,9%, а сопровождающий публикует отчёты порциями, чтобы снизить нагрузку на команду.
VulnCheck делает вывод: разбор находок не исчез, а переехал к сопровождающим, которых проект обещал разгрузить. Заявленная точность в 94,2% плохо сочетается с тем, что дублей и отзывов больше, чем исправлений. За семь месяцев исправлено 217 находок, а дублями признаны 1 654.
VulnCheck подчёркивает: ИИ действительно полезен для поиска уязвимостей, но доказательства пока не совпадают с громкими обещаниями Glasswing. Сколько находок в итоге исправят, пока неясно; исследователь продолжает следить за реестром Anthropic.
