Кейс: ИИ для SEO-аудита сайтов по своду из 150 правил
Аудит сайта по своду примерно из 150 правил SEO и видимости в ИИ-поиске мы собрали как внутренний продукт: правила лежат машиночитаемым сводом, агенты сами тянут живые данные — HTML, ответы для ИИ-краулеров, Lighthouse, разметку, коды ответов — и по каждому правилу выносят вердикт. На выходе техническое задание с приоритетами. То, что специалист делал несколько дней, собирается за десятки минут.
Задача: аудит, который ничего не забывает
Ручная проверка разваливается на объёме. Специалист держит десятки требований в голове, часть закрывает по чек-листу в таблице, часть по памяти — и на третьем сайте подряд пункты начинают выпадать. Два аудита одного и того же сайта, сделанные с разницей в месяц, отличаются не тем, что изменилось на сайте, а тем, кто их делал.
К классическому SEO добавился второй контур: как страницу видят краулеры ИИ-поиска и ассистентов. Они ходят по другим правилам, часть из них не выполняет JavaScript и опирается на структуру заголовков, разметку и прямые формулировки в тексте. Страница может быть в порядке по первому контуру и почти ничего не отдавать по второму.
Мы решали это как инженерную задачу: нужен машиночитаемый свод правил, автоматический сбор фактов и отдельный вердикт по каждому правилу. Продукт внутренний, разворачивается в том же контуре, что и остальные цифровые сотрудники, и наружу не ходит.
Как устроен конвейер проверки
Один запуск — один сайт. Между шагами данные передаются файлами, поэтому любой шаг перезапускается отдельно, а два прогона можно сравнить построчно.
- Свод правил как источник истины. У каждого правила есть идентификатор, формулировка, порог срабатывания и способ проверки. Ни один шаг не проверяет то, чего в своде нет.
- Сбор живых данных. Страница забирается дважды — обычным агентом и агентом с профилем ИИ-краулера. Расхождение между версиями само по себе диагноз.
- Замер скорости. Lighthouse прогоняется на мобильном и десктопном профиле, метрики сохраняются по каждому адресу, а не усредняются по сайту.
- Технический снимок. Коды ответов, цепочки редиректов, канонические адреса, robots и карта сайта, разметка Schema.org, заголовки и мета-теги складываются в один файл.
- Вердикты по фактам. Каждое правило получает вердикт вместе с фрагментом снимка, на котором он основан. Нет факта — нет вердикта, правило помечается как непроверенное.
- Техническое задание. Нарушения группируются по приоритету и по исполнителю: что правит разработчик, что редактор, а что требует решения владельца продукта.
Что попадает в снимок страницы
Снимок — это факты, собранные за один прогон. Вердикты выносятся только по нему, поэтому спор о правиле всегда упирается в конкретную строку, а не в мнение.
| Источник | Что забираем | Зачем нужен |
|---|---|---|
| HTML обычным агентом | Разметка после рендера, тексты, ссылки, мета-теги | База для большинства правил |
| HTML агентом ИИ-краулера | Тот же адрес с профилем краулера ассистента | Видно, что достаётся ИИ-поиску без скриптов |
| Lighthouse, мобильный | LCP, CLS, INP, вес страницы, блокирующие ресурсы | Основной профиль: мобильный трафик приоритетен |
| Lighthouse, десктоп | Те же метрики на десктопном профиле | Отсекает ложные срабатывания по сети и железу |
| Коды ответов | Цепочки редиректов, 4xx и 5xx, канонические адреса | Ловит потери веса, дубли и битые ссылки |
| Служебные файлы | robots, карта сайта, файл для ИИ-краулеров, Schema.org | Проверка машиночитаемого слоя |
Как свод правил учится на прогонах
Свод не статичен, но и не пополняется по первому впечатлению. Новое правило — из документации поисковых систем, из разбора выдачи или из наблюдения на конкретном проекте — сначала попадает в черновик. Дальше формулировка сверяется с первоисточником. Если требование нельзя подтвердить документацией или воспроизводимым наблюдением, в свод оно не переходит.
Обратный ход работает так же аккуратно. Правило, которое перестало подтверждаться или начало давать ложные срабатывания, вычёркивается с пометкой — когда и почему. Благодаря этому проверки не превращаются в склад рекомендаций из статей пятилетней давности, а число правил то растёт, то уменьшается.
Логика та же, что в дообучении моделей на данных компании: накопленный опыт превращается в структуру, которую можно передать, а не остаётся личной памятью одного специалиста.
Результат и где проходит граница
Эффект честнее описывать не процентами, а тем, что изменилось в работе. Ограничения перечисляем в том же списке, чтобы их не пришлось искать отдельно.
- Скорость. Аудит, который занимал у специалиста несколько дней, собирается за десятки минут и повторяется в том же виде через месяц.
- Полнота. Пункты не выпадают: система проверяет весь свод целиком, включая скучные правила, до которых руки доходили в последнюю очередь.
- Спорные правила перепроверяет человек. Там, где вердикт зависит от тематики, типа страницы и конкуренции, автоматический ответ считается черновиком.
- Аудит не переписывает сайт. Он показывает, что заголовок длиннее нормы или блока вопросов нет. Чем закрыть пробел — решает автор.
- Приоритеты — решение человека. Машина сортирует нарушения по формальному весу, порядок работ выбирается с учётом планов и ресурсов команды.
- Данные не покидают контур. Прогон работает на своём железе, снимки и задание остаются файлами у владельца сайта.
- Смежный внутренний продукт — генератор посадочных страниц: он проверяет те же правила ещё до публикации.
Частые вопросы про ИИ-аудит сайта
Чем такой аудит отличается от отчёта популярного сервиса?
Сервис проверяет сайт по своей закрытой методике и выдаёт одинаковый набор пунктов для любого проекта. Здесь свод открыт внутри команды: у каждого правила есть идентификатор, формулировка, порог срабатывания и основание, на которое оно опирается. С конкретным правилом можно спорить, а не с чёрным ящиком. Второе отличие — в том, чем всё заканчивается. Отчёт заканчивается списком проблем, аудит — техническим заданием: что менять, в каком шаблоне или файле, в каком порядке и чьими руками.
Что такое видимость в ИИ-поиске и почему её проверяют отдельно?
Ассистенты и ИИ-поиск ходят по сайту не так, как классический робот: часть краулеров не выполняет JavaScript, ориентируется на структуру заголовков, разметку Schema.org и прямые формулировки в тексте. Поэтому страница может быть в порядке по классическому SEO и при этом почти ничего не отдавать ИИ-краулеру. Мы забираем один и тот же адрес двумя агентами и сравниваем, что осталось. Расхождение между версиями — самостоятельный диагноз: обычно оно означает, что смысл страницы живёт в скриптах, а не в разметке.
Правил действительно ровно 150?
Нет, число плавающее — примерно полторы сотни, и оно меняется от прогона к прогону. Свод живой: новые правила добавляются после сверки с документацией поисковых систем, устаревшие вычёркиваются вместе с пометкой, когда и почему. Точная цифра тут вообще не показатель качества. Показатель — доля правил, по которым система может вынести вердикт на фактах, а не на догадке. Правило, которое нельзя проверить автоматически и нельзя подтвердить источником, в свод не попадает, каким бы популярным оно ни было в статьях.
Где в этом процессе остаётся человек?
На двух участках. Первый — спорные правила: те, где вердикт зависит от тематики, типа страницы и конкуренции. Автоматический ответ по ним считается черновиком и уходит специалисту на перепроверку, а не сразу в задание. Второй — приоритеты. Машина умеет отсортировать нарушения по формальному весу, но решение «сначала чиним скорость, потом структуру» принимается с учётом планов бизнеса и ресурсов команды. Всё остальное — сбор фактов, сверку с правилами, оформление задания — забирает система, и именно этого раньше уходило больше всего времени.
Что делать с заданием, если своей разработки нет?
Задание пишется так, чтобы его можно было отдать подрядчику без пересказа. Каждый пункт содержит адрес страницы или шаблона, текущее состояние, требуемое состояние и правило, из которого требование вытекает. Пункты разделены по исполнителю: правки в коде и шаблонах, правки в текстах, решения владельца продукта. Редакторскую часть — заголовки, описания, блоки вопросов — обычно закрывают своими силами, техническую отдают тому, кто ведёт сайт. Проверить результат можно повторным прогоном: те же правила, тот же формат, видно, что закрылось, а что нет.
Можно ли развернуть такой аудит внутри своей компании?
Да, механика переносится целиком: свод правил как данные, сборщик фактов, слой проверок и генератор задания. Разворачивается там же, где остальные сервисы — на сервере заказчика, без обращений к внешним публичным API. Смысл переносить его внутрь появляется, когда сайтов несколько или когда аудит нужен регулярно: разовую проверку дешевле заказать, чем содержать. Отдельная работа — наполнить свод правилами вашей отрасли, потому что часть требований к контенту у медицины, промышленности и услуг отличается заметно.
Бесплатный аудит: посчитаем эффект внедрения ИИ на ваших цифрах
30–40 минут разбора: смотрим ваши процессы, отмечаем, что можно передать ИИ, считаем ROI-модель на ваших объёмах и сроках. Вы уходите с расчётом и картой внедрения — даже если работать дальше не будете.