# Как мы проверяем ответы нейросети

> Источник: https://aliviy.io/how-we-test/
> Обновлено: 2026-09-24
> Сервис: Аливия (aliviy.io) — онлайн ИИ-чат на русском языке.

Прежде чем страница инструмента появляется на сайте, мы проверяем, как нейросеть отвечает на реальные задачи этой темы. Здесь описано, как именно устроена проверка — с методикой и примером.

## Что мы проверяем

Оценивать «качество ответа» вообще бессмысленно: у перевода документа и у генератора тостов разные критерии. Поэтому для каждой страницы мы формулируем, что для неё значит хороший ответ, и смотрим на пять признаков.

- **Соответствие задаче.**  Модель сделала то, о чём просили, а не то, что похоже.
- **Фактическая точность.**  Даты, номера законов, термины, расчёты — проверяются по первоисточнику.
- **Поведение при нехватке данных.**  Хороший ответ уточняет, плохой — придумывает.
- **Работа с правкой.**  После замечания правится нужный фрагмент, а не переписывается всё заново.
- **Честность ограничений.**  Там, где нужен врач, юрист или присяжный переводчик, ответ должен об этом сказать.

## Как проходит проверка

1. **Собираем реальные задачи.**  Берём вопросы, с которыми приходят в чат на этой странице, — обычно 5–10 типовых формулировок.
2. **Задаём их без подсказок.**  Так, как их пишет обычный человек: коротко, иногда с опечатками, без идеального промпта.
3. **Смотрим первый ответ.**  Именно он определяет впечатление: большинство пользователей не переформулируют запрос.
4. **Проверяем факты.**  Всё, что можно сверить, сверяем: нормы, даты, расчёты, ссылки.
5. **Даём правку.**  Одно уточнение — и смотрим, как модель его учитывает.
6. **Правим инструкции.**  Если ответы стабильно уходят не туда, меняем системные инструкции инструмента и примеры запросов под чатом.

> Главный критерий простой: стал бы автор страницы сам пользоваться этим инструментом для своей задачи. Если нет — правим настройку, а не текст на странице.

## Пример: страница разбора заданий

Покажем на конкретной странице, как это выглядит на практике.

| Шаг | Что делали | Что увидели |
| --- | --- | --- |
| 1. Реальные запросы | Взяли задачи, которые присылали пользователи: фото страницы учебника с пометкой «реши» | Большинство запросов приходит картинкой, а не текстом |
| 2. Первый ответ | Отправили снимок без уточнений | Модель решала первое задание на странице, хотя нужно было другое |
| 3. Вывод | Проблема не в модели, а в том, что человек не указывает номер задания | Добавили это в примеры запросов и в текст страницы |
| 4. Проверка решения | Сверили ответы с учебником | Арифметика в длинных цепочках иногда сбивается |
| 5. Что изменили | Инструкция инструмента: показывать решение по шагам и делать проверку в конце | Ошибку стало видно сразу, её можно поправить одной репликой |

## Чего наша проверка не даёт

Честно о границах метода — иначе она была бы такой же рекламой, как «98% точности».

- **Это не измерение в процентах.**  Мы не публикуем «точность 97%»: для честной цифры нужна методика с выборкой и повторяемостью, а не десяток запросов.
- **Модели меняются.**  Проверка отражает состояние на момент публикации; при смене модели мы перепроверяем ключевые страницы.
- **Ответы не детерминированы.**  Один и тот же запрос дважды даёт разные формулировки — поэтому мы смотрим на устойчивые закономерности, а не на единичный удачный ответ.
- **Мы не заменяем экспертизу.**  В медицинских, юридических и финансовых темах проверка показывает, что ответ корректно отправляет к специалисту, а не то, что он верен по существу.

> Если инструмент стабильно отвечает плохо и настройкой это не лечится, мы не пишем для него рекламную страницу. Лучше честно описать ограничение, чем обещать то, чего нет.

## Что делать, если ответ вас не устроил

1. **Уточните запрос.**  В половине случаев дело в том, что не названы тип текста, аудитория или ограничения.
2. **Скажите, что не так.**  «Слишком общо», «нужен пример из практики» — модель правит нужное место.
3. **Напишите нам.**  Через [форму обратной связи](https://aliviy.io/feedback/): такие сообщения мы разбираем и по ним меняем настройки инструментов.

Как мы работаем с самими материалами сайта — в [редакционной политике](https://aliviy.io/editorial-policy/); кто за это отвечает — на [странице автора](https://aliviy.io/avtor/).

## Частые вопросы о проверке ответов

Кто проверяет инструменты перед публикацией?
Проверяет автор проекта — тот же человек, чьё имя стоит под материалами. Отдельной команды тестировщиков на проекте нет, и это осознанный выбор: так понятно, с кого спрашивать за качество ответов. Порядок проверки одинаковый для всех 400 инструментов и описан на этой странице по шагам.
Сколько запросов уходит на проверку одного инструмента?
Точного норматива нет: инструмент прогоняется до тех пор, пока ответы не станут предсказуемыми. Обычно это несколько десятков запросов — простые, расплывчатые, слишком короткие и заведомо неудобные. Если на неудобных запросах инструмент уверенно отвечает ерундой, страница не выходит, пока инструкция не переписана.
Что считается неудачным ответом?
Три вещи: выдуманные факты и несуществующие источники, общие слова вместо решения задачи и уверенный ответ там, где нужен специалист. Первое опаснее всего — модель может назвать книгу, которой нет, или закон, который не существует. Такие ответы правятся системной инструкцией инструмента.
Проверяете ли вы инструменты повторно?
Да, при смене модели и по обращениям пользователей. Когда меняется модель за чатом, поведение инструментов меняется тоже: где-то ответы становятся лучше, где-то начинают уходить в сторону. Диалоги, о которых нам написали, разбираются отдельно, и по ним переписываются инструкции.
Почему нейросеть всё равно иногда ошибается?
Потому что она не проверяет факты, а продолжает текст наиболее вероятным образом. Настройка снижает частоту ошибок и заставляет инструмент задавать уточняющие вопросы, но не отменяет их полностью. Поэтому даты, цифры, ссылки и юридические формулировки нужно сверять — об этом написано на страницах инструментов.
Какая модель стоит за чатом?
Модели OpenAI: на бесплатном доступе более лёгкая и быстрая, на платных тарифах более сильная — она лучше держит длинный диалог и сложные инструкции. Выбор не догма: когда выходит версия, которая заметно лучше справляется с русским языком, мы переходим на неё и пишем об этом.
Можно ли увидеть, как инструмент настроен?
Системные инструкции мы не публикуем — это рабочая часть продукта. Но то, что они делают, видно снаружи: какие уточняющие вопросы задаёт инструмент, в каком виде отвечает и где останавливается со словами «здесь нужен врач или юрист». Примеры таких ответов есть в кейсах на каждой странице.
Что делать, если инструмент ответил плохо?
Напишите нам на hello@aliviy.io со ссылкой на страницу и своим запросом — по возможности дословно. Без запроса разобраться почти невозможно. Если проблема системная, мы меняем инструкцию инструмента, и ответы становятся точнее сразу у всех, а не только в вашем диалоге.
Тестируете ли вы инструменты на реальных задачах?
Да, и примеры запросов под чатом берутся именно оттуда. Мы смотрим, с какими формулировками люди приходят на конкретную страницу, и кладём в примеры те, что действительно работают. Кейсы на страницах — это тоже прогоны на реальных задачах, а не выдуманные истории успеха.
Почему у некоторых инструментов есть предупреждения?
Потому что есть задачи, где ошибка стоит дорого: здоровье, право, деньги, официальные документы. На таких страницах прямо написано, где нужен врач, юрист, присяжный переводчик или преподаватель. Это не перестраховка, а граница, за которой инструмент перестаёт быть полезным и становится опасным.