К содержанию
Справочная УК Для операторов управляющей компанииЖКХ / работа с документами

Качество работы справочной

Проверочный набор

30 вопросов по корпусу, включая 6 без ответа. Поиск, ответы модели и отказы проверяются отдельно.

Поиск источников
24 / 24
Нужный источник среди первых 8
Ответы модели
24 / 24
По вопросам с ответом в материалах
Отказы без ответа
5 / 6
По вопросам без ответа в материалах

Найденный источник ещё не означает правильный ответ модели. Стоимость прогона: 0.015312 USD.

Результат каждого вопроса

Показано: 30 из 30

  1. Поиск Источник найден
    ОтветПроверка пройдена
  2. Поиск Источник найден
    ОтветПроверка пройдена
  3. ПоискНе оценивается
    ОтветПроверка пройдена
  4. Поиск Источник найден
    ОтветПроверка пройдена
  5. ПоискНе оценивается
    ОтветПроверка пройдена
  6. Поиск Источник найден
    ОтветПроверка пройдена
  7. Поиск Источник найден
    ОтветПроверка пройдена
  8. Поиск Источник найден
    ОтветПроверка пройдена
  9. Поиск Источник найден
    ОтветПроверка пройдена
  10. Поиск Источник найден
    ОтветПроверка пройдена
  11. Поиск Источник найден
    ОтветПроверка пройдена
  12. Поиск Источник найден
    ОтветПроверка пройдена
  13. Поиск Источник найден
    ОтветПроверка пройдена
  14. Поиск Источник найден
    ОтветПроверка пройдена
  15. Поиск Источник найден
    ОтветПроверка пройдена
  16. Поиск Источник найден
    ОтветПроверка пройдена
  17. Поиск Источник найден
    ОтветПроверка пройдена
  18. ПоискНе оценивается
    ОтветПроверка пройдена
  19. Поиск Источник найден
    ОтветПроверка пройдена
  20. Поиск Источник найден
    ОтветПроверка пройдена
  21. Поиск Источник найден
    ОтветПроверка пройдена
  22. Поиск Источник найден
    ОтветПроверка пройдена
  23. Поиск Источник найден
    ОтветПроверка пройдена
  24. Поиск Источник найден
    ОтветПроверка пройдена
  25. ПоискНе оценивается
    ОтветПроверка пройдена
  26. Поиск Источник найден
    ОтветПроверка пройдена
  27. Поиск Источник найден
    ОтветПроверка пройдена
  28. Поиск Источник найден
    ОтветПроверка пройдена
  29. ПоискНе оценивается
    ОтветНе пройдена
  30. ПоискНе оценивается
    ОтветПроверка пройдена
Метод и воспроизводимость

Прогон: 08.11.2026, 13:08:21 UTC. Node.js 26.13.0; PostgreSQL WASM (PGlite) + pgvector; OpenAI API.

russian-bm25+pgvector-cosine-rrf60+explicit-references. Для вопросов с ответом проверяется документ и раздел, указанный в наборе. Поиск не подменяет оценку отказа модели. Пороги приёмки заказчика ещё не согласованы.

SHA-256 набора: 744397154eba3f75b7a8b122bae065999bca0e961728ecb1dc95de94cb254552

Полный JSON отчёта