ANTHROPIC ACADEMY

Типичный процесс оценки

Чему научитесь

Видео 4:36 и текст урока

К концу урока вы сможете:

Видео и текст урока.

Смотреть урок на Skilljar A typical eval workflow · 4:36

Типичный процесс оценки промпта состоит из пяти ключевых шагов, которые помогают системно улучшать промпты через объективные измерения. Собрать такой процесс можно по-разному, и для этого есть множество открытых и платных инструментов, но понимание основы позволяет начать с малого и наращивать по мере надобности.

Пять шагов процесса оценки: от черновика промпта до правки промпта и повтора.
Пять шагов процесса оценки — от черновика промпта до его правки и повторного прогона.

Шаг 1. Черновик промпта

Начните с первой версии промпта, которую хотите улучшить. Для примера возьмём простой промпт:

prompt = f"""
Please answer the user's question:

{question}
"""
Первый черновик промпта с пометкой, что его эффективность неизвестна, пока его не оценить.
Черновик промпта: насколько он хорош, не узнать, пока не оценить его объективно.

Этот простой промпт станет точкой отсчёта (baseline) для тестов и улучшений.

Шаг 2. Датасет для оценки

Датасет для оценки содержит примеры входных данных — тех вопросов или запросов, с которыми промпт будет работать в продакшене. В датасете должны быть вопросы, которые будут подставляться в шаблон промпта.

Шаг Create an Eval Dataset: столбец Question с тремя вопросами.
Шаг «Create an Eval Dataset»: столбец «Question» с тремя вопросами.

В этом примере в датасете три вопроса:

В реальных оценках записей могут быть десятки, сотни и даже тысячи. Такие датасеты собирают вручную или генерируют с помощью Claude.

Шаг 3. Прогон через Claude

Возьмите каждый вопрос из датасета, подставьте его в шаблон промпта — получатся готовые промпты. Отправьте каждый Claude и получите ответы.

Шаблон с местом для вопроса, три тестовых вопроса и ответы Claude, например «2 + 2 = 4».
Шаблон с подстановкой вопроса, три тестовых вопроса и ответы Claude — например, «2 + 2 = 4».

Например, первый вопрос превращается в:

Please answer the user's question:
What's 2+2?

Claude может ответить «2 + 2 = 4» на вопрос по математике, дать инструкцию по приготовлению овсянки на второй вопрос и назвать расстояние до Луны на третий.

Шаг 4. Прогон через грейдер

Грейдер оценивает качество ответов Claude, глядя и на исходный вопрос, и на ответ. Этот шаг даёт объективную оценку — обычно по шкале от 1 до 10, где 10 — идеальный ответ, а меньшие баллы говорят, что есть что улучшать.

Этап грейдера: три пары вопрос–ответ получают оценки 10, 4 и 9.
Этап грейдера: три пары «вопрос — ответ» получают 10, 4 и 9 баллов.

В нашем примере грейдер может поставить:

Средний балл по всем вопросам — объективная мера: (10 + 4 + 9) ÷ 3 = 7.66.

Шаг 5. Правка промпта и повтор

Теперь, когда есть исходный балл, можно изменить промпт и заново прогнать весь процесс, чтобы увидеть, улучшают ли правки результат.

Процесс оценки с выделенным последним шагом Change Prompt and Repeat и исправленным промптом.
Последний шаг, «Change Prompt and Repeat», и исправленный промпт.

Например, можно добавить в промпт больше указаний:

prompt = f"""
Please answer the user's question:

{question}

Answer the question with ample detail
"""

После прогона улучшенного промпта через тот же процесс средний балл может вырасти, скажем, до 8.7 — значит, дополнительное указание помогло Claude отвечать лучше.

Оценка промптов баллом

Главная польза такого процесса — объективное измерение качества промпта. Можно:

Промпт v1 набрал 7.66, промпт v2 с добавкой «Answer the question with ample detail» — 8.7.
Промпт v1 — 7.66 балла, промпт v2 с добавкой «Answer the question with ample detail» — 8.7.

Такой системный подход убирает гадание из prompt engineering и даёт уверенность, что ваши правки — действительно улучшения, а не просто другие варианты.

Дальше

Дальше курс строит такой процесс в коде для реальной задачи — начиная с генерации тестового датасета.

Назад

Оригинал урока: A typical eval workflow.