К содержанию
Quantoros

Как подготовить данные для дообучения?

LLM & AIУровень: ПрактикаDataset Preparation

Как подготовить данные для дообучения?

Подсказки
  • Какие параметры изменяются и какие остаются замороженными?
  • Разделите память весов, градиентов, состояний оптимизатора и активаций.

Ответ

Сначала определите задачу и критерии хорошего ответа. Приведите примеры к формату и шаблону диалога базовой модели, проверьте инструкции, ответы, права использования и чувствительные сведения. Удалите дубликаты и ошибки, сохранив разнообразие и пограничные случаи. Разделяйте train и validation так, чтобы связанные и почти одинаковые примеры не пересекались. Короткий ответ не обязательно плохой, а большой набор не заменяет качественную разметку.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы