К содержанию
Quantoros

Какие виды предвзятости встречаются у LLM и как их обнаруживать?

LLM & AIУровень: ПрактикаBias & Fairness

Какие виды предвзятости встречаются у LLM и как их обнаруживать?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Источники включают неравномерное представительство языков и групп, историческую дискриминацию в данных и воспроизведение популярных стереотипов. Проверяют пары запросов, различающиеся только демографическим признаком, стереотипные ассоциации профессий, качество и токсичность ответов для разных групп. Можно использовать BBQ и WinoBias, дополняя их примерами реального продукта. Изменение результата не всегда означает несправедливость: оценивают, уместен ли признак для задачи. Нужны несколько метрик, контекст и ручной разбор, а не один общий балл.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы