Какие виды предвзятости встречаются у LLM и как их обнаруживать?
LLM & AIУровень: ПрактикаBias & Fairness
Какие виды предвзятости встречаются у LLM и как их обнаруживать?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Источники включают неравномерное представительство языков и групп, историческую дискриминацию в данных и воспроизведение популярных стереотипов. Проверяют пары запросов, различающиеся только демографическим признаком, стереотипные ассоциации профессий, качество и токсичность ответов для разных групп. Можно использовать BBQ и WinoBias, дополняя их примерами реального продукта. Изменение результата не всегда означает несправедливость: оценивают, уместен ли признак для задачи. Нужны несколько метрик, контекст и ручной разбор, а не один общий балл.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros