К содержанию
Quantoros

Почему разные workers DataLoader могут выдавать одинаковые случайные аугментации?

GPU / CUDAУровень: ПрактикаData-loader worker randomness

Почему разные workers DataLoader могут выдавать одинаковые случайные аугментации?

Подсказки
  • Какие библиотеки случайных чисел использует датасет?
  • Воспроизводимый запуск всё равно требует разных потоков RNG.

Ответ

Workers могут наследовать или повторно использовать состояние NumPy и других RNG, особенно при fork. Настройка seed в PyTorch не настраивает автоматически все внешние генераторы. Инициализируйте их отдельно в каждом worker на основе его seed, учитывайте persistent workers и эпохи. Проверьте и воспроизводимость между запусками, и различие аугментаций между workers.

Источник и лицензия: PyTorch contributors — FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы