5голосов
Голосовать
New

Расширенное управление генерацией YandexGPT

- возможность запрещать генерировать <EOS> при длине последовательности меньше определенного количества токенов (MinOutputLen) - BannedTokensToGenerate - возможность управлять вероятностью <EOS> в зависимости от длины сгенерированного текста (BoostEos) - NGramPenalty - возможность продолжать генерацию какое-то количество шагов даже после <EOS> (IncludeLateHypotheses) - запрещать генерировать определенные токены после какого-то количества повторений (MaxRepeats)