New

Управление сэмплингом при генерации LLM

- режим ответа с log probs - возможность выбирать алгоритм семплинга через SamplerParams (Sampling, BeamSearch, StochasticBeamSearch), NumHypos & BeamSize - возможность изменять температуру в процессе генерации - TemperatureScheduler