Самосогласованность
Одной из продвинутых техник для создания промтов является самосогласованность (self-consistency). Эта техника была предложена в работе Wang et al. (2022) в качестве замены «жадного» декодирования, используемого в цепочках рассуждений (CoT). Идея заключается в том, чтобы сэмплировать несколько разнообразных путей рассуждений через Few-shot CoT и использовать эти генерации для выбора наиболее согласованного ответа. Это помогает улучшить производительность CoT-промтов в задачах, связанных с арифметическими и логическими рассуждениями.
Рассмотрим пример арифметических рассуждений:
Промт
Когда мне было 6 лет, моя сестра была вдвое младше меня. Сейчас мне 70 лет. Сколько лет моей сестре?
Ответ
35
Это неверный ответ. Попробуем улучшить промт с помощью самосогласованности, показав модели примеры рассуждений и повторив запрос несколько раз:
Промт
В: В роще было 15 деревьев. Работники рощи посадят деревья сегодня. После этого в роще будет 21 дерево. Сколько деревьев посадили работники рощи сегодня?
О: Мы начинаем с 15 деревьев. Позже у нас будет 21 дерево. Разница должна быть количеством посаженных деревьев. Значит, они посадили 21 - 15 = 6 деревьев. Ответ: 6.
В: Если на парковке было 3 машины и приехали еще 2, сколько машин на парковке?
О: На парковке уже было 3 машины. Приехали еще 2. Теперь на парковке 3 + 2 = 5 машин. Ответ: 5.
В: У Леи было 32 шоколадки, а у ее сестры 42. Если они съели 35, сколько шоколадок у них осталось?
О: У Леи было 32 шоколадки, а у ее сестры 42. Значит, изначально было 32 + 42 = 74 шоколадки. Съели 35. Значит, у них осталось 74 - 35 = 39 шоколадок. Ответ: 39.
В: У Джейсона было 20 леденцов. Он отдал Денни несколько леденцов. Теперь у Джейсона 12 леденцов. Сколько леденцов Джейсон отдал Денни?
О: У Джейсона было 20 леденцов. Так как у него осталось 12, он отдал Денни 20 - 12 = 8 леденцов. Ответ: 8.
В: У Шона было пять игрушек. На Рождество он получил по две игрушки от мамы и папы. Сколько игрушек у него теперь?
О: У него было 5 игрушек. Он получил 2 от мамы, значит, у него стало 5 + 2 = 7 игрушек. Затем он получил еще 2 от папы, значит, у него теперь 7 + 2 = 9 игрушек. Ответ: 9.
В: В серверной было девять компьютеров. Каждый день с понедельника по четверг устанавливали по пять компьютеров. Сколько компьютеров теперь в серверной?
О: С понедельника по четверг прошло 4 дня. Каждый день добавляли по 5 компьютеров. Значит, всего добавили 4 * 5 = 20 компьютеров. Изначально было 9 компьютеров, значит, теперь их 9 + 20 = 29. Ответ: 29.
В: У Майкла было 58 мячей для гольфа. Во вторник он потерял 23 мяча. В среду он потерял еще 2. Сколько мячей у него осталось в конце среды?
О: Изначально у Майкла было 58 мячей. Во вторник он потерял 23, значит, у него осталось 58 - 23 = 35 мячей. В среду он потерял еще 2, значит, у него осталось 35 - 2 = 33 мяча. Ответ: 33.
В: У Оливии было 23 доллара. Она купила пять бубликов по 3 доллара каждый. Сколько денег у нее осталось?
О: Она купила 5 бубликов по 3 доллара каждый. Это значит, что она потратила 15 долларов. У нее осталось 23 - 15 = 8 долларов.
В: Когда мне было 6 лет, моя сестра была вдвое младше меня. Сейчас мне 70 лет. Сколько лет моей сестре?
О:
Ответ 1
Когда мне было 6 лет, моя сестра была вдвое младше меня, значит, ей было 3 года. Сейчас мне 70 лет, значит, ей 70 - 3 = 67 лет. Ответ: 67.
Ответ 2
Когда рассказчику было 6 лет, его сестра была вдвое младше, то есть ей было 3 года. Сейчас рассказчику 70 лет, значит, его сестре 70 - 3 = 67 лет. Ответ: 67.
Ответ 3
Когда мне было 6 лет, моя сестра была вдвое младше меня, значит, ей было 3 года. Сейчас мне 70 лет, значит, ей 70 / 2 = 35 лет. Ответ: 35.
Мы получили три разных ответа, один из которых неверный. Следующим шагом самосогласованности будет агрегация и анализ ответов, направленный на выявление самого популярного, который и станет окончательным. В нашем случае — это 67. Давайте проверим:
Промт для агрегации
Ниже я дам тебе три решения задачи. Напиши наиболее популярный ответ на задачу.
1. Когда мне было 6 лет, моя сестра была вдвое младше меня, значит, ей было 3 года. Сейчас мне 70 лет, значит, ей 70 - 3 = 67 лет. Ответ: 67.
2. Когда рассказчику было 6 лет, его сестра была вдвое младше, то есть ей было 3 года. Сейчас рассказчику 70 лет, значит, его сестре 70 - 3 = 67 лет. Ответ: 67.
3. Когда мне было 6 лет, моя сестра была вдвое младше меня, значит, ей было 3 года. Сейчас мне 70 лет, значит, ей 70 / 2 = 35 лет. Ответ: 35.
Ответ:
Ответ
67 лет.