DialoGPT

DialoGPT адаптирует техники предварительного обучения для генерации ответов с использованием сотен гигабайт разговорных данных. Как и GPT-2, DialoGPT формулируется как авторегрессивная (AR) языковая модель и использует многослойный трансформер в качестве архитектуры модели. В отличие от GPT-2, который обучается на общих текстовых данных, DialoGPT использует 147 миллионов многоходовых диалогов, извлеченных из обсуждений на Reddit. Реализация основана на pytorch-transformer от huggingface и OpenAI GPT-2.

• Примеры ответов на вопросы на здравый смысл

|Пользователь | Бот | |---------|--------| |кто первый президент Соединенных Штатов Америки | Джордж Вашингтон | |какова температура кипения воды? | Думаю, около 100 градусов по Цельсию. | |кто больше, солнце или луна? | Солнце. | |у какого животного есть черно-белые полосы? | У черно-белой полосатой кошки. |

• Обработка контекста, который не встречается в обучающих примерах (обратите внимание, что обучающие примеры выбирались из периода с 2005 по 2017 год)

|Пользователь | Бот | |---------|--------| |Торговая война между Китаем и США все еще продолжается. | Уверен, что китайское правительство и США будут с этим справляться, пока они держат оружие на столе и деньги текут. | |кто выиграл чемпионат мира в 2018 году? | По-моему, Германия. | |Nvidia Titan RTX действительно хорошая. | У меня есть эта карта, и я ее обожаю. Никаких нареканий. | |Может ли Porsche победить Tesla с помощью своего нового электромобиля Taycan? | Думаю, нет. Tesla более мощная, чем Porsche. |

• Ответ наших ботов на философские вопросы

|Пользователь | Бот | |---------|--------| |Каково значение хорошей жизни? | Думаю, что мы все связаны с нашими прошлыми жизнями, а смысл жизни заключается в том, чтобы жить так, как хочется и как хочется. | |Что важнее - быть успешным или быть счастливым? | Быть успешным - это бесконечность. Быть счастливым - это единственное, что имеет значение. | |Мир - единственный способ остановить войну? | Не, если мир не готов работать с вами. Мир - это конечная цель, но для достижения мира требуется больше, чем просто это. | |Сколько свободы должно быть у людей? | Правильное количество свободы - это свобода делать то, что вам нравится, пока вы не причиняете вреда людям или собственности. |

• Наконец

|Пользователь | Бот | |---------|--------| |Что вы думаете о репозитории DialoGPT? | Он довольно хороший, но очень легко найти ошибку. |

Если вы заметите что-либо, пожалуйста, создайте проблему :)

Этот проект является совместным проектом между исследовательской командой MSR AI и Microsoft Dynamics 365 AI

Источник: https://www.microsoft.com/en-us/research/project/large-scale-pretraining-for-response-generation/