За останні півроку чат GPT увійшов у широке масове користування, за даними OpenAI за лютий, кількість користувачів чату GPT досягає 13 мільйонів в день. Тож як працює чат GPT?

Чат GPT бере свою назву від абрівіатури - Generative Pre-training Transformer, під цим мається на увазі генеративна мовна модель, заснована на архітектурі "трансформатора". Архітектура “трансформаторів” базується на використанні уваги - техніки, яка дозволяє моделі звертати увагу на різні частини вхідної послідовності в різний час під час обробки послідовності. Це дозволяє трансформаторам ефективніше обробляти інформацію і точніше виконувати завдання обробки природної мови.

Ці моделі здатні обробляти великі обсяги тексту і дуже ефективно навчатися виконувати завдання з обробки природної мови. Зокрема, модель GPT-3 має 175 мільярдів параметрів, що робить її найбільшою мовною моделлю, яку коли-небудь навчали. Щоб працювати, GPT потрібно "натренувати" на великій кількості тексту. Наприклад, модель GPT-3 була навчена на текстовому наборі, який включав понад 8 мільйонів документів і понад 10 мільярдів слів. На цьому тексті модель вчиться виконувати завдання обробки природної мови і генерувати зв'язний, добре написаний текст. Після того, як модель добре навчена, GPT можна використовувати для виконання широкого спектру завдань.

Моделі генеративного трансформатора попереднього навчання (GPT) були вперше запущені OpenAI у 2018 році як GPT-1. Моделі продовжували розвиватися протягом 2019 року з GPT-2, 2020 року з GPT-3, і зовсім нещодавно, у 2022 році, з InstructGPT та ChatGPT. InstructGPT представили новий підхід до включення людського зворотного зв'язку в процес навчання, щоб краще узгодити результати моделі з намірами користувача. До інтеграції зворотного зв'язку з людиною в систему найбільший прогрес в еволюції моделі GPT був обумовлений досягненнями в обчислювальній ефективності, що дозволило GPT-3 навчатися на значно більшій кількості даних, ніж GPT-2, що дало йому більш різноманітну базу знань і можливість виконувати ширший спектр завдань.

Проект «Розуміння штучного інтелекту», який виконує Інститут Інноваційного Врядування, виконується завдяки фінансовій підтримці Уряду Великої Британії. Погляди, висловлені в цій публікації, належать автору і можуть не збігатися з офіційною позицією Уряду Великої Британії.