Исследователи Multiverse Computing заявили о квантовом улучшении большой языковой модели на оборудовании IBM. Речь идет о гибридной схеме с использованием 156-кубитного процессора Heron.
Авторы назвали эксперимент первым «сквозным квантовым улучшением» LLM на сверхпроводящем процессоре для авторегрессионной генерации текста.
В тестах использовали Llama 3.1 8B от Meta. Базовую модель не дообучали: параметры «заморозили» и добавили квантовые адаптеры — Cayley-parameterized unitary adapters (CUA). Сначала их тренировали классическим образом, затем подключили к гибридной квантово-классической схеме.
Эксперимент провели на IBM Quantum System Two — архитектуре для гибридных квантовых систем. В установке задействовали 156-кубитный чип Heron.
Гибридная версия снизила перплексию Llama 3.1 8B на 1,4%. Для этого добавили около 6000 параметров — примерно 0,000075% от размера модели.
В ходе демонстрации квантово-улучшенная Llama правильно ответила на вопросы по астрономии и биологии, с которыми не справилась базовая версия (например, о наличии колец у всех планет-гигантов).
По словам ведущего автора исследования Борхи Айспуруа, работа является доказательством концепции. Квантовые блоки позволили точнее предсказывать следующий токен в тексте при минимальных затратах вычислительных мощностей.
Команда рассчитывает добиться дальнейшего снижения перплексии и роста точности при меньшем числе параметров по сравнению с полностью классическими подходами.
Напомним, в мае котировки квантовых компаний выросли после объявления Минторга США о выделении $2 млрд американским фирмам в рамках программы CHIPS R&D.
В Польше запустили второй квантовый компьютер IQM - ForkLog: криптовалюты, ИИ, сингулярность, будущее
25 мая Познанский технический университет (PUT) ввел в эксплуатацию квантовый компьютер IQM Radiance R1 от финской IQM Quantum Computers.
forklog.com