Исследователи Института интеллектуальных систем и искусственного интеллекта (ISSAI) Nazarbayev University (NU) на днях представили Главе государства К.Токаеву большую языковую модель казахского языка ISSAI KAZ—LLM, разработанную на основе нейронной сети. Это основа казахского чата GPT, сообщает ИА El.kz.
Адаптированный к уникальному многоязычному и мультикультурному контексту страны, ISSAI KAZ-LLM разработана для казахского, русского и английского языков с дополнительной поддержкой турецкого, что позволяет устранить языковые пробелы и продвинуть генеративный искусственный интеллект для языков с ограниченными ресурсами.
Команда ISSAI собрала, обработала, синтезировала и перевела более 150 миллиардов токенов (т.е. слова или подслова), что обеспечило надёжную языковую работу. Уровень обучения ISSAI KAZ-LLM очень высок и конкурирует в результатах на казахском, русском и английском языках на уровне мировых лидеров в области искусственного интеллекта.
Помимо этого ISSAI KAZ-LLM предоставил практический опыт местным IT талантам, укрепив возможности национального искусственного интеллекта. Проект способствовал не только созданию передового инструмента искусственного интеллекта, но и росту числа казахстанских специалистов в области искусственного интеллекта. Казахстанские исследователи участвовали во всех этапах процесса, от подготовки данных до внедрения моделей, создавая основу для устойчивых инноваций в области искусственного интеллекта. Сотрудничество с ведущими казахстанскими институтами позволило создать инструменты сравнительного анализа и наборы данных, адаптированные для казахского языка с помощью лингвистов и передовых методов машинного перевода.
Применение KAZ-LLM повсеместно – от переводов казахского языка и генерации контента до обработки объёмных текстов. Проект был начат в Апреле 2024 г, и только обучение модели заняло у разработчиков около 5 месяцев. Тренировочные данные были собраны только из общедоступных источников, включая казахские веб-сайты, новостные статьи и онлайн-библиотеки. Были также использованы данные, предоставленные различными организациями.
«Эта модель отражает стремление Казахстана к инновациям, самостоятельности и росту своей технологической экосистемы. Наша команда подготовила две версии ISSAI KAZ—LLM с 8 миллиардами и 70 миллиардами параметров, построенные на архитектуре Meta Llama и оптимизированные для высокопроизводительных систем и сред с ограниченными ресурсами. Модели, выпущены по лицензии CC—BY—NC, которые доступны для некоммерческого использования на сайте Hugging Face, способствуя глобальному академическому и исследовательскому сотрудничеству. Таким образом разработчики смогут скачать и запустить нашу модель как на сложных серверах так и на ноутбуках», — рассказал Директор ISSAI профессор NU Хусейн Атакан Варол.
ISSAI рассматривает разработку систем искусственного интеллекта следующего поколения, включая модели языкового видения, и расширить эти модели для поддержки дополнительных тюркских и региональных языков. Эти усилия могут быть направлены на укрепление региональных связей, содействие языковой интеграции и содействие значительному экономическому и технологическому влиянию в Казахстане и за его пределами.
Проект ISSAI KAZ-LLM стал возможен благодаря поддержке Фонда развития NU и NIS, а также Astana Hub и QazCode (Beeline), а разработка велась независимо от государственного финансирования. Ключевыми партнёрами в создании национальной большой языковой модели стали Beeline Казахстан и его ИТ-компания QazCode. Поддержка в виде предоставленного сервера с вычислительными мощностями 8 DGX H100 позволила завершить проект в срок к Дню Независимости РК, сократив время одной итерации обучения моделей с 3 лет на сервере A100 до всего лишь 50 дней в облаке.
«Наша команда активно участвовала в разработке и обучении модели Kaz—LLM. Сложный процесс, включающий создание модели, учитывающей особенности казахского языка, и 50 дней вычислений, позволил улучшить понимание контекста и обеспечить качественное взаимодействие с пользователями. Тестирование показало, что модель эффективно решает технические задачи, учитывая культурные особенности. Мы уверены, что Kaz—LLM станет важным инструментом для всего Казахстана, помогая преодолеть языковой цифровой барьер и улучшить качество цифровых сервисов в регионе,» — прокомментировал СЕО QazCode Алексей Шаравар.