Министерство цифровых технологий Узбекистана сообщило, что разработан крупный открытый корпус текстовых данных на узбекском языке, который размещен на платформе Hugging Face для открытого использования. Корпус включает 5,6 миллиона документов и около 6 миллиардов слов; материалы представлены в латинской и кириллической графике узбекского языка и созданы в рамках исполнения поручения, данного на видеоселекторном совещании 21 октября 2025 года.
Главные факты: Корпус открыт для использования на платформе Hugging Face; он содержит 5,6 миллиона документов и примерно 6 миллиардов слов; тексты представлены в латинской и кириллической графике; в состав вошли отсканированные книги, газеты и архивные материалы, законодательные документы, статьи Википедии, веб-страницы и открытые посты Telegram.
Инициатива реализована в рамках поручения, которое было дано на видеоселекторном совещании 21 октября 2025 года под председательством президента Шавката Мирзиёева по вопросам ускоренного внедрения технологий искусственного интеллекта в государственном управлении, отраслях экономики и регионах. Тогда руководство Узбекистана подчеркнуло, что программы искусственного интеллекта для эффективной работы должны, прежде всего, в совершенстве понимать узбекский язык, и поставило задачу создания «Корпуса узбекского языка». Этот шаг можно рассматривать как основу для расширения языковых ресурсов и укрепления местной экосистемы ИИ.
Собранные тексты прошли специальную обработку, были отобраны по качеству и классифицированы по отраслям и темам. Кроме того, персональные данные заменены специальными обозначениями, такими как [PHONE] и [NAME], что способствует более безопасному распространению открытых данных. В корпус вошли отсканированные книги, газеты и архивные материалы, законодательные документы, статьи Википедии, веб-страницы и открытые посты Telegram.
Размещение на открытой платформе дает исследователям, разработчикам и компаниям, работающим в сфере искусственного интеллекта, доступ к большому объему текстов на узбекском языке. По данным министерства, в настоящее время ведется работа по передаче корпуса разработчикам ведущих больших языковых моделей (LLM); в частности, начаты совместные работы с моделью Qwen. Это показывает, что корпус предназначен не только для хранения данных, но и для практического развития моделей.
Основная цель инициативы заключается в расширении цифровой базы данных на узбекском языке, а также в повышении способности моделей искусственного интеллекта понимать узбекский язык, обрабатывать его и создавать на нем качественные тексты. В дальнейшем ожидается появление моделей, которые будут лучше поддерживать узбекский язык, а сервисы ИИ станут удобнее для местных пользователей.
Source: www.gazeta.uz