O‘zbekiston Raqamli texnologiyalar vazirligi O‘zbek tilidagi yirik ochiq matnli ma’lumotlar korpusini ishlab chiqib, Hugging Face platformasida ochiq foydalanish uchun joylashtirganini ma’lum qildi. Mazkur korpus 5,6 million hujjat va 6 milliardga yaqin so‘zni o‘z ichiga oladi, matnlar lotin va kirill yozuvlarida jamlangan; u 2025-yil 21-oktabrdagi videoselektor yig‘ilishida berilgan topshiriq ijrosi doirasida yaratilgan.
Asosiy faktlar: Korpus Hugging Face platformasida ochiq foydalanish uchun joylashtirildi; u 5,6 million hujjat va taxminan 6 milliard so‘zdan iborat; matnlar lotin va kirill yozuvlarida jamlangan; tarkibga skanerlangan kitoblar, gazeta va arxiv materiallari, qonunchilik hujjatlari, Vikipediya maqolalari, veb-sahifalar hamda ochiq Telegram postlari kiradi.
Tashabbus 2025-yil 21-oktabrda prezident Shavkat Mirziyoyev raisligida davlat boshqaruvi, iqtisodiyot tarmoqlari va hududlarda sun’iy intellekt texnologiyalarini jadal joriy etish masalalari yuzasidan o‘tkazilgan videoselektor yig‘ilishida berilgan topshiriq ijrosi doirasida amalga oshirildi. O‘shanda davlat rahbari sun’iy intellekt dasturlari samarali ishlashi uchun, avvalo, o‘zbek tilini mukammal darajada tushunishi zarurligini ta’kidlab, “O‘zbek tili korpusi”ni yaratishni vazifa qilib qo‘ygan edi. Bu qadam o‘zbek tilidagi raqamli resurslarni kengaytirish va mahalliy sun’iy intellekt ekotizimini mustahkamlashga qaratilgan.
To‘plangan matnlar maxsus qayta ishlash jarayonidan o‘tkazilib, sifati bo‘yicha saralangan hamda soha va mavzular kesimida tasniflangan. Shuningdek, shaxsiy ma’lumotlar [PHONE], [NAME] kabi maxsus belgilar bilan almashtirilgan, bu esa ochiq ma’lumotlarni xavfsizroq tarqatishga xizmat qiladi. Korpus tarkibidan skanerlangan kitoblar, gazeta va arxiv materiallari, qonunchilik hujjatlari, Vikipediya maqolalari, veb-sahifalar hamda ochiq Telegram postlari o‘rin olgan.
Ochiq platformada joylashtirilishi sun’iy intellekt bo‘yicha ishlayotgan tadqiqotchilar, dasturchilar va kompaniyalarga o‘zbek tilidagi katta hajmli matnlardan foydalanish imkonini beradi. Vazirlik ma’lumotiga ko‘ra, ayni paytda ushbu korpusni yetakchi katta til modellari (LLM) ishlab chiquvchilariga taqdim etish bo‘yicha ish olib borilmoqda; xususan, Qwen modeli bilan hamkorlikdagi ishlar boshlangan. Bu esa korpusning nafaqat arxiv, balki amaliy model rivojlantirish uchun ishlatilishini ko‘rsatadi.
Tashabbusdan ko‘zlangan asosiy maqsad o‘zbek tilidagi raqamli ma’lumotlar bazasini kengaytirish, sun’iy intellekt modellarining o‘zbek tilini tushunish, qayta ishlash va ushbu tilda sifatli matnlar yaratish imkoniyatlarini oshirishdan iborat. Kelgusida korpus asosida o‘zbek tilini yaxshiroq qo‘llab-quvvatlovchi modellarning paydo bo‘lishi va AI xizmatlarining mahalliy foydalanuvchilar uchun qulayroq bo‘lishi kutiladi.
Source: www.gazeta.uz