Kompyuterimni erkalab monstr PC deyman (xazil lekin jonivorda mana bular bor: CPU 24 core, 192 GB RAM va RTX 5090). Ammo lekin biroq bir necha o’n gigabaytli oddiy matn faylini ochish men uchun uzoq vaqt muammo bo’lib keldi. Bu maqolada muammo hardwareda emasligini, uni qanday hal qilganimni va natijada BigText nomli ochiq kodli (OpenSource) muharrir qanday paydo bo’lganini aytib beraman.

50 GB lik log fayl, 453 million qatorning o’rtasi. O’ng pastdagi panelga ko’ra dastur 103 MB xotira egallab turibdi.

Kompyuter kuchli, fayl esa ochilmaydi

Avval mashinaning o’zi haqida. Maqoladagi barcha o’lchovlar shu kompyuterda olingan.

Qism Xarakteristika
Model HP Z2 Tower G1i Workstation
Protsessor Intel Core Ultra 9 285, 24 yadro
Operativ xotira 192 GB DDR5-5600 (4 × 48 GB)
Videokarta NVIDIA GeForce RTX 5090
Disk 2 × 1 TB Samsung NVMe SSD
Monitor 2560 × 1440
Operatsion tizim Windows 11 Pro

Bunday mashinada har qanday ish bir zumda bitishi kerakdek. Lekin katta log, CSV eksport yoki SQL dampni ochib, ichidan kerakli joyni topish va tahlil qilish kerak bo’lganda ahvol boshqacha edi. Muharrir uzoq o’ylanadi, oynasi qotib qoladi, ba’zan faylni ochishdan butunlay bosh tortadi.

Sababi oddiy. Ko’pchilik muharrirlar faylni ochishda uni boshidan oxirigacha o’qib, to’liq xotiraga joylaydi. Notepad++ butun fayl uchun xotira ajratadi va 2 GB dan katta faylda «ochish bir necha daqiqa olishi mumkin» deb ogohlantiradi (manba kodi). VS Code muharririda ham ochilgan fayl xotirada taxminan o’z hajmicha joy egallaydi (VS Code blogi).

Bu yondashuvda kuchli temir deyarli yordam bermaydi. Faylni ketma-ket o’qish va qatorlarga ajratish odatda bitta oqimda bajariladi. Ya’ni 24 yadroning bittasi ishlaydi, qolgani kutib turadi. Videokartaning bu ishga aloqasi yo’q.

Buni o’lchash oson. BigText ham fonda xuddi shu ishni bajaradi: faylni boshidan oxirigacha bir marta o’qib, qatorlarini sanab chiqadi. 50 GB fayl uchun shu kompyuterda bunga 17–18 sekund ketadi. Holbuki fayl bu paytda operatsion tizim keshida, ya’ni operativ xotiraning o’zida turgan edi. Demak, birinchi qatorni ko’rsatishdan oldin butun faylni o’qiydigan dastur eng yaxshi holatda ham sekundlab kutdiradi. Fayl xotiraga sig’masa, umuman ochilmaydi.

Xulosa: muammo temirda emas, algoritmda. Birinchi ekrangacha bajariladigan ish fayl hajmiga proporsional bo’lsa, hech qanday protsessor qutqarmaydi.

G’oya: ekranga qancha kerak bo’lsa, shuncha o’qish

Ekranga bir vaqtda ellik-oltmish qator sig’adi. Bu bir necha kilobayt matn. 50 GB faylning birinchi ekranini ko’rsatish uchun 50 GB o’qish shart emas.

BigText arxitekturasi shu bitta qoidaga qurilgan: har bir amalning vaqti va xotira sarfi fayl hajmiga emas, ekrandagi matn hajmiga bog’liq bo’lishi kerak. Quyida shu qoidani amalga oshirgan beshta qaror.

1. Fayl xotiraga yuklanmaydi, akslantiriladi

Operatsion tizimda memory mapping (mmap) degan mexanizm bor. U faylni dasturning manzil maydoniga bog’laydi, lekin hech narsani o’qimaydi. Haqiqiy o’qish dastur muayyan baytga murojaat qilgan paytda, faqat shu joy uchun bajariladi. Shuning uchun faylni «ochish» amali uning hajmiga bog’liq emas.

Bu yerda kutilmagan tuzoq chiqdi. Windows tizimida 50 GB faylni bitta yaxlit bo’lak qilib akslantirishning o’zi 100 MB ga yaqin xotira olar ekan: tizim har 4 KB sahifa uchun 8 baytlik xizmat yozuvi yuritadi. Ya’ni xotira sarfi yana fayl hajmiga bog’liq bo’lib qoldi. O’lchovda 50 GB fayl ochiq turganda dastur 205 MB egallayotgani ko’rindi.

Shundan keyin yaxlit akslantirish o’rniga 288 MB lik «darchalar» keshiga o’tildi. Bir vaqtda ko’pi bilan oltita darcha ochiq turadi, eskisi yopilib, o’rniga keraklisi ochiladi. Xotira 205 MB dan 107 MB ga tushdi va fayl hajmiga bog’liq bo’lmay qoldi.

2. Ochishda faqat birinchi megabayt o’qiladi

Fayl ochilganda fon oqimi uning dastlabki 1 MB qismini o’qiydi. Shu namunadan kodirovka (UTF-8, UTF-16, Windows-1251 va boshqalar), qator tugash belgilari va fayl binar emasligi aniqlanadi. Bu 1,1–1,4 millisekund oladi. So’ng ekranga sig’adigan qatorlar chiziladi. Fayl «ochildi».

3. Ekran qator raqamiga emas, bayt manziliga bog’langan

Oddiy muharrir o’z o’rnini «men millioninchi qatordaman» deb biladi. Buning uchun undan oldingi barcha qatorlarni sanab chiqishi kerak. BigText esa «men 26 843 581 344-baytdaman» deb biladi. Aylantirish yo’lakchasi (scrollbar) ham baytlarga proporsional. Shuning uchun faylning o’rtasiga sakrashda hech narsani sanash shart emas: kerakli joydan bir necha kilobayt o’qiladi, eng yaqin qator boshi topiladi va ekran chiziladi.

Qator raqami ham darhol ko’rsatiladi. Avvaliga u taxminiy bo’ladi va oldida ~ belgisi turadi. Indeks shu joyga yetib kelgach, raqam aniq qiymatga almashadi.

4. Siyrak indeks: har 64 KB ga bitta son

Har bir qatorning manzilini saqlash juda qimmat. Test faylimda 453 565 956 qator bor, to’liq jadval uchun 3,4 GB xotira kerak bo’lardi. BigText buning o’rniga faylni 64 KB lik bloklarga bo’ladi va har bir blok uchun bitta son saqlaydi: shu blokkacha nechta qator o’tgani.

fayl:     [ 64 KB ][ 64 KB ][ 64 KB ][ 64 KB ] ...   819 ming blok
indeks:     0        554      1 107    1 661   ...   shu joygacha o'tgan qatorlar soni (misol)

50 GB fayl uchun indeks 8,12 MB chiqdi. Bu fayl hajmining 0,016 foizi. «N-qatorga o’t» buyrug’i indeksda ikkilik qidiruv bilan kerakli blokni topadi, keyin ko’pi bilan 64 KB matnni ko’zdan kechiradi.

Indeks fonda, faylning boshidan quriladi. 50 GB uchun bu 17–18 sekund, tezlik taxminan 2,9 GB/s. Shu vaqt davomida dastur to’liq ishlayveradi: aylantirish, sakrash va qidirish mumkin.

5. Interfeys oqimi hech qachon kutmaydi

Interfeys oqimi faqat ekrandagi baytlarni o’qiydi. Indekslash, qidiruv, almashtirish va saqlash alohida ishchi oqimlarda bajariladi. Ularning har birida jarayon ko’rsatkichi va bekor qilish tugmasi bor. Maqsad: bitta kadr 16 millisekunddan oshmasin. O’lchovda 50 GB fayl indekslanayotgan paytda sahifalab aylantirish kadri o’rtacha 1,2 ms chiqdi.

Yana bir chekka holat bor. Fayl bitta ulkan qatordan iborat bo’lishi mumkin, masalan 2 GB lik, bir qatorga siqilgan JSON. Bunday qatorlar har 64 KB da «yumshoq» bo’linadi. Natijada har qanday qator hisobi ko’pi bilan 128 KB o’qish bilan cheklangan.

O’lchovlar

Raqamlar BigText 0.4.1 versiyasining reliz yig’ilmasida, dasturning o’z benchmarki (bigtext --bench-ui) bilan olindi. Har bir fayl uch martadan o’lchandi, fayllar operatsion tizim keshida edi.

Ko’rsatkich 1 GB 10 GB 50 GB
Qatorlar soni 9 069 553 90 713 192 453 565 956
Ochish buyrug’idan birinchi ekrangacha 31–32 ms 31–32 ms 31–35 ms
Shundan faylni ochish va kodirovkani aniqlash 1,3–1,4 ms 1,3 ms 1,3 ms
Fondagi indekslash 0,4 s 3,7 s 17,4–17,7 s
Indeks hajmi 130 KB 2,03 MB 8,12 MB
Bo’sh turgan dasturning xotirasi 98–99 MB 100–101 MB 107–109 MB

Eng muhimi ikkinchi qator: fayl ellik baravar kattalashdi, ochilish vaqti esa o’zgarmadi. 50 GB faylni qo’shimcha olti marta o’lchaganimda ham eng yomon natija 35 ms bo’ldi.

Xotira ham deyarli o’zgarmadi. Taxminan 100 MB ning asosiy qismi grafik interfeysning o’ziga ketadi: oynasiz ishlaydigan yadro 50 GB fayl va uning indeksi bilan birga 12,1 MB egallaydi.

30 millisekundning o’zi ham asosan kutishdan iborat. Faylni ochish va kodirovkani aniqlash 1,2 ms, birinchi ekran matnini joylash 0,03 ms oladi. Qolgan vaqt oynaning navbatdagi kadrlarini kutishga ketadi. Benchmark vaqtni dastur matnni chizib bo’lgan paytgacha o’lchaydi, kadrning monitorga chiqishi bunga kirmaydi. Standart benchmark faylni dastur ishga tushayotgan ilk kadrda ochadi.

Allaqachon ishlab turgan oynada natija ikki xil chiqdi. Oynada boshqa fayl ochiq turgan bo’lsa, o’sha 50 GB fayl yangi varaqda 10 ms da ochildi. Bo’sh oynaga ochilgan birinchi fayl esa 0,1–0,2 sekundda ko’rindi: dasturning o’z ishi bu yerda ham bir necha millisekund, qolgan vaqt yangi hujjatli birinchi kadrning ekranga chiqishini kutishga ketdi. Bu o’lchovlar uchun benchmarkni vaqtincha o’zgartirdim: u faylni ochishdan oldin 180 kadr kutadi, yangi varaq holatida esa avval 1 GB lik faylni ochadi.

Yuqoridagi skrinshotda panel «first paint 128,5 ms» deb ko’rsatyapti. Bu ham bo’sh oyna holati: skrinshotlar olinadigan avtomatik rejimda fayl ilk kadrda emas, oyna ochilgandan keyin ochiladi. Shunda ham dastur ishga tushirilgandan matn ko’ringuncha taxminan yarim sekund o’tadi.

50 GB fayldagi boshqa o’lchovlar:

  • Qatorga sakrash. Indeks hali tayyor bo’lmagan paytda ham kadr 2,1 ms dan oshmadi.
  • Oddiy matn qidiruvi. 4,0–4,3 GB/s, butun fayl 12 sekundda ko’rib chiqiladi.
  • Regulyar ifoda bilan qidiruv. 3,6–4,3 GB/s.
Regulyar ifoda 50 GB fayldan 830 ta mos joyni 15,5 sekundda topdi. Natijalar ro’yxati matn ostida, har biriga bosib o’tish mumkin.

Tahrirlash va saqlash

Katta faylni faqat ko’rish emas, tahrirlash ham kerak bo’ladi. Bu yerda piece table degan eski va sinalgan tuzilma ishlatilgan. Asl faylga tegilmaydi. Yozilgan matn alohida buferga qo’shiladi, hujjat esa «asl faylning shu bo’lagi, keyin buferning shu bo’lagi» ko’rinishidagi ro’yxat sifatida saqlanadi. 50 GB faylga kiritilgan ming tahrir bir necha kilobayt joy oladi.

Saqlashda natija avval shu papkadagi vaqtinchalik faylga oqim bilan yoziladi, diskka to’liq tushiriladi va shundan keyingina asl fayl o’rniga atomar ravishda qo’yiladi. Yo’lda xato chiqsa yoki elektr uzilib qolsa, asl fayl butun qoladi.


O’sha faylning 25-gigabayti hex ko’rinishida. Bu yerga sakrash ham bir zumda bajariladi.

Bularning hammasini Claude bilan qurdim

Yashirmayman loyihani Anthropic kompaniyasining Fable 5.1 va 5.2 versiyalari hamda Opus 5.5 bilan, Claude Code vositasi orqali yaratdim, kodni va maqolani ham o’sha modellar yozdi. Mening ishim nima kerakligini aniq aytish, natijani tekshirish va keyingi qadamni tanlash bo’ldi. Repozitoriydagi 160 ta commit yozuvining har birida Claude hammuallif sifatida ko’rsatilgan.

Ish bitta hujjatdan boshlandi. Unda dasturning maqsadi, buzib bo’lmaydigan sakkizta arxitektura qoidasi, o’lchanadigan tezlik maqsadlari va dasturni sindirmasligi kerak bo’lgan chekka holatlar ro’yxati yozilgan edi. Hujjat repozitoriyda prompt.md nomi bilan turibdi. Undan to’rtta talab:

  • Hech qachon butun faylni operativ xotiraga o’qima.
  • Interfeys oqimi hech qachon to’xtab qolmasin, undagi bironta vazifa 16 ms dan oshmasin.
  • Tayyor muharrir komponentlarini ishlatma: ularning hammasi butun hujjatni xotirada ushlaydi.
  • Tezlik maqsadlarini o’lcha va haqiqiy raqamlarni ko’rsat.

Claude avval reja tuzdi (PLAN.md, u o’zbek tilida yozilgan). Keyin ishni bosqichlarga bo’lib bajardi: ochish va ko’rish, qidiruv, almashtirish, tahrirlash va saqlash, kodirovkalar. Har bosqichdan keyin test fayllarida o’lchov o’tkazildi va natija maqsad bilan solishtirildi.

Vaqt bo’yicha bu shunday ko’rindi:

  • 24-oktabr, 09:46. Birinchi commit.
  • 24-oktabr, 14:38. 0.1.0 versiya, birinchi commit yozuvidan besh soat o’tib.
  • 29-oktabr. 0.4.1 versiya.
  • 10–11-noyabr. 0.5.0, 0.6.0 va 0.7.0 versiyalar (ular haqida quyida).

Hozir loyihada 150 ta Rust fayli, testlar bilan birga 68 ming qator kod va 326 ta yunit-test bor.

Bu tajribadan to’rtta xulosa chiqardim.

  1. Maqsad o’lchanadigan bo’lsin. «Tez ishlasin» emas, «birinchi ekran 200 ms dan kam» va «50 GB fayl ochiq turganda xotira 200 MB dan kam». Bunday maqsadni tekshirish mumkin.
  2. Arxitektura qoidalari boshidanoq yozilsin. Eng muhim qarorlar kod yozilishidan oldin qabul qilingan edi.
  3. O’lchov taxmindan ustun. Xotiraning 205 MB dan 107 MB ga tushishi rejada yo’q edi. Bu yechim o’lchovdan chiqdi.
  4. Sun’iy intellekt o’zi ishga tushira oladigan testlar kerak. Dasturda sichqoncha va klaviaturani sun’iy ravishda boshqaradigan ichki test bor, u haqiqiy oynada bugun 222 ta tekshiruv o’tkazadi. U qo’shilganda 4 ta xato topildi va tuzatildi.

Maqola ustida ishlagan ikki kunda

Bu maqolani yozayotgan paytimda ham ish to’xtamadi: 10 va 11-noyabr kunlari BigText yana uchta versiyani chiqardi, 0.5.0, 0.6.0 va 0.7.0. Bu safar asosiy e’tibor katta fayllarga emas, kod bilan ishlashga qaratildi.

  • Kod ranglarda. Python, JavaScript, TypeScript, Java, Kotlin, Swift, Dart, C#, C/C++, Go, Rust, PHP, Ruby, Lua, PowerShell va shell skriptlari, shuningdek CSS, Markdown, YAML, Dockerfile va Makefile fayllari rangli ko’rinadi.
  • Kod muharriridagidek ko’rinish. One Dark ranglari, satr boshidagi bo’shliqlar o’rnida nuqta va strelkalar emas, ingichka indent chiziqlari. «Ko’rinish → Mavzu → Kod ranglari» menyusida yana oltita tema bor: Monokai, GitHub va Solarized, har biri qora va oq variantda.
  • Papka paneli va tezkor o’tishlar. Papka chap tomonda Sublime Text’dagidek daraxt bo’lib ochiladi. Ctrl+P faylni nomining bir necha harfi bo’yicha topadi, Ctrl+R fayldagi funksiya va klasslar ro’yxatini ochadi, Ctrl+/ satrlarni izohga oladi, qavs va qo’shtirnoqlar esa o’zi yopiladi. Paneldan fayl yaratish, nomini o’zgartirish va savatchaga o’tkazish ham mumkin.
  • Serverdagi loglar. user@server:/var/log/app.log manzili SSH orqali ochiladi. Faylning oxirgi megabaytlarini ochib, keyin tail -F kabi kuzatib borish ham mumkin. https:// va s3:// manzillardagi fayllar yuklab olinadi.
  • Sakkizta interfeys tili. O’zbek, rus va ingliz tillariga xitoy, ispan, portugal, nemis va turk tillari qo’shildi. Birinchi ishga tushganda dastur tizim tilini o’zi tanlaydi.

Bu yangiliklar ham yuqoridagi qoidaga bo’ysunadi: kod faqat ekranda ko’rinib turgan qatorlarda bo’yaladi, papka esa faqat ochilganda o’qiladi.

Natija

BigText bugun Windows, Linux va macOS tizimlarida ishlaydi. U bepul va ochiq kodli, litsenziyasi MIT. Interfeysi sakkiz tilda, jumladan o’zbek tilida. Katta faylni ochishdan tashqari u quyidagilarni ham qiladi:

  • regulyar ifoda bilan qidiradi, qatorlarni filtrlaydi va butun fayl bo’yicha almashtiradi;
  • loglarda vaqt bo’yicha o’tadi, darajalar bo’yicha saralaydi va o’sib borayotgan faylni tail -F kabi kuzatadi;
  • CSV va JSON fayllarni jadval va daraxt ko’rinishida ochadi;
  • ikkita ulkan faylni solishtiradi;
  • .gz, .zst, .zip va .tar ichidagi fayllarni qo’lda ochmasdan o’qiydi.
Ikki log fayl solishtirilgan: 425 ming qatordan to’rtta farq 0,04 sekundda topildi.

O’lchovlarni o’zingiz takrorlashingiz mumkin. Test faylini yaratuvchi dastur va benchmark portativ arxivlar (.zip va .tar.gz) ichida bor:

gen-testfiles --only random-lines-10g.txt
bigtext --bench-ui testdata/random-lines-10g.txt --report report.txt

50 GB lik fayl shu 10 GB lik faylni besh marta ketma-ket ulash orqali olingan.

Agar sizda ham muharriringiz ocha olmaydigan fayl bo’lsa, BigText dasturida sinab ko’ring va natijasini yozib yuboring.

Categorized in:

Tagged in:

,