BootGPT: Езиков модел, събран в 512 байта, който стартира директно от зареждащия сектор на компютъра
Източник: GitHub / Kerlenton
В епоха, в която съвременните езикови модели изискват гигабайти памет и стотици хиляди графични процесори, разработчикът зад проекта BootGPT изуми инженерната общност, успявайки да компресира работещ генеративен алгоритъм в едва 512 байта — пространството на един класически Master Boot Record (MBR) сектор [1]. Системата стартира директно при включване на компютъра без операционна система.
Чист 16-битов real-mode x86 асемблер и матрици от вероятности
За да се вмести в лимита от половин килобайт заедно с магическия подпис на MBR (0x55AA), авторът използва силно квантувани таблици на преходите на n-грами и компактен псевдослучаен генератор на конгруентни числа. Кодът комуникира директно с BIOS прекъсването INT 10h за извеждане на символи на екрана.
Философският контраст с гигантите на изчислителния свръхразход
Макар BootGPT да има силно ограничен речник и да не може да състави сложен научен трактат, проектът доказва чистото математическо ядро на предсказването на последователности. Той напомня, че самата идея за изкуствен интелект не започва с гигантски центрове за данни, а с елегантни алгоритмични принципи.
Значението на крайния минимализъм за бъдещето на квантуването
BootGPT е нещо повече от виртуозно хакерско упражнение; то е вдъхновение за бъдещето на вградения интелект (Edge AI). В момента индустрията страда от затлъстяване на софтуерните зависимости — типичното AI приложение носи гигабайти PyTorch библиотеки, CUDA драйвери и Python обвивки само за да изведе един ред текст. Демонстрацията, че предсказването може да живее в зареждащия сектор на bare-metal хардуер, стимулира изследванията в областта на ултра-екстремната квантизация и специализираните ASIC микроконтролери за Интернет на нещата (IoT), където сензорите трябва да разпознават аномалии с микроскопична енергийна консумация.
Анализ на MBR сектора, 16-битовия код, прекъсванията на BIOS и ултра-квантуването.