Проектът PS5LM портна Llama.cpp за PlayStation 5: Локален извод на квантувани GGUF модели върху конзолен хардуер

Снимка: Wikimedia Commons / Evan-Amos

В едно от най-впечатляващите хардуерни хакерски постижения на годината разработчикът с псевдоним Cobanov представи проекта с отворен код PS5LM, който успешно портва популярната библиотека Llama.cpp за игровата конзола PlayStation 5, превръщайки масовото геймърско устройство в свръхефективна станция за локален изкуствен интелект с отворен код (open-source AI) [1].

Проектът, предизвикал фурор в общността на Hacker News, използва софтуерни пролуки в конзолния фърмуер за отключване на директен достъп до хардуера, демонстрирайки как потребителска техника на цена под $450 може да конкурира специализирани работни станции за хиляди долари.

Хардуерният коз: 448 гигабайта в секунда

В основата на успеха на PS5LM лежи специфичната архитектура на конзолата на Sony. За разлика от стандартните настолни компютри, където процесорът разчита на сравнително бавна DDR4 или DDR5 памет, а графичната карта разполага със собствен отделен пул, PlayStation 5 използва обединена памет (Unified Memory Architecture).

Конзолата е оборудвана с 16 GB свръхбърза GDDR6 памет с пропускателна способност от 448 GB/s, споделена директно между 8-ядрения Zen 2 процесор и RDNA 2 графичното ядро. В областта на езиковите модели пропускателната способност на паметта (memory bandwidth) е най-критичният фактор, определящ скоростта на генериране на токени. За сравнение, стандартен настолен компютър с DDR5 рядко надхвърля 80 GB/s, правейки конзолата над пет пъти по-бърза при четене на моделните тегла.

Архитектура на портинга и GGUF квантуване

За да постигне стабилен извод, Cobanov е компилирал Llama.cpp с персонализиран шейдърен бекенд, адаптиран за графичните примитиви на Sony. Системата работи директно с квантувани модели в индустриалния формат GGUF (предимно 4-битови и 5-битови схеми на квантуване - quantization).

При практически тестове моделът Llama-3-8B-Instruct се зарежда изцяло в GDDR6 паметта, заемайки около 5.5 GB и оставяйки предостатъчно място за дълъг контекстен буфер от 16 000 токена. Скоростта на генерация достига впечатляващите 38 токена в секунда – скорост, надвишаваща скоростта на човешко четене и съпоставима с професионални графични карти от най-висок клас.

Периферни изчисления: 60 милиона спящи AI сървъра

Проектът PS5LM има огромно значение за бъдещето на периферните изчисления (edge computing). В света има инсталирана база от над 60 милиона конзоли PlayStation 5. Досега този колосален изчислителен капацитет се използваше единствено за рендериране на видеоигри.

Възможността конзолата да стартира локални модели отваря революционни перспективи:

1. Локална поверителност: Потребителите получават мощен персонален асистент у дома, чиито данни никога не напускат локалната мрежа.
2. Интелигентни NPC в игрите: Разработчиците могат да използват нативния извод за създаване на неигрови персонажи (NPC) с динамичен диалог и непредвидимо поведение без скъпи облачни абонаменти.
3. Демократизация на изследванията: Студенти и ентусиасти получават достъп до високоскоростен хардуер за експерименти на цена, достъпна за масовия потребител.

Въпреки че Sony традиционно се бори срещу отключването на конзолите си от съображения за пиратство, успехът на PS5LM показва, че бъдещето на хардуера е в гъвкавостта. Когато потребителите осъзнаят, че холната им конзола е мощен невронен суперкомпютър, натискът върху производителите да отворят официален достъп за изчисления с изкуствен интелект ще стане неустоим.

Четири стълба на анализа: пропускателна способност на обединената GDDR6 памет, софтуерен портинг на Llama.cpp, реална производителност при 4-битово квантуване и превръщане на конзолите в периферни AI сървъри

Източници

1. Cobanov GitHub Repository, "PS5LM: Porting Llama.cpp and GGUF Inference to PlayStation 5 Unified GDDR6" (October 2026).
2. Hacker News Technical Discussion, "Thread on PS5LM: Running LLMs natively on jailbroken PS5 (id: 50122431)" (2026-10-16).
3. Eurogamer Digital Foundry, "PlayStation 5 as an AI Workstation: Exploring Unified Memory Bandwidth for Neural Networks" (2026).
4. Forest Aggregator Feed Item #314131, "Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console" (2026-10-16).