llamafile

llamafile е проект с отворен код, иницииран от Mozilla, който превръща големите езикови модели (LLM) в единични изпълними файлове (executable), работещи на множество операционни системи без нужда от допълнителна инсталация или сложна конфигурация.

Проектът съчетава две ключови технологии: llama.cpp (за бърза инференция на модели) и Cosmopolitan Libc (за компилиране на код, който работи на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD върху x86-64 и ARM64 архитектури). Всеки .llamafile съдържа както теглата на модела, така и целия необходим софтуер за изпълнението им, включително уеб сървър с графичен потребителски интерфейс за чат и съвместим с OpenAI API интерфейс.