SCM: Локално семантично търсене за macOS напълно изолира данните през Apple Neural Engine
Снимка: The Decoder / Apple Silicon
В платформата GitHub дебютира впечатляващият проект с отворен код SCM (Semantic Content Matching) — системен софтуерен демон за /pages/macos.html, който осъществява дълбоко семантично търсене сред абсолютно всички локални снимки, екранни записи и видео кадри на компютъра, използвайки ексклузивно хардуерните тензорни блокове /pages/apple-neural-engine.html [1].
Разработката е създадена от независимия софтуерен инженер Алън и решава един от най-трудните компромиси в съвременния компютинг: как да предоставим на потребителя интелигентно търсене на естествен език (като „касова бележка от ресторант в Рим“ или „слайд с графика за инфлацията от миналия вторник“), без да изпращаме личните му файлове към сървърите на технологичните гиганти.
Оптимизация чрез Core ML и минимална консумация
Ключовият технически триумф на /pages/scm.html е неговата невероятна енергийна ефективност. Докато подобни невронни процеси обикновено прегряват процесора и изтощават батерията на лаптопа за броени часове, авторът на SCM е компилирал компактни мултимодални модели за зрение през рамката /pages/coreml.html.
Моделът се изпълнява директно върху 16-ядрения невронен ускорител ANE на чиповете Apple Silicon (M1, M2, M3, M4). По време на фоновото индексиране на хиляди кадри централният процесор (CPU) и графичната карта (GPU) остават напълно незасегнати, а общата консумация на електрическа енергия не надвишава 1.8 вата.
Системата е напълно изолирана от интернет мрежата: SCM няма мрежови връзки (network sockets), не изпраща телеметрия и съхранява всички векторни индекси в криптирана локална SQLite база данни.
Контраст с фиаското на Microsoft Recall
Появата на SCM предизвика широк институционален отзвук, тъй като демонстрира по категоричен начин как трябваше да бъде проектирана технологията Recall на Microsoft. Докато Microsoft си навлече гнева на експертите по сигурност заради записването на некриптирани екранни снимки и съхраняването им в уязвими формати, SCM доказва, че /pages/multimodal.html семантичен анализ може да се извършва тихо, криптирано и напълно офлайн.
Проектът получи изключително високи оценки от общността в Hacker News и се разпространява свободно под лиценз MIT.
Дългосрочни системни и архитектурни последици
Успехът на SCM илюстрира фундаменталното архитектурно превъзходство на специализираните хардуерни блокове (NPU/ANE) в съвременните потребителски компютри. В продължение на десетилетия персоналният компютър бе просто пасивен файлов шкаф: за да намерите документ, трябваше да помните точното му име или датите на модификация. Опитът това да се промени чрез класическо текстово търсене по ключови думи (като Spotlight или Windows Search) никога не можеше да обхване визуалната и контекстуална природа на съвременния дигитален живот.
Доказвайки, че един 1.8-ватов невронен блок може непрекъснато и безопасно да превръща визуалния поток на работния плот в компактни семантични вектори, SCM проправя пътя към нова парадигма за локална операционна памет. В близко бъдеще операционните системи няма да търсят по имена на файлове, а по същност на събитията. Фактът, че този пробив идва от независим софтуерен инженер с отворен код, а не от корпоративните централи, е ярко напомняне, че истинските иновации в защитата на личното пространство винаги започват извън затворените облачни монополи.
Инфографика: Хардуерен пайплайн през Core ML и Apple Neural Engine без връзка с мрежата.