SketchAgentBench въвежда нов стандарт за оценка на 3D пространственото мислене при LLM
Източник: United States Department of Transportation - Federal Highway Administration / Wikimedia Commons
Група изследователи от водещи институти представи SketchAgentBench — специализиран софтуерен бенчмарк за стриктна количествена оценка на триизмерното пространствено мислене и инженерното скициране при големите езикови и мултимодални модели [1]. Резултатите показват, че макар съвременните модели да пишат перфектен програмен код, те често се провалят при базови геометрични трансформации в триизмерното пространство.
Методология: От текстов чертеж до функционален CAD манифест
SketchAgentBench поставя пред изкуствения интелект задачата да генерира параметрични чертежи на механични сглобки — от прости зъбни предавки до сложни шарнирни системи. Оценяването не се базира на визуално сходство, а на стриктна кинематична симулация: дали начертаният механизъм може да се движи без вътрешни колизии.
Тестовете разкриват, че дори водещи комерсиални модели се провалят в над 48% от случаите при определяне на траекторията на въртене на три взаимно свързани оси.
Причини за пространствения дефицит: Токенизация срещу геометрия
Авторите на изследването посочват, че фундаменталният проблем се корени в 1D токенизацията на текста и стандартните пач-базирани визуални енкодери (ViT), които губят информация за топологичната непрекъснатост. За преодоляване на този бариерен праг ще са необходими модели, обучени върху векторни дървета и неевклидова геометрия.
Инфографика: Аналитичен преглед на Svetni.me
Значение за автоматизацията на CAD/CAM и архитектурния дизайн
Пълната автоматизация на инженерното проектиране остава невъзможна без модели, способни на безпогрешно пространствено моделиране. Появата на SketchAgentBench дава на индустрията точен измерител, който да насочи следващата вълна от изследвания към интеграция на физически двигатели директно в тренировъчния цикъл на невронните мрежи.
Компаниите за инженерен софтуер ще използват тези резултати, за да разработят хибридни агенти, съчетаващи невронни генератори с класически детерминистични геометрични ядра.