3D-моделирование стало доступным для слепых программистов

Большинство программ для 3D-проектирования требуют визуального перетаскивания и вращения, что представляет собой проблему для слепых и слабовидящих пользователей. В результате появился целый ряд аппаратных средств, робототехникакодирование и инженерная работа недоступный для заинтересованных программисты. Программист с ослабленным зрением может написать отличный код. Но из-за отсутствия доступных программное обеспечение для моделированияпрограммист не может моделировать, проектировать и проверять физические и виртуальные компоненты своей системы.

Однако новые 3D моделирование инструменты начинают менять это уравнение. Новый прототип программы под названием A11yShape стремится ликвидировать разрыв. Уже существуют инструменты на основе кода, которые позволяют пользователям описывать 3D-модели в тексте, например популярный программное обеспечение OpenSCAD. Другие недавние инструменты для моделей большого языка генерировать 3D-код из подсказок на естественном языке. Но даже при этом слепые и слабовидящие программисты по-прежнему полагаются на обратную связь со зрячими, чтобы преодолеть разрыв между их кодом и его визуальным выводом.

Слепым и слабовидящим программистам раньше приходилось полагаться на зрячего человека, который визуально проверял каждое обновление модели и описывал, что изменилось. Но с помощью A11yShape слепые и слабовидящие программисты могут самостоятельно создавать, проверять и уточнять 3D-модели, не полагаясь на зрячих коллег.

A11yShape делает это, создавая доступные описания модели, организуя модель в семантическую иерархию и гарантируя, что каждый шаг работает с программами чтения с экрана..

Проект начался, когда Лян Хэдоцент кафедры информатики Техасского университета в Далласе, поговорил со своим однокурсником с плохим зрением, который изучал 3D-моделирование. Он увидел возможность изменить стратегии кодирования своего одноклассника, изученные в курс 3D-моделирования для слепых программистов в Вашингтонском университете в упрощенный инструмент.

«Я хочу разработать что-то полезное и практичное для группы», — говорит он. «Это не просто что-то, что я создал из своего воображения и применил к группе».

Переосмысление вспомогательного 3D-проектирования с помощью OpenSCAD

A11yShape предполагает, что пользователь использует OpenSCAD, редактор 3D-моделирования на основе сценариев. Программа добавляет функции OpenSCAD для подключения каждого компонента моделирования к трем панелям пользовательского интерфейса приложения.

OpenSCAD позволяет пользователям полностью создавать модели путем набора текста, устраняя необходимость щелчков и перетаскивания. Другие распространенные графические пользовательские интерфейсы трудно ориентироваться слепым программистам.

A11yshape представляет панель помощи AI, где пользователи могут отправлять запросы в режиме реального времени ЧатGPT-4o для проверки проектных решений и отладки существующих сценариев OpenSCAD.

Три панели A11yShape синхронизируют код, описания ИИ и структуру модели, поэтому слепые программисты могут самостоятельно обнаружить, как изменения кода влияют на проекты.Аньхун Го, Лян Хэ и др.

Если пользователь выбирает фрагмент кода или компонент модели, A11yShape выделяет соответствующую часть на всех трех панелях и обновляет описание, поэтому слепые и слабовидящие пользователи всегда знают, над чем они работают.

Отзывы пользователей Улучшенный доступный интерфейс

Исследовательская группа набрала 4 участников с различными нарушениями зрения и программирование фоны. Команда попросила участников разработать модели с использованием A11yShape и наблюдала за их рабочими процессами.

Один участник, который никогда раньше не занимался моделированием, сказал, что этот инструмент «обеспечил [the blind and low-vision community] с новым взглядом на 3D-моделирование, демонстрируя, что мы действительно можем создавать относительно простые структуры».

Участники также сообщили, что из-за длинных текстовых описаний по-прежнему сложно понять сложные формы, а некоторые сказали, что без необходимости прикасаться к физической модели или использовать тактильный дисплейбыло трудно полностью «увидеть» дизайн в их воображении.

Чтобы оценить точность описаний, созданных ИИ, исследовательская группа набрала 15 зрячих участников. «По шкале от 1 до 5 описания получили средние баллы от 4,1 до 5 за геометрическую точность, ясность и отсутствие галлюцинаций, что позволяет предположить, что ИИ достаточно надежен для повседневного использования».

Новая вспомогательная программа для слепых и слабовидящих программистов A11yShape помогает программистам с ограниченными возможностями по зрению проверять конструкцию своих моделей.Источник: Аньхун Го, Лян Хэ и др.

Обратная связь поможет информировать будущие итерации, которые, по его словам, могут включать в себя тактильные дисплеи в режиме реального времени. 3D-печатьи более краткие аудиоописания, созданные искусственным интеллектом.

Он отметил, что помимо применения в профессиональном сообществе компьютерного программирования, A11yShape также снижает входной барьер для компьютерного программирования для слепых и слабовидящих. учащиеся.

«Людям нравится возможность творчески выражать себя… использовать такие технологии, как 3D-печать, для создания вещей для удобства или развлечения», — говорит Стефани Люди, директор лаборатории DiscoverABILITY и профессор кафедры информатики и инженерии Университет Северного Техаса. «Люди, которые слепы и слабовидящие разделяю этот интересгде A11yShape служит моделью для поддержки доступность в сообществе производителей».

Команда представила A11yshape в октябре на выставке Конференция АКТИВЫ в Денвере.