Компьютерная программа узнаёт всё о любом предмете, анализируя картинки
Ассоциация "слово-изображение" является одним из основных механизмов человеческой памяти. В детстве она помогает человеку изучить язык по вербализации того, что он видит, а во взрослом возрасте люди расширяют набор понятий или учат иностранные языки. Теперь исследователи из Вашингтонского университета (University of Washington) и Алленского института искусственного интеллекта (Allen Institute for Artificial Intelligence) создали первую полностью автоматизированную компьютерную программу под названием LEVAN, которая самостоятельно учит себя всему на основе концепции визуализации, связывая слова с изображениями.
LEVAN расшифровывается как Learning EVerything about Anything ("изучая всё обо всём"). Программа ищет определенное слово из миллионов строчек текста в Google-книгах. Затем слово связывается с изображениями, найденными в Интернете. Такой подход, по мнению разработчиков, даёт LEVAN возможность узнать все возможные значения слова. В конце концов программа отображает результат как широкий список изображений, который пользователь может изучить для быстрого и подробного понимания предмета.
"Суть программы заключается в поиске ассоциаций между текстовыми и визуальными данными, – рассказывает Али Фархади (Ali Farhadi), доцент кафедры компьютерной науки и техники. – Программа учится объединять широкий набор фраз с пикселями в изображениях. Это значит, что она может распознавать конкретные понятия, когда видит их".
Как только вводится слово, LEVAN ищет результаты и сохраняет только визуальные модификаторы для своих понятий. Абстрактные понятия, которые нельзя визуализировать (например, "моя лошадь"), игнорируются, в то время как более конкретные понятия, вроде "скачущая лошадь", "деревянная лошадь", остаются. Затем программа ищет доступные изображения, которые объединяются с понятиями, сочетаются и классифицируются для показа пользователю.
В отличие от других систем ассоциаций, таких как Watson, которые группируют заданные слова, чтобы найти связанные фразы, алгоритм LEVAN эффективно сочетает в себе группирование слов и распознавание образов.
На сегодняшний день система включает в себя более 50 тысяч вариаций 150 понятий, и отметила более 10 миллионов изображений как потенциально соответствующие. Однако 150 понятий – очень ограниченный набор, поэтому LEVAN предстоит ещё немало учиться. Исследователи приглашают всех желающих поучаствовать в проекте и предложить свои слова на странице программы.
В будущем систему планируется использовать для повышения эффективности обучения.
