Биоинспирированная модель нейронной сети может хранить значительно больше воспоминаний

Исследователи разработали новую модель, вдохновленную недавними биологическими открытиями, которая демонстрирует повышенную производительность памяти. Это было достигнуто путем модификации классической нейронной сети.

Компьютерные модели играют решающую роль в исследовании процесса создания и сохранения воспоминаний и другой сложной информации в мозгу. Однако построение таких моделей является деликатной задачей. Сложная игра электрических и биохимических сигналов, а также сеть связей между нейронами и другими типами клеток создают инфраструктуру для формирования воспоминаний. Несмотря на это, кодирование сложной биологии мозга в компьютерную модель для дальнейшего изучения оказалось сложной задачей из-за ограниченного понимания лежащей в основе биологии мозга.

Исследователи из Окинавского института науки и технологий (OIST) усовершенствовали широко используемую компьютерную модель памяти, известную как сеть Хопфилда, включив в нее знания из биологии. Изменение привело к созданию сети, которая не только лучше отражает способ соединения нейронов и других клеток в мозге, но и способна хранить значительно больше воспоминаний.

Сложность, добавляемая к сети, делает ее более реалистичной, говорит Томас Бернс, доктор философии. студент в группе профессора Томоки Фукаи, который возглавляет отдел нейронного кодирования и вычислений мозга OIST.

«Зачем биологии вся эта сложность? Причиной может быть объем памяти», — говорит г-н Бернс.

В классической сети Хопфилда (слева) каждый нейрон (I, j, k, l) связан с другими попарно. В модифицированной сети, созданной г-ном Бернсом и профессором Фукаем, наборы из трех или более нейронов могут соединяться одновременно. Предоставлено: Томас Бернс (OIST)

Сети Хопфилда хранят воспоминания как паттерны взвешенных связей между различными нейронами в системе. Сеть «обучают» кодировать эти паттерны, после чего исследователи могут проверить ее память о них, представляя серию размытых или неполных паттернов и наблюдая, сможет ли сеть распознать их как те, которые она уже знает. Однако в классических сетях Хопфилда нейроны в модели взаимно соединяются с другими нейронами в сети, образуя ряд так называемых «парных» соединений.

Парные соединения показывают, как два нейрона соединяются друг с другом.

” data-gt-translate-атрибуты = “[{” attribute=””>synapse, a connection point between two neurons in the brain. But in reality, neurons have intricate branched structures called dendrites that provide multiple points for connection, so the brain relies on a much more complex arrangement of synapses to get its cognitive jobs done. Additionally, connections between neurons are modulated by other cell types called astrocytes.

“It’s simply not realistic that only pairwise connections between neurons exist in the brain,” explains Mr. Burns. He created a modified Hopfield network in which not just pairs of neurons but sets of three, four, or more neurons could link up too, such as might occur in the brain through astrocytes and dendritic trees.

Although the new network allowed these so-called “set-wise” connections, overall it contained the same total number of connections as before. The researchers found that a network containing a mix of both pairwise and set-wise connections performed best and retained the highest number of memories. They estimate it works more than doubly as well as a traditional Hopfield network. “It turns out you actually need a combination of features in some balance,” says Mr. Burns. “You should have individual synapses, but you should also have some dendritic trees and some astrocytes.”

Hopfield networks are important for modeling brain processes, but they have powerful other uses too. For example, very similar types of networks called Transformers underlie AI-based language tools such as ChatGPT, so the improvements Mr. Burns and Professor Fukai have identified may also make such tools more robust.

Mr. Burns and his colleagues plan to continue working with their modified Hopfield networks to make them still more powerful. For example, in the brain the strengths of connections between neurons are not normally the same in both directions, so Mr. Burns wonders if this feature of asymmetry might also improve the network’s performance. Additionally, he would like to explore ways of making the network’s memories interact with each other, the way they do in the human brain. “Our memories are multifaceted and vast,” says Mr. Burns. “We still have a lot to uncover.”

Reference: “Simplicial Hopfield networks” by Thomas F Burns and Tomoki Fukai, 1 February 2023, International Conference on Learning Representations.