Программные продукты и системы

Разработанная реализация нейронной сети работает практически так же, как логистическая регрессия, и на порядок быстрее реализации на базе Lasagne. Реализация на базе Pytorch при увеличении размера вектора начинает работать значительно медленнее, поскольку она основана на плотных, а не на разреженных матрицах. Разработанная архитектура легко расширяема до поддержки не только пар, но и троек, четверок признаков и т.д. Однако в нейронной сети, в которой каждый нейрон скрытого слоя связан с тремя нейронами на входном слое, время предсказания и обучения значительно возрастает. Использование разработанной реализации целесообразно на практике, особенно в высоконагруженных системах, работающих в режиме реального времени, и только в том случае, когда каждый нейрон скрытого слоя связан с небольшим количеством нейронов на входе. В противном случае предпочтительно использовать традиционные плотные матрицы.

Подробное описание дается в статье «Проектирование быстрой программной реализации специализированной нейросетевой архитектуры с разреженными связями», автор Федоренко Ю.С. (Московский государственный технический университет им. Н.Э. Баумана, Москва).