Самое главное это понять что ничего магического НС делать не могут: на самом деле это просто линейные функции, то есть задается плоскость и нейрон определяет с какой стороны от нее находятся входные данные, ну а обучение это просто выбор этой плоскости. Более сложные НС это еще простенькая схемка приделанная к нескольким нейронам. Вот и получается что они могут решать только задачи которые (пусть приближенно) можно описать таким тривиальным способом.