Jump to content

    

Машинное обучение по известному поведению

А хочу, чтобы один или два раза показал, и робот, как слуга начал повторять и с каждым разом все лучше и лучше. Весь смысл в том, чтобы убрать программирование. Вообще.

Machine Learning работает по принципу GIGO: Garbage In-Garbage Out. Пока не будет понимания какие входные данные нужны - ничего вменяемого добиться не получится.

Или подождите лет 20-30, или сделайте хотя бы на бумажке алгоритм для человека. Если человек со своими непревзойдёнными способностями к распознаванию начнёт правильно решать задачу - можете начинать формировать набор входных данных.

 

А посылать компьютер в стиле "пойди туда, не знаю куда, принеси то, не знаю что" заканчивается всегда недоумеванием почему результат такой неправильный.

 

Share this post


Link to post
Share on other sites
Или подождите лет 20-30, или сделайте хотя бы на бумажке алгоритм для человека. Если человек со своими непревзойдёнными способностями к распознаванию начнёт правильно решать задачу - можете начинать формировать набор входных данных.

Да есть у меня алгоритм, и даже не на бумажке, а уже запрограммированный в железо - автомат, который включает и отключает свет, когда нужно и все довольны. Логи его работы и приведены выше. Поэтому собственно "как надо" уже есть в идеальном виде.

Что я хочу: с помощью machine learning научить другое железо делать точно такую же операцию, не говоря этому железу об алгоритме управления ни слова, а только скармливая исходные и полученные данные от работы первого. Я точно знаю, какие данные нужны, так как первому алгоритму их стопроцентно хватает для правильной работы. Надеюсь так понятно?

Share this post


Link to post
Share on other sites

Тогда это стандартная задача по System Identification (не знаю точного перевода). Но тот факт что задача стандартная не гарантирует того что решение будет простым и удовлетворяющим условия задачи.

Share this post


Link to post
Share on other sites
Тогда это стандартная задача по System Identification (не знаю точного перевода). Но тот факт что задача стандартная не гарантирует того что решение будет простым и удовлетворяющим условия задачи.

Я конечно, не Геохот, который таким образом хочет научить машину водить, как человек. Поэтому ставлю задачи попроще.

 

Share this post


Link to post
Share on other sites
В 20.12.2016 в 13:44, syoma сказал:

Я конечно, не Геохот, который таким образом хочет научить машину водить, как человек.

Кажется он сдулся. Никаких новостей кроме основания собственной церкви. 

Неспроста видать гугле до сих пор ничего не запустил в коммерческую эксплуатацию.

Так что всем кто не может поставить армию из 100500 яйцеголовых об стену долбиться, видимо и к лучшему задачи попроще ставить. Чем пустым пиаром заниматься.

Share this post


Link to post
Share on other sites

Нет смысла решать задачу, если она не сформулирована.
 Чего желаем в итоге добиться и зачем?
 Автоматически включать свет в пасмурную погоду и выключать в солнечную? Это сделать легко. А вот узнать нужно ли это в данный момент кому-то  - невозможно.
Поведение человека зависит от слишком многих факторов, часто от него самого независимых и не осознаваемых.  Пасмурно, я решил почитать книгу - мне нужен свет. решил посмотреть телевизор - свет мешает. Это мне мешает, а тете Дусе - нет.
 Наконец, в два часа ночи я включил свет чтобы сходить на горшок. Это событие крайне нерегулярное и формализовать все эти случаи нельзя.
 В итоге, кажется, что это очередная попытка соорудить  телефон со 256 мелодиями среди которых нет единственно нужной - обычного звонка. Только затея куда дороже телефона.
Но может я просто не вижу всех возможных областей применения самообучающихся алгоритмов.
 Когда-то читал, что экспериментаторы заставили бегать по веревке взад-вперед тележку с вертикально стоящим шестом. Шест падал и нужно было удержать равновесие. Сначала попытка наобум, шест падал. Каждая более удачная попытка поощрялась. В итоге, после 1000 попыток шест уже удерживался около минуты. Но там, помнится, схема на персептронах была ( нейросеть).

Share this post


Link to post
Share on other sites

Да, нейросеть. Изучить основы и начать экспериментировать можно за неделю. Из логов нужно излечь поминутно полное состояние системы и действия пользователя.

Share this post


Link to post
Share on other sites
On 8/31/2019 at 12:03 AM, Егоров said:

Поведение человека зависит от слишком многих факторов, часто от него самого независимых и не осознаваемых.  Пасмурно, я решил почитать книгу - мне нужен свет. решил посмотреть телевизор - свет мешает. Это мне мешает, а тете Дусе - нет.
 Наконец, в два часа ночи я включил свет чтобы сходить на горшок. Это событие крайне нерегулярное и формализовать все эти случаи нельзя.
 В итоге, кажется, что это очередная попытка соорудить  телефон со 256 мелодиями среди которых нет единственно нужной - обычного звонка. Только затея куда дороже телефона.

Ну для этого и ставятся датчики в нужных местах. И пример с горшком, в принципе, тут самый яркий. То есть ставим детектор движения в коридор и если ночью кто-то идет, то в 99% случаев он идет в туалет или попить водицы. Значит свет нужен. У меня сейчас такой алгоритм и без машинного обучения работает вдоме, но вся фишка этой темы в том, что я хочу реализовывать такие вещи не путем программирования жесткого алгоритма, а путем обучения.

С телевизором тоже - смотрим, когда работает телевизор - приглушаем свет. И опять таки - это можно запрограммировать, а можно и научить.

Share this post


Link to post
Share on other sites

Можно, наверное, обучить робота через ряд проб и ошибок, хватать мяч на лету. Конечная цель ясна и количество переменных ограничено. Все они "учителям" понятны.
Но есть неформализуемые события. События происходящие из-за многих случайных ( непознанных  нами) факторов. Мы не только не можем оценить эти факторы количественно, нам количество факторов неизвестно. Неизвестно в принципе.
 Отдельный вопрос- кто и какой ценой будет обучать? Пользователь? Мне не нужна "умная стиральная машина". Мне нужна та, которая тупо стирает. А год возиться с умницей, выговаривая ей за непростиранные носки или застиранные до дыр футболки, пока она не начнет минимально сама соображать, мне неинтересно. Тем более, что стоить "умница" будет десятикратно и чаще будет ломаться, чем работать.
 Все это от лукваого. От гейропейского видения мира. Впарить во что бы то ни стало обывателю очередную дорогую, недолговечную и  практически  бесполезную вещицу.

Share this post


Link to post
Share on other sites
22 hours ago, syoma said:

вся фишка этой темы в том, что я хочу реализовывать такие вещи не путем программирования жесткого алгоритма, а путем обучения.

возможно стоит посмотреть в сторону Reinforcement Learning - тема сегодня не очень популярная, но достаточно перспективная.

но в этом случае, надо какой-то рычажок/кнопку, чтобы давать подкрепление нейросетке: угадала она или нет "желание" хозяина

Share this post


Link to post
Share on other sites
14 hours ago, Егоров said:

Но есть неформализуемые события. События происходящие из-за многих случайных ( непознанных  нами) факторов. Мы не только не можем оценить эти факторы количественно, нам количество факторов неизвестно. Неизвестно в принципе.

Скажем так. Я практически уверен, что в конкретном случае включения света в тубзике, можно достичь 90%-ной вероятности принятия верных решений или лучше, учитывая влияние только ограниченного количества известных факторов. Для каждой конкретной задачи их нужно определять вручную, но в принципе это должно быть возможно.

Просто представьте себе, что вы сказочно богат и на входе в тубзик поставили живого швейцара, который просто наблюдает за вами и вашими привычками. Сначала вы себе сами ходите в тубзик днем и ночью, включая и выключая свет вручную. Через очень быстрое время швейцар поймет, когда вам нужен свет и начнет предусмотрительно включать вам свет, выключать его за вами и может быть даже открывать дверь. В большинстве случаев он не ошибется.

3 hours ago, Doka said:

но в этом случае, надо какой-то рычажок/кнопку, чтобы давать подкрепление нейросетке: угадала она или нет "желание" хозяина

Ну да, конечно что-то такое будет присутствовать - надо же какой-то кнут/пряник. Не подкините практических ссылок применеия этого Reinforcement Learning?

Share this post


Link to post
Share on other sites
1 hour ago, syoma said:

Ну да, конечно что-то такое будет присутствовать - надо же какой-то кнут/пряник. Не подкините практических ссылок применеия этого Reinforcement Learning?

не подкину.. он только-только находит первые практические применения.

из теории (правда немного utdated) есть вот: 20140621071329!Voron-ML-RL-slides.pdf

Share this post


Link to post
Share on other sites

Если все говорят "нельзя", но очень хочется, то дерзайте.
В науке и технике отрицательный результат - тоже результат. Это не бизнес.
Но желаю вам искренне добиться результата некого положительного.

Share this post


Link to post
Share on other sites
11 hours ago, Егоров said:

Это не бизнес

+1000

это действительно так... т.е. надо отдавать себе отчёт, что это делается больше для фана/экспириенса (пусть даже отрицательного)

Share this post


Link to post
Share on other sites

 

13 hours ago, Егоров said:

Если все говорят "нельзя", но очень хочется, то дерзайте.

Когда уважаемый, но пожилой учёный утверждает, что что-то возможно, то он почти наверняка прав. Когда он утверждает, что что-то невозможно, — он, весьма вероятно, ошибается. © Кларк. :-)

Quote

События происходящие из-за многих случайных ( непознанных  нами) факторов.

И туда же от него же: Любая достаточно развитая технология неотличима от магии.

Quote

это действительно так... т.е. надо отдавать себе отчёт, что это делается больше для фана/экспириенса (пусть даже отрицательного)

Это делается и для бизнеса тоже. Если заработает, то будет весьма серьезный бизнес-кейс.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now