Перейти к содержанию
    

Автоматическое распознавание паттернов и трендов

Народ поделитесь идеей на основании какого алгоритма реализуется такое.

- есть данные измерений за определенный период времени - наблюдения велись годы, накопилось много данных.

Известно, что результат измерения имеет некоторые закономерности, которые зависят от предыдущей динамики поведения данной величины - например исторических и локальных максимумов, минимумов, изменения скорости нарастания и т.д.

Нужно напиcать программу (для начала в Матлабе), которая смогла бы обнаруживать повторяющиеся паттерны в исторических данных и на основании них с определенной достоверностью смогла бы предсказать результат в ближайшем будущем - ну хотя бы тренд. Паттерны, заранее неизвестны, хотя некоторые закономерности были обнаружены. Один и тот же паттерн может иметь ту же форму, но отличающиеся амплитуды. Программа должна самообучаться на исторических данных.

 

Например (у меня другая величина, но похоже) - как если бы у вас были в наличии измерения среднесуточной температуры на улице за N десятков лет. Скормив эти данные программе, она должна распознать самостоятельно паттерн "зима-весна-лето-осень" и "предсказать", что с верятностью более 50% среднесуточная температура в мае должна быть выше, чем в марте, и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Например (у меня другая величина, но похоже) - как если бы у вас были в наличии измерения среднесуточной температуры на улице за N десятков лет. Скормив эти данные программе, она должна распознать самостоятельно паттерн "зима-весна-лето-осень" и "предсказать", что с верятностью более 50% среднесуточная температура в мае должна быть выше, чем в марте, и т.д.

 

Зачем же погоду? Тогда надо сразу курс доллара предсказывать! Миллионером станете. :)

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Торговля на бирже такая торговля.

 

Модель источника этих данных надо бы иметь.

 

Если модели нет, то предположения о ней (AR, ARMA) и о ее порядке. Сейчас, наверное, что-то более модное изобрели.

 

Как вы сами понимаете, чем больше предположений, тем ниже достоверность предсказания.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Зачем же погоду? Тогда надо сразу курс доллара предсказывать! Миллионером станете. :)

Может быть. И нафиг тот инжиниринг. Кстати если смотреть на тот же курс доллара в разрезе часовых торгов, то там вполне четкие картинки рисуются - как мне опытные трейдеры подсказали.

Если модели нет, то предположения о ней (AR, ARMA) и о ее порядке.

Можете сказать, что это такое? Или кинуть ссылкой?

 

Может быть корреляционный анализ?

Я тоже думал про коррелляцию и собственно думал, что если потратить достаточно вычислительного времени на вычмсление коррелляции всего со всем, то можно достичь вполне достоверных результатов предсказывания. Только вот как правильно его применить применительно к этой проблеме.

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

нда..

 

http://igtfy.com/?q=arma+model

 

Можете сказать, что это такое? Или кинуть ссылкой?

 

Ну а это совсем прекрасно:

 

четкие картинки рисуются

опытные трейдеры подсказали

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

 

Спасибо.

Я вот подумал - допустим если некоторые паттерны все-же известны, то можно было бы попытаться их найти. Вопрос только в том, как.

Я так понимаю сходная задача используется при распознавании жестов - ведь скорости и амплитуды там разные.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Все вы правильно подумали. Задача нахождения и/или создания опорных последовательностей для классификации - отдельная задача. Не менее сложная, чем сама классификация.

 

И еще совершенно правильная ваша идея: инженеры, которые полный рабочий день заняты классификацией неважно чего, жестов или звуков, уже наверняка попробовали свои алгоритмы на котировках. И теперь не знают, куда деваться от денег. Примерно, как в рекламе форекса.

 

А теперь, когда в стандартной поставке матлаба есть возможность работы с терминалами рейтерс и блумберг, количество богачей будет только увеличиваться.

 

Я вот подумал - допустим если некоторые паттерны все-же известны, то можно было бы попытаться их найти. Вопрос только в том, как.

Я так понимаю сходная задача используется при распознавании жестов - ведь скорости и амплитуды там разные.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Может быть. И нафиг тот инжиниринг. Кстати если смотреть на тот же курс доллара в разрезе часовых торгов, то там вполне четкие картинки рисуются - как мне опытные трейдеры подсказали.

 

Я же не просто позубоскалить, а с тем намеком, что программы типа предсказателей биржевых курсов довольно распространены, хотя и далеко не всегда соответствуют заявленным характеристикам. Т.е. их лучше искать не на форуме по электронике, а в других местах поближе к экономическим кругам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Деньги любят преобразование Гильберта-Хуанга (HHT)

+

нейронная сеть )

 

http://statmod.ru/_diploma/2012/15_5_senov.pdf

 

http://prodav.ru/hht/index.html

 

Однако профпригодность или злонамеренность разных ЦБ не оценит никакая программа

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Гость TSerg

" Все давно украдено"

Рекомендую след. пакеты, не менее мощные чем Matlab, но ориентированные на обработку стат.данных, временных рядов и по другим стат. операциям:

- SPSS: https://ru.wikipedia.org/wiki/SPSS

- Статистика: https://ru.wikipedia.org/wiki/Statistica

 

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

" Все давно украдено"

Рекомендую след. пакеты, не менее мощные чем Matlab, но ориентированные на обработку стат.данных, временных рядов и по другим стат. операциям:

- SPSS: https://ru.wikipedia.org/wiki/SPSS

- Статистика: https://ru.wikipedia.org/wiki/Statistica

Зачем, если Матлаб все это также умеет при подключении соответствующих тулбоксов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Матлаб не умеет работать быстро, а также плохо оперирует большими массивами данных.

 

Но, как и в любом деле, должны быть глубокие знания о предметной области, а не только владение инструментарием, пусть даже и самым лучшим. Тем более в такой для многих привлекательной области, как торговля.

 

Зачем, если Матлаб все это также умеет при подключении соответствующих тулбоксов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Присоединяйтесь к обсуждению

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Гость
Ответить в этой теме...

×   Вставлено с форматированием.   Вставить как обычный текст

  Разрешено использовать не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отображать как обычную ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.

×
×
  • Создать...