sifadin 0 28 июня, 2014 Опубликовано 28 июня, 2014 · Жалоба Здравствуйте! Задам два связных вопроса 1. Есть поток сообщений, который трудно описать числами, функциями. Вульгарный пример Допустим мы наблюдаем за островами на которых живут разные туземцы Мы можем наблюдать события. На одном острове зажгли факел, с другого на третий отправились туземцы Туземцы тоже различаются на группы есть еще какие-то события Нужно сделать вывод, построить гипотезы - эти острова разделяют три государства, два в состоянии войны, третье тоже что-то там... На это способен человек, такое предлагают в виде тестов Но если событий тысячи, они принадлежат разным процессам Ну например анализ криминала или маркетинговые исследования И их трудно формализовать нужен машинный анализ, чтобы строить гипотезы Какие есть подходы для таких задач. Может есть готовое ПО 2. При рассылке спам сообщений на форумы роботами учитывается контекст в котором применено слово смысл насколько я понял, что они учитывают вероятность появления связки слов для заданного контекста Существуют ли готовые базы данных такого рода цепочек пусть для ограниченно набора тем Просто тогда это способ создать метрику для событий, и тогда их уже можно пытаться математически обсчитать Спасибо Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
Виктория 0 29 июня, 2014 Опубликовано 29 июня, 2014 · Жалоба Здравствуйте! Задам два связных вопроса 1. Есть поток сообщений, который трудно описать числами, функциями. Вульгарный пример Допустим мы наблюдаем за островами на которых живут разные туземцы Мы можем наблюдать события. На одном острове зажгли факел, с другого на третий отправились туземцы Туземцы тоже различаются на группы есть еще какие-то события Нужно сделать вывод, построить гипотезы - эти острова разделяют три государства, два в состоянии войны, третье тоже что-то там... На это способен человек, такое предлагают в виде тестов Но если событий тысячи, они принадлежат разным процессам Ну например анализ криминала или маркетинговые исследования И их трудно формализовать нужен машинный анализ, чтобы строить гипотезы Какие есть подходы для таких задач. Может есть готовое ПО Анализ формальных понятий, концептуальное моделирование... Должны, наверно, быть какие-то готовые средства автоматического построения онтологий. Например Concept Explorer ConExp_2000.pdf Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
AndreyVN 0 30 июня, 2014 Опубликовано 30 июня, 2014 · Жалоба Здравствуйте! 1. Есть поток сообщений, который трудно описать числами, функциями. ... skip... Просто тогда это способ создать метрику для событий, и тогда их уже можно пытаться математически обсчитать Спасибо Математика оперирует с числами. Первая часть задачи - выбрать пространство описания, то есть, перевести события, сообщения и т.п. в формальные классы, имеющие численное выражение. Дальше, применимы методы многомерной статистики и стандартные программные продукты. Таков мой взгляд на вашу задачу. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
Гость TSerg 30 июня, 2014 Опубликовано 30 июня, 2014 · Жалоба Научно-технический базис - дисциплина "Исследование операций" (operations research/management science) Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
sifadin 0 30 июня, 2014 Опубликовано 30 июня, 2014 · Жалоба Анализ формальных понятий, концептуальное моделирование... Должны, наверно, быть какие-то готовые средства автоматического построения онтологий. Например Concept Explorer Спасибо посмотрю Научно-технический базис - дисциплина "Исследование операций" (operations research/management science) Каким образом - там же оптимизация, линейное программирование Математика оперирует с числами. Первая часть задачи - выбрать пространство описания, то есть, перевести события, сообщения и т.п. в формальные классы, имеющие численное выражение. Дальше, применимы методы многомерной статистики и стандартные программные продукты. Таков мой взгляд на вашу задачу. Да все это так, но язык ближе к естественному Анализ историй болезни напр Я слышал про то что там и используют цепи маркова (в поисковиках) Ну напр нас интересуют лыжи. Мы вбиваем их в яндекс Получаем тысячи ссылок, в каждом текст про лыжи. Какие-то из них годные для каждого такого текста мы вычисляем цепочки маркова из характерных слов Здесь задача в том, чтобы определить в каком контексте упоминается что-либо, может даже и не упомянутое в описании ну например есть газетная статья по тексту нужно определить в одобрительном тоне она описывает политику монголии или нет Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
iiv 18 1 июля, 2014 Опубликовано 1 июля, 2014 · Жалоба Гугл в свое время поднялся на том, что первым применил сингулярное разложение к обработке текстовых массивов. Берем кучу документов, каждый соответствует своей строке. Берем все слова в этих документах - слова помещаем в столбцы. Дальше получается такая страшно большая разреженная матрица, которая характеризует какое слово сколько раз встречается в каком документе. Дальше - делаем сингулярное разложение этой матрице, она, как оказалось, довольно малоранговая, и, более того, сингулярные вектора можно представить в виде линейной комбинации разреженных векторов. Их запоминаем, вот Вам и корреляция. Как построить такое сингулярное разложение, гуглите на Джина Голуба (Gene Golub), к сожалению, уже ныне покойного. Потом были и опорные вектора, и цепи Маркова, но, в основе, все-таки, лежит сингулярное разложение разреженных матриц, и его восприятие, ИМХО, проще и понятнее. Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
Гость TSerg 1 июля, 2014 Опубликовано 1 июля, 2014 · Жалоба Каким образом - там же оптимизация, линейное программирование Это узкий взгляд. ИО - методология на основе математических методов, приводящая к обоснованию решения в любой области целенаправленной деятельности. Так, что одним из сегментов вполне является дисциплина "Построение гипотез", что для Вас и актуально. Начните с изучения ДСМ-метода автоматического порождения гипотез. Родоначальник: Финн Виктор Константинович Еще: http://aot.ru/docs/Nozhov/ http://www.isa.ru/jitcs/images/stories/2008/03/30_44.pdf Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
Виктория 0 1 июля, 2014 Опубликовано 1 июля, 2014 · Жалоба Посмотрите ещё "Статистика объектов нечисловой природы" на сайте Орлова А.И. Для первого знакомства, например - тут Ссылок много... Пора бы вернуться к Вашим примерам. Чем Вас традиционные метрики не устраивают? Цитата Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты Поделиться
