Орлов Антон Олегович

В статье рассматриваются наборы данных Портала открытых данных правительства Москвы. Выбранные наборы данных анализируются с точки зрения оценки информативности атрибутов. Излишняя информативность одних атрибутов приводит к обесцениванию других, что снижает общее качество набора данных и его пользу для конечного пользователя Портала открытых данных. Описаны механизмы оценки информативности атрибутов данных и методики поиска аномалий. Показаны результаты применения методики поиска аномалий, продемонстрирован эффект от применения методики, выражающийся в выравнивании информативности отдельных атрибутов данных. Дана общая оценка исследованным наборам данных.

Работа посвящена методам работы с шумом в исходных данных при построении моделей анализа данных в системах поддержки принятия решений. Работа состоит из пяти частей. Во введении описывается проблема наличия искажений в исходных данных при работе систем поддержки принятия решений. Ставится задача исследования и разработки методов анализа искажений в данных при построении модели решающего дерева. Вторая часть посвящена обзору существующих алгоритмов построения деревьев решений и анализу методов работы с искаженными данными в них. Также проведен обзор литературы по существующим методам поиска аномалий в данных. В третьей части описывается метод оценки показателя локальной аномальности, предложено расширение данного метода за счет использования новой формулы расчета расстояний между значениями категориального атрибута. В четвертой части предложен метод выявления аномалий в исходных данных при построении прогнозной модели решающего дерева в системах поддержки принятия решений. В заключении перечислены результаты проведенного исследования.

Статья посвящена вопросам прогнозного анализа данных, а именно построению прогнозной модели дерева решений. Во введении описаны принципы построения модели дерева решений, выделены существенные проблемы в алгоритмах построения дерева решений. В частности, проблемы построения дерева решений при наличии шума в данных. Во второй части рассмотрены методики автоматической и ручной обработки шума в данных, обозначена проблема ограниченности материальных и временных ресурсов при ручной обработке данных. В третьей части рассмотрены предлагаемые в литературе методы обработки шума в данных и построения модели дерева решений. На основе проведенного исследования предложен алгоритм ID3O для построения модели дерева решений в условиях наличия шума в исходных данных, а также ограниченности ресурсов на обработку и повышение качества данных. В заключении приведены результаты работы предложенного алгоритма в сравнении с существующими методами построения прогнозной модели дерева решений.

Рассматривается процесс профилирования данных как этап процесса повышения качества информации. Описываются технологии профилирования в реляционных базах данных. Рассматриваются основные процедуры профилирования, результаты этих процедур, а также понятия класса, фильтра. Приводится классификация фильтров. Описываются принципы работы программных продуктов в области профилирования данных и статистические характеристики, предоставляемые программами. Предлагается метод оптимизации результатов профилирования за счет учета взаимосвязей результирующих объектов как внутри одного класса, так и между несколькими классами. Оптимизация результатов профилирования заключается в повышении эффективности улучшения качества информации в системе во время ее эксплуатации.