Deductor Studio

             

Цель работы Deductor формализовать процесс принятия решений и поставить его "на поток". Например, сотрудник, оформляющий кредиты, должен внести данные по потребителю, а система автоматически выдать ответ, на какую сумму данный потребитель может рассчитывать, либо сотрудник отдела закупок при оформлении заказа получить автоматически рассчитанный, рекомендуемый объем закупки каждого товара.

Ключевым лицом в данном процессе является аналитик. Для него необходим инструмент, позволяющий формализовать и гибко перестраивать логику принятия решений. Таким инструментом является Deductor Studio – рабочее место аналитика.

Работа аналитика со Studio сводится к визуальному построению сценариев. Сценарий – последовательность действий, позволяющих получить из данных знания. Вся работа выполняется при помощи мастеров и сводится к комбинированию всего 5 операций:

  • Подключение коннектора. Для взаимодействия со сторонними системами необходимо настроить параметры доступа: местоположение, пользователь, пароль и прочее. Через единожды настроенное подключение осуществляется выгрузка и загрузка данных во внешнюю систему. Deductor поддерживает десятки систем: СУБД, хранилища данных, учетные системы, веб-сервисы, офисные программы, файлы...
  • Импорт данных. Анализ в Deductor начинается с получения набора данных. При помощи мастера выбираются интересующие таблицы, объекты, файлы и запускается процесс импорта.
  • Обработка. Под обработкой подразумевается любое преобразование данных. Поддерживаются десятки методов обработки от расчета по формулам до самообучающихся алгоритмов: очистка данных, трансформация, Data Mining. Механизмы обработки можно комбинировать произвольным образом, реализуя сколь угодно сложную логику анализа.
  • Визуализация. Просмотреть данные в Deductor Studio можно на любом этапе обработки. Программа самостоятельно анализирует, каким образом можно отобразить информацию, пользователь должен только выбрать нужный вариант. Deductor включает множество удобных интерактивных визуализаторов: OLAP, таблицы, графики, деревья, карты...
  • Экспорт результатов. Завершающим шагом в сценарии обработки чаще всего является экспорт данных. Результаты выгружаются для последующего использования в других программах, например, прогноз продаж передается в систему для формирования заказа на поставку или на корпоративном web-сайте публикуются рассчитанные KPI.
  • Deductor Studio позволяет аналитику автоматизировать рутинные операции по обработке данных и сосредоточиться на интеллектуальной работе: формализация логики принятия решений, построение моделей, прогнозирование. Остальные сотрудники компании могут легко воспользоваться готовыми результатами, не вникая в сложности анализа:

    • Аналитическая отчетность. Аналитик перетаскивает мышкой на специальную панель необходимые отчеты. Конечный пользователь при помощи Deductor Viewer просто выбирает интересующий отчет из списка и получает результат. Никаких дополнительных действий делать не требуется. Вся сложная аналитическая обработка выполняется автоматически.
    • Интеграция в бизнес-процесс. Аналитик экспортирует результаты в стороннюю систему: сайт, ERP, CRM и т.п., а конечный пользователь увидит в привычной ему программе итог сложной аналитической обработки. Обмен данными может производиться в режиме online или по регламенту. Для встраивания в бизнес-процесс необходимо воспользоваться Аnalytic или Integration Server.

    Объединение всех описанных выше механизмов в Deductor Studio обеспечивает принципиально новое качество анализа: быстрая разработка и адаптация решений, интеграция в существующую инфраструктуру, эволюционное развитие от простой отчетности к глубокой аналитике.

                                     

 

Визуализация

Качественная визуализация данных является важной частью любой аналитической системы. Во многих случаях эксперту достаточно просто взглянуть на данные, чтобы сделать необходимые выводы. Но одни и те же данные можно отображать множеством способов, и какой из них будет наиболее приемлем, зависит от решаемой задачи. Поэтому пользователю Deductor Studio предлагается много механизмов визуализации, из которых он может выбрать наиболее оптимальные.

Визуализировать данные в Deductor Studio можно на любом этапе обработки. Система самостоятельно определяет, каким способом она может это сделать, например, если будет обучена нейронная сеть, то помимо таблиц и диаграмм можно просмотреть граф нейросети. Пользователю необходимо выбрать нужный вариант из списка и настроить несколько параметров.

Способ визуализацииОписание
Табличные данные
Таблица Стандартное табличное представление с возможностью сортировки, экспорта и фильтрации данных.
Статистика Статистические показатели выборки по всем полям, гистограммы распределения значений.
Графики
Диаграмма График изменения любого числового показателя с возможностью детализации данных. Поддерживается множество способов отображения: линейчатые и столбчатые диаграммы, области, точки и прочее.
Гистограмма График разброса показателей. Гистограмма предназначена для визуальной оценки распределения данных. Распределение данных оказывает значительное влияние на процесс построения модели. Встроена возможность детализации данных гистограммы.
Многомерная диаграмма Позволяет визуально оценить зависимости между различными полями, отображается в виде 3D-поверхности или топографической диаграммы.

Диаграмма размещения

Размещение объектов в 2-х, 3-х мерном пространстве. Дополнительную информативность обеспечивают цвет, размер и форма объектов.
OLAP анализ
Куб Многомерное представление данных. Любые данные, используемые в программе, можно посмотреть в виде кросс-таблицы и кросс-диаграммы. Пользователю доступен весь набор механизмов манипуляции многомерными данными – группировка, фильтрация, сортировка, произвольное размещение измерений, детализация, выбор любого способа агрегации, отображение в абсолютных числах и в процентах.
Очистка данных
Дубликаты и противоречия Табличное отображение информации после применения обработчика "Дубликаты и противоречия". Цветовое выделение обнаруженных дубликатов и противоречий с возможностью автоматической фильтрации.
Матрица корреляции Отображает коэффициенты корреляции, рассчитанные при помощи обработчика "Корреляционный анализ". Поддерживается возможность экспорта информации в Excel, Word, HTML.
Data Mining
Граф нейросети Визуальное отображение обученной нейросети. Отображается структура нейронной сети и значения весов.
Дерево решений Отображение дерева решений, полученного при помощи соответствующего алгоритма. Имеется возможность посмотреть детальную информацию по любому узлу и фильтровать попавшие в него данные.
Правила деревьев решений Отображает в текстовом виде правила, полученные при помощи алгоритма построения деревьев решений. Такого рода информация легко интерпретируется человеком. Поддерживаются различные способы фильтрации и сортировки полученных правил.
Значимость атрибутов Отображение значимости атрибутов. Рассчитывается при помощи алгоритма построения дерева решений.
Карта Кохонена Отображение карт, построенных при помощи соответствующего алгоритма. Широкие возможности настройки – выбор количества кластеров, фильтрация по узлу/кластеру, выбор отображаемых полей. Мощный и гибкий механизм отображения кластеризованных данных.
ROC-анализ ROC-кривая (Receiver Operator Characteristic) – кривая используемая для представления результатов бинарной классификации в машинном обучении. ROC-кривая показывает зависимость количества верно классифицированных положительных примеров от количества неверно классифицированных отрицательных примеров.
Коэффициенты регрессии Таблица коэффициенты, рассчитанные при помощи алгоритма линейной регрессии. Поддерживается возможность экспорта информации в Excel, Word, HTML.
Профили кластеров Позволяет наглядно оценить результаты кластеризации, этот визуализатор доступен лишь для обработчика "Кластеризация".  Он отображает разбиение на кластеры, значимость факторов, статистические характеристики каждого кластера.
Правила ассоциаций Отображает в текстовом виде правила, полученные при помощи алгоритма поиска ассоциативных связей. Такого рода информация легко интерпретируется человеком. Поддерживаются различные способы фильтрации и сортировки полученных правил.
Популярные наборы Часто встречающиеся множества, обнаруженные при помощи алгоритма поиска ассоциативных правил.
Дерево правил Отображение дерева правил, полученных при помощи алгоритма поиска ассоциаций. Правила могут быть сгруппированы как по условию, так и по следствию.
Что-если Таблица и диаграмма для моделей, построенных при помощи линейной регрессии, нейронной сети, дерева решений, самоорганизующихся карт и ассоциативных правил. Позволяют "прогонять" через построенную модель любые интересующие пользователя данные и оценить влияние того или иного фактора на результат. Активно используется для решения задач оптимизации. В случае отображения ассоциативных правил позволяет ввести элементы, входящие в транзакцию и получить все возможные следствия из введенного набора.
Обучающий набор Выборка, используемая для построения модели. Цветом выделяются данные, попавшие в обучающее и тестовое множество с возможностью фильтрации. Необходима для понимания, какие записи и каким образом использовались при построении модели.
Диаграмма прогноза Применяется после использования метода обработки – прогнозирование. Прогнозные значения выделяются на диаграмме цветом.
Таблица сопряженности Предназначена для оценки результатов классификации вне зависимости от используемой модели. Таблица сопряженности отображает результаты сравнения категориальных значений исходного выходного столбца и категориальных значений рассчитанного выходного столбца. Используется для оценки качества классификации. Предусмотрены механизмы анализа отклонений.
Диаграмма рассеяния График отклонения прогнозируемых при помощи модели значений от реальных. Может быть построен только для непрерывных величин и только после использования механизмов построения модели, например, нейросети или линейной регрессии. Используется для визуальной оценки качества построенной модели. Встроенное автоматическое построение гистограммы распределения ошибки.
Общие
Сведения Текстовое описание параметров импорта/обработки/экспорта/подключения. Поддерживается возможность экспорта информации в HTML и текстовый файл.

 

 

 

Обработка данных

Под обработкой в Deductor подразумевается любое действие, связанное с неким преобразованием данных, например, фильтрация, построение модели, очистка и прочее. Собственно в блоке "Обработка данных" и производятся самые важные с точки зрения анализа действия. Наиболее существенной особенностью механизмов обработки, реализованных в Deductor, является то, что полученные в результате их применения данные можно опять обрабатывать любым методом из доступных. Таким образом, есть возможность строить сколь угодно сложные сценарии.

Обработка данных

Подобная функциональность очень важна, т.к. при анализе реальных бизнес-данных практически всегда приходится выполнять последовательность действий для получения нужного результата. Например, при построении прогноза в самом простом случае нужно после импорта очистить данные, трансформировать их, построить модель и применить ее для прогноза на несколько шагов вперед. В действительности же сценарии бывают значительно сложнее. В них сохраняются параметры обработки, поэтому для получения результата на новых данных достаточно всего лишь применить к ним подготовленный сценарий.

В Deductor реализован большой набор механизмов обработки, позволяющий решать широкий класс задач анализа.

 

Механизм обработкиОписание
Очистка данных
Парциальная обработка Парциальная обработка Заполнение пропусков, редактирование аномалий, сглаживание, вычитание шума, вейвлет преобразование.
Факторный анализ Факторный анализ Понижение размерности пространства факторов.
Корреляционный анализ Корреляционный анализ Оценка зависимости выходных полей данных от входных факторов и устранения незначащих факторов.
Дубликаты и противоречия Дубликаты и противоречия Обнаружение и фильтрация дубликатов и противоречий.
Фильтрация Фильтрация Фильтрация записей в таблице по заданным условиям.
Трансформация данных
Настройка набора данных Настройка набора данных Изменение названия поля, ширины, метки, типа и вида данных, назначения столбца. Кэширование данных.
Скользящее окно Скользящее окно Трансформация временного ряда к скользящему окну. Используется при построении автокорреляционных моделей.
Дата и время Дата и время Выделение из дат любого временного интервала (год, месяц, квартал и т.д.).
 Квантование Преобразование непрерывных данных в дискретные.
Сортировка Сортировка Сортировка записей в заданном пользователем порядке.
Слияние Слияние Объединение наборов данных, полученных при помощи различных сценариев обработки.
Замена Замена Замена данных в выборке по таблице подстановки.
Группировка Группировка
Разгруппировка Разгруппировка
Два взаимосвязанных метода обработки. Группировка позволяет объединять записи по полям-измерениям, агрегируя данные в полях-фактах. Разгруппировка проводит обратную операцию – разбиение полученных общих цифр в соответствии с рассчитанными пропорциями.
Кросс-таблица Кросс-таблица Изменение структуры таблицы, перенесение значений поля в заголовки строк и столбцов. Имеется обратная операция - свёрстка столбцов.
Свёртка столбцов  Свёртка столбцов Изменение структуры таблицы, перенесение заголовков полей в значения строк и столбцов. Имеется обратная операция - кросс-таблица
Data Mining
Автокорреляция Автокорреляция Нахождение линейной автокорелляционной зависимости. Метод применяется при обработке временных рядов для обнаружения периодичности, сезонности.
Прогнозирование Прогнозирование Получение прогноза на несколько шагов вперед на основе модели, построенной любым способом, например, при помощи нейросети или линейной регрессии.
Линейная регрессия Линейная регрессия Классический линейный метод решения задачи регрессии.
Логистическая регрессия Логистическая регрессия Популярный метод построения моделей для случаев, когда выходное поле бинарное.
Нейронные сети Нейронные сети Многослойные нейронные сети – алгоритмы обратного распространения ошибки и RProp. Нейросети предназначены для решения задач регрессии и классификации. Это мощный современный самообучающийся механизм, способный решать нелинейные задачи.
Деревья решений Деревья решений Метод машинного обучения, позволяющий автоматически извлекать из данных закономерности, отображаемые в виде иерархической системы правил, легко интерпретируемых человеком. Метод предназначен для решения задач классификации.
Самоорганизующиеся карты Кохонена Самоорганизующиеся карты Кохонена Мощный самообучающийся механизм кластеризации, позволяющий не только кластеризовать данные, но и отобразить результаты в виде удобных для интерпретации двухмерных карт.
Ассоциативные правила Ассоциативные правила Метод анализа, позволяющий находить ассоциативные связи между событиями, например, обнаружить, что при покупки товара Х, с определенной вероятностью приобретут товар Y. Иногда этот метод называют анализом потребительской корзины.
Кластеризация Кластеризация Кластеризация при помощи алгоритмов k-means и g-means.
Пользовательская модель Пользовательская модель Создание аналитических моделей на основании жестких правил и экспертных оценок. Расчет выходных значений по готовым формулам.
Зависимые обработчики
Матрица корреляции Матрица корреляции Матрица корреляции в виде таблицы, полученная после применения обработчика "Корреляционный анализ".
Коэффициенты регрессии Коэффициенты регрессии Коэффициенты регрессии в виде таблицы, полученные после применения обработчиков Логистическая и Линейная регрессия.
Правила Правила Правила в виде таблицы, полученные после применения алгоритма поиска ассоциативных правил.
Прочие
Скрипт Скрипт Предназначен для автоматизации процесса добавления в сценарий однотипных ветвей обработки. Аналогом скрипта является функция в языках программирования. Ветвь строится один раз, а затем скриптами выполняются заложенные в ней универсальные обработки.
Групповая обработка Групповая обработка Выполнение фрагмента сценария, аналогично обработчику "Скрипт", с возможностью его применения не для всего набора, а для каждой группы в отдельности. Поддерживается как "прогон", так и переобучение моделей для каждой группы данных.
Калькулятор Калькулятор Добавление в исходный набор новых полей, рассчитанных по формулам на основе других полей исходной таблицы.
Условие Условие С помощью этой операции можно организовать условное выполнение узлов сценария. При этом, если заданное условие не выполняется, то узлы сценария, следующие за данным обработчиком, не будут обработаны.
Команда ОС Команда ОС Вызов из сценария любого внешнего приложения, реализующего специфичные, отсутствующие в Deductor, механизмы обработки данных.
Сценарий Deductor Сценарий Deductor Запуск внешних сценариев Deductor.

Закажите Онлайн Демонстрацию

Использование Deductor в АКГ "Финэкспертиза"

Использование Deductor в ГК "Связной"

Использование Deductor

                                                                                                                                               

Контакты в Литве

Address

Architektu 32-25

Vilnius

Email Address

Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Phone Number

+37061428752

В Азербайджане

Address

14 Mirzə İbrahimov

Bakı

Email Address

Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Phone Number

+994 515277040

В Казахстане

Address

ул.Иманова, 11"НУРСАУЛЕТ" 345/2

Астана

Email Address

Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Phone Number

+37061428752

В Российской Федерации

Address

ул. Балчуг, 7 115035 офис 110

Москва

Email Address

Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Phone Number

+37061428752