Яхонт-BI
"Яхонт-BI" – интеллектуальная программная ETL-платформа для выполнения обработки информации и формирования структурированных хранилищ данных.
Увеличение объемов ежедневно поступающей информации из внешних источников информации, необходимость применения единых средств кодирования и классификации требуют применения особых, специализированных решений – серверных ETL платформ, адаптируемых к индивидуальным потребностям заказчиков. Базы и банки данных, неструктурированные текстовые массивы – ландшафт, в котором приходится функционировать современным прикладным информационным системам.
Если Вас заинтересовало устройство «Яхонт-BI» свяжитесь с нами по номеру +7 (495) 748-74-83 или напишите на почту info@norsi-trans.ru наши специалисты проконсультируют Вас.
Непрерывное выполнение проектов по интеграции, объединению информации нацелено не только на организацию сквозных бизнес-процессов, но и на обеспечение единых форматов накопления, кодирования и классификации всех видов накапливаемых данных. Такое кодирование и классификация при наполнении корпоративных хранилищ являются ключевым фактором, определяющим эффективность использования ресурсов компании и оправданность новых затрат в условиях эксплуатации множества информационных систем и баз данных. В комплексе "Яхонт-BI" Компания "НОРСИ-ТРАНС" предлагает новый, инновационный подход к построению интеграционных ETL-платформ. Варианты применения "Яхонт-BI" позволяют использовать его в основе следующих видов решений по интеллектуальной ETL-обработке данных:
- Персональные инструментальные решения и внедрение «под ключ»;
- Корпоративное Интранет-облако;
- On-Demand SaaS Интернет-платформа;
- Интеллектуальная OSS-платформа оператора связи.
Основные конструктивные особенности:
- Специальный серверный кроссплатформенный ETL-движок, использующий все возможности современных многоядерных процессоров и многопроцессорных серверов;
- Возможность параллельной обработки одного массива данных одновременно на различных серверах;
- Гибкие возможности по организации структуры подключенных вычислительных мощностей (координаторы, узлы управления) для распределения задач по обработке;
- Пользователь подключается к вычислительным ресурсам через тонкий веб-2.0 клиент, предоставляющий возможности по: 1. интерактивному конструированию схем по сбору, очистке, нормализации и загрузке данных; 2. формированию структуры вычислительных ресурсов, динамическому подключению дополнительных мощностей; 3. планированию выполнения сформированных ETL-задач на подключенных вычислительных мощностях.
*Примеры внешнего вида веб-2.0 РМО при конструировании схемы обработки данных приведены на рисунках ниже: Конструирование ETL-схемы обработки данных.
Задание параметров обработки для операции.
Обобщенная структурная схема построения интеллектуальной программной платформы "Яхонт-BI"
Основные составляющие части программного обеспечения "Яхонт-BI":
- 01 Узлы, выполняющих ETL-обработку данных (специальный С++ движок параллельной обработки данных с полным использованием возможностей многоядерных процессоров и управляющая часть);
- 02 Координаторы, на которых регистрируются узлы выполнения обработки (выполняют распределение направленных координатору задач по очистке данных на подключенные узлы, на которых запускаются соответствующие движки), интерфейс подключения и работы с координатором – HTTP REST;
- 03 Узлы управления: выполняют накопление создаваемых оператором схем по ETL-очистке данных и хранят информацию о подключенных к ним координаторах, пользователях и т.д., обеспечивают работу веб-2.0 РМО пользователей;
- 04 Веб-2.0 РМО пользователей, посредством которых создаются схемы по очистке данных, нормализации и т.д., созданные и сохраненные схемы обработки оператор отправляет на выполнение на выбранные координаторы, указав при этом, на каких подключенных к каждому координатору узлах должна выполняться обработка, формирует расписание и ставит на выполнение ETL-задачи по расписанию и т.д., выполняет контроль за выполнением запущенных ETL-задач обработки, выполняет мониторинг всех вычислительных средств и программного обеспечения.
Корпоративное Интернет-облако
При построении "частных" Интранет облачных ETL-сред "Яхонт-BI" позволяет:
- 01 Обеспечить совместное использование ресурсов в центре обработки данных;
- 02 Использовать меньшее количество физического оборудования за счет 100% утилизации существующего;
- 03 На порядки повысить эффективность обработки данных и снизить время ETL-операций, снять нагрузку с информационных систем, каждая из которых вынуждена самостоятельно выполнять очистку и загрузку данных (как правило, на основе медленных операций СУБД);
- 04 Сократить издержки на закупки лицензий других ETL-инструментов для различных ИС, выполнив централизацию всех соответствующих задач средствами "Яхонт-BI".
On-Demand SaaS интернет-платформа
При построении On-Demand SaaS Интернет-платформ "Яхонт-BI" позволяет:
- 01 Полностью исключить затраты на закупку серверного оборудования и дорогостоящих лицензий по приобретению коробочных ETL-продуктов за счет покупки услуги по подключению к Интернет-SaaS платформе "Яхонт-BI";
- 02 Организациям перейти на покупку услуг по ETL-обработке данных, оплачиваемых лишь при необходимости по модели SaaS;
- 03 Масштабировать задействованные в обработке мощности за счет возможностей "Яхонт-BI" по функционированию на основе арендуемых виртуальных машин у PaaS-провайдеров услуг, таким образом, Заказчик оплачивает только реальные потребности по очистке, нормализации и обработке своих данных, что дает существенную экономию в течение всего срока эксплуатации собственных баз данных и информационных систем заказчика.
Интеллектуальная OSS-платформа оператора связи
При построении интеллектуальных OSS-платформ "Яхонт-BI" позволяет:
- 01 Решать в реальном времени (за счет массовой параллельности обрабатываемых данных на серверных вычислительных мощностях) задачи по первичному декодированию (в комплекс встроен ряд декодеров "сырых" CDR-файлов), очистке и нормализации CDR-данных;
- 02 Выполнять обработку полученных данных в соответствии с задаваемыми схемами преобразования, выполнять передачу информации в различные информационные системы и базы данных оператора (в т.ч. ввода их в prepaid, биллинговые системы, а также FMS-ситемы и Revenue Assuarance);
- 03 Обеспечивать централизованное управление и мониторинг всех потоков новой поступающей информации и ее передачи в ИС оператора, выделение ошибочного поведения коммутационного оборудования сети связи.
Персональные инструментальные решения и внедрения "под ключ"
Комплекс "Яхонт-BI" также предлагается в качестве типового "коробочного" продукта в виде инсталляционных комплектов (ОС Linux/Windows), которые можно развернуть и запустить в работу самостоятельно силами заказчика и сконфигурировать в соответствии с требующейся производительностью ETL-операций. В целом комплекс предоставляет следующие возможности по ETL-очистке и нормализации разнородной информации:
- Полная кроссплатформенность всех составляющих "Яхонт-BI" программных компонентов с максимальной утилизацией (загрузкой) вычислительных мощностей;
- Десятки операций по обработке, очистке и нормализации;
- Специальные операции по очистке данных;
- Подключение к сетевым файловым хранилищам, серверам БД (источники, хранилища-потребители данных);
- Кэширование справочников, используемых при обработке данных в ОЗУ, что позволяет проводить соответствующую обработку "на лету" без дополнительных обращений к БД;
- Линейное масштабирование производительности посредством добавления вычислительных мощностей, задействованных в обработке данных;
- Выигрыш по скорости обработки данных на несколько порядков (сотни раз) по сравнению с традиционными ETL-инструментами за счет примененных технологий in-memory обработки;
- За счет использованных подходов взаимодействия с координатором, узлом управления (HTTP REST API) – создание специализированных подключаемых к вычислительной среде ETL-обработки данных "Яхонт-BI" внешних комплексов.