BI Partner. Аналитические системы для бизнеса О компанииУслугиПродуктыПрактикаБиблиотекаПроектыНовости

 Главная – Продукты  IBM WebSphere DataStage

Консалтинг. Аналитические системы для бизнеса
Вакансии Контакты Обратная связь
 
 

 

 

IBM WebSphere DataStage

WebSphere DataStage, один из компонентов платформы IBM WebSphere Information Integration, является одним из наиболее мощных инструментов для описания процедур извлечения, транасформации и загрузки данных (ETL - extraction, transformation, loading)..

Семейство продуктов WebSpere DataStage

Наиболее популярный, основной компонент, применяемый для реализации хранилищ данных, DataStage является одним из 3 ключевых модулей для построения систем интеграции данных.

Intgration Suite: ProfileStage + Quality Stage + DataStage

На всех фазах работы с данными имеется возможность использования единого репозитория метаданных, поддерживаются параллельные вычисления и недавно появившаяся возможность интеграции данных в режиме реального времени.

IBM WebSphere ProfileStage – средство предварительного анализа источников и систематизации данных;

IBM WebSphere QualityStage – средство оценки, мониторинга и управления качеством данных;

IBM WebSphere DataStage – средство визуального проектирования ETL-процедур и их выполнения.

Помимо основных модулей в семействе представлены компоненты, расширяющие возможности интеграционной платформы.. В том числе средства интеграции метаданных различных системе, службы RTI для реализации хранилищ реального времени, инструменты для захвата изменений в данных задним числом, модули для упрощения работы с наиболее популярными бизнес-приложениями.

IBM WebSphere DataStage Server

IBM WebSphere DataStage Server – мощный многопоточный сервер, позволяющий выполнять сложные преобразования с большими и очень большими объемами данных. При этом в качестве приемников и источников данных могут служить самые разнообразные форматы данных.

Реализованный в IBM WebSphere DataStage подход позволяет настраивать ETL-процессы на получение максимальной производительности. В этих целях в IBM WebSphere DataStage Server реализованы специальные возможности, недоступные разработчикам в поставляющихся вместе с СУБД инструментах.

Форматы данных. В рамках одного задания IBM WebSphere DataStage позволяет работать с самыми разнообразными форматами данных: практически любая РСУБД; РСУБД, поддерживающие секционирование (IBM DB2 UDB, Oracle, Teradata); текст; XML; Web-службы; службы обмена сообщениями WebSphere MQ и SeeBeyond; ADABAS; наследованные данные закрытых систем и многие другие.

Параллельные вычисления. IBM WebSphere DataStage Server позволяет эффективно использовать имеющиеся вычислительные ресурсы. Наличие нескольких ЦПУ дает возможность разбивать ETL-процедуры и их этапы (job и stage – в терминологии IBM WebSphere DataStage) на подзадания и обрабатывать их параллельно.

DataStage Enterprise Edition

Конфигурация IBM WebSphere DataStage Enterprise Edition позволяет добиться линейного роста производительности на многопроцессорных вычислительных комплексах. При этом смена платформы или добавление ресурсов никак не отражаются на созданных разработчиком преобразованиях. IBM WebSphere DataStage Enterprise Edition позволяет осуществлять динамическое секционирование и ресекционирование данных.

Интеграция данных в режиме реального времени. Архитектура, ориентированная на web-службы (SOA – Service Oriented Architecture), позволяет существенно расширить области применения платформы WebSphere Information Integration за счет вызова заданий IBM WebSphere DataStage или IBM WebSphere QualityStage внешними процессами.

Мэйнфреймы. IBM WebSphere DataStage позволяет создавать исполняемый на COBOL приложения для мэйнфреймов и соответствующие скрипты JCL для обработки плоских файлов и данных на СУБД DB2, IMS, VSAM и Teradata, функционирующих на мэйнфреймах.

Связанные преобразования. IBM WebSphere DataStage Server выполняет процедуры преобразования данных по мере поступления очередных фрагментов на обработку.

Хэш-таблицы. Возможность автоматической генерации и динамической загрузки хэш-таблиц существенно повышает производительность работы с lookup.

Сортировки и агрегирование. Операции сортировки и агрегирования также проходят без обращения к дисковой памяти.

Загрузчики данных. Для ускорения этапа загрузки данных в IBM WebSphere DataStage можно применять утилиты «быстрой загрузки» или bulk loaders, которые позволяют осуществлять прямую загрузку строк в таблицы без какого-либо контроля и журналирования транзакций со стороны сервера БД.

Change Data Capture. Захват изменений в данных источников позволяет выявить прошедшие с момента последней загрузки изменения, выполненные задним числом и в соответствии с этим скорректировать процедуры преобразования данных.

IBM WebSphere DataStage Designer

IBM WebSphere DataStage Designer – визуальное средство разработки ETL-процедур, позволяющее разработчику в графическом виде описывать преобразование данных. Перемещая на рабочий стол Designer иконки, соответствующие источникам, приемникам и этапам трансформации данных, разработчик, не прибегая к программированию, создает потоки преобразования информации.

Каждая иконка обозначает stage (элемент задания в терминах IBM WebSphere DataStage). В IBM WebSphere DataStage Designer разработчику доступен широкий набор stage, который позволяет быстро разрабатывать ETL-процедуры.

DataStage Designer - средство визуального описания процедур трансформации данных

DataStage Designer – средство визуального описания процедур трансформации данных

Графическое представление потоков данных в DataStage Designer позволяет легко вносить модификации в систему интеграции данных.

В состав DataStage Designer входит отладчик, позволяющий разработчику отслеживать весь процесс преобразований поэтапно вплоть до построчного выполнения трансформаций.

IBM WebSphere DataStage Manager

IBM WebSphere DataStage Manager организует в каталогах базовые элементы любого проекта IBM WebSphere DataStage. Объектами являются определения таблиц, централизовано создаваемые подпрограммы преобразования, соединения для обмена метаданными с другими инструментальными средствами. DataStage Manager позволяет также разделять общие метаданные между несколькими серверами IBM WebSphere DataStage.

IBM WebSphere DataStage Administrator

Средство настройки и управления IBM WebSphere DataStage Server. Основные функции – настройка производительности сервера и использования административных функций, определение прав доступа разработчиков к различным участкам проекта.

BI Partner и IBM

Компания BI Partner является официальным партнером IBM с 2005 года. Оказанием услуг, связанных с применением DataStage BI Partner занимается с 2003 года.

Получить более подробную информацию о продуктах IBM WebSphere Information Integration.

 

Статьи и обзоры

 


Хранилища данных: основные архитектуры и принципы построения в реляционных СУБД.

7 базовых причин из-за которых компании создают хранилища данных

Оценка эффективности внедрения информационных хранилищ данных - некоторые аспекты

 

Статьи и обзоры

 


Хранилища данных: основные архитектуры и принципы построения в реляционных СУБД

7 базовых причин из-за которых компании создают хранилища данных

Оценка эффективности внедрения информационных хранилищ данных - некоторые аспекты

Россия, 127083, Москва, ул. Юннатов, 18
Телефон: 969-2-696