Сайзинг для QlikView и Qlik Sense

 

568

Под сайзингом как правило понимают расчет состава программно-аппаратных компонентов решения QlikView (либо Qlik Sense), предназначенных для решения задач заказчика. Этот расчет позволяет разработать корректные спецификации на закупку программных и аппаратных средств необходимых для работы BI платформы Qlik. Кроме того, правильно проведенный сайзинг должен устранить риски некорректного расходования средств на создание инфраструктуры.

Сайзинг для QlikView и Qlik Sense

Вопрос сайзинга может возникать на совершенно различных этапах работы интегратора QlikView с заказчиком: от первых встреч, до проработки спецификаций на закупку оборудования и лицензий на конечных стадиях проектов.

Как правило, при расчете сайзинга, заказчик хочет найти ответы на следующие вопросы:

  • Насколько требования к оборудованию и ПО для решения QlikView выше/ниже требований предъявляемых к уже существующим у нас системам?
  • Как можно сэкономить на оборудовании, приобретя минимальные наборы оборудования?
  • Как можно посчитать спецификацию на проект уже сейчас, чтобы правильно обосновать и утвердить бюджет на год вперед?
  • А можно ли наши большие объемы данных анализировать в QlikView?
  • Какая головная боль в плане инфраструктуры нам предстоит «в целом»?
  • Как можно сэкономить на лицензиях, приобретя минимальные наборы лицензий QlikView?

Для корректного расчета сайзинга интегратор должен получить от заказчика следующие минимально необходимые входные данные:

  1. Не абстрактные объемы хранящихся/накапливаемых в организации данных, а характеристики данных в конкретном приложении(ях) QlikView (Qlik Sense).
  2. Не просто расчетные математические формулы, а способы их применения в приложении QlikView (использование их в конкретных объектах визуализации). Также важны и конкретные выбранные разработчиком способы расчетов, например, использование конструкций If(… Sum()) или конструкций анализа множеств (set analysis).
  3. Наличие заказных расширений Extensions (объектов визуализации или бизнес-логики, разработанных под конкретного заказчика).
  4. Информация о количестве пользователей которые будут использовать разрабатываемое приложение QlikView. Также необходимо понимать роли этих пользователей, и то, как они будут работать с приложениями. И только на основе этой информации моожно будет предоставить обоснованные рекомендации по количеству и типу лицензий QlikView (Qlik Sense) для пользователей и серверов.
  5. Принятые в организации нормативы/требования к безопасности/отказоустойчивости, а также разработке, тестированию и публикации приложений.
 

От чего зависит расчет сайзинга

BI платформа QlikView является очень гибким инструментом, сценарии использования которого существенно зависят от множества факторов: квалификации разработчика, выбранного пути разработки приложения, конкретного набора данных и решаемой задачи заказчика. По этой причине, сайзинг любого решения на QlikView является настолько многопараметрическим, что любые попытки оформить его в строгую табличную форму без привязки к конкретному приложению просто обречены на провал.

Именно поэтому правильный путь состоит в создании прототипа, параметры которого в плане сайзинга будут не обсуждаться на уровне абстракций, а могут и должны быть четко измерены.

Важно понимать, что четкие рекомендации по основным параметрам сайзинга, можно расчитать только опираясь на характеристики конкретного прототипа приложения: Производительность и количество процессоров (CPU), Объем требуемой оперативной памяти (RAM), Количество серверов и тип узлов кластера.

 

569

Оперативная память

Объем требуемой оперативной памяти и производительность приложения чаще всего зависят от:

  1. Объема данных единовременно загружаемых в оперативную память и анализируемых пользователями. При этом у архитектора QlikView всегда есть степень свободы по загрузке всего объема или требуемой его части. В зависимости от выбранной стратегии может потребоваться либо более мощное оборудование «железо», либо в случае использования нескольких серверов или создания цепочечных приложений — большее количество лицензий QlikView.
  2. Выбранной модели данных. Здесь надо отметить, что ассоциативная модель данных Qlik это не реляционная модель, это инструмент для пользователя, а не для разработчика приложения. Исходя из этого, компетентный архитектор обычно использует несколько моделей для решения различных задач пользователя. Более того, в процессе эксплуатации может потребоваться переход от одной модели к другой, что упростит и повысит степень гибкости работы пользователя, но может потребовать дополнительного объема оперативной памяти.
  3. Количества полей в модели данных. Очевидно, что большее количество полей потребует большего объема оперативной памяти.
  4. Выбранных сценариев работы с данными. Если пользователь использует многопараметрический сравнительный анализ, то памяти будет расходоваться больше по сравнению с тем, если бы пользователь работал в терминах классической отчетности.
  5. Специфики конкретных наборов данных. Дело в том, что алгоритм компрессии данных платформы Qlik основан на хранении только уникальных значений данных, встречающихся в полях модели данных. Поэтому эффективность сжатия данных в оперативной памяти  будет существенно зависеть от степени повторяемости загруженных данных. Обычно коэффициент сжатия варьируется в пределах 4–6, но может достигать и 10. Хотя на некоторых наборах данных может не достигать и 2.
  6. Степени гибкости сценариев анализа, предоставляемых пользователю. Как правило всегда большая степень гибкости будет требовать большего объема оперативной памяти.
  7. Используемого количества и сложности объектов визуализации данных. Большее количество объектов визуализации единовременно отображаемых на экране, требует большего количества оперативной памяти.
  8. Количества пользователей, одновременно работающих с приложением. Для каждого пользователя, работающего с приложением резервируется объем оперативной памяти, в котором хранится состояние выборок данных, сделанных пользователем. 
 

570

Производительность процессора

Требуемая производительность процессора чаще всего зависит от приведенных ниже параметров (в основном эти параметры уже были описаны выше):

  1. Объема данных, анализируемых пользователем.
  2. Выбранной модели данных.
  3. Количества полей в модели данных.
  4. Сложности и количества вычислений, выполняемых на этапах загрузки данных и на этапе работы с приложением конечными пользователями.
  5. Количества пользователей работающих с приложением.
  6. Возможности кэширования вычислений, выполняемых QlikView. Возможность и степень кэширования зависит от объема оперативной памяти, доступной для кэширования расчетов пользователей. Также эффективность работы кэша зависит от поведения конечных пользователей, т.е. от количества повторных обращений к одним и тем же наборам данных со стороны пользователей.
  7. Степени гибкости сценариев анализа, предоставляемых пользователю.
  8. Используемого количества и сложности объектов визуализации данных. Большее количество объектов визуализации единовременно отображаемых на экране, требует большего количества оперативной памяти.
  9. Выбранная модель безопасности данных, и ряд других характеристик приложения также существенно влияют на объем вычислений, необходимых для обработки процессорами сервера.
 

571

Количество серверов и их роли

В данном разделе, мы перечислим от чего зависит требуемое количество серверов и соответствующих им лицензий:

  1. Существующих стандартов на использование оборудования у заказчика и существующих требований по быстродействию. Т.к. QlikView легко масштабируется, то в зависимости от выбранной стратегии масштабирования, можно увеличивать производительность индивидуальных серверов (Scale-Up), увеличивать количество серверов (Scale-Out) или использовать оба способа одновременно. Например, даже при работе с большими объемами данных, как правило, всегда есть альтернатива одному большому и дорогому серверу. В частности, архитектор имеет возможность разделения приложения на несколько приложений, выполняемых на отдельных, сравнительно недорогих по аппаратному оснащению серверах.
  2. Существующих требований к отказоустойчивости решения. Очевидно, что больший уровень отказоустойчивости может потребовать создания кластера серверов QlikView. Кластеризация в свою очередь может быть использована на различных архитектурных уровнях решения: кластеризация на уровне загрузки данных, кластеризация на  уровне обслуживания пользователей, кластеризация веб-сервисов. Возможно использование и любых комбинаций этих кластеров.
  3. Существующие требования в плане управления версиями и надежностью решения могут потребовать создания выделенных зон разработки и тестирования приложений перед переносом их в среду эксплуатации. Организация таких зон тестирования и разработки может потребовать использования дополнительных серверов (и серверных лицензий QlikView).
  4. Выбранная модель безопасности данных, требуемые направления масштабирования (загрузка данных или обслуживание конечных пользователей), а также ряд других характеристик решения также могут существенно влиять  на количество серверов в составе решения.
 

Выводы

Для решения различных задач требуемый объем оперативной памяти, производительность процессоров и количество узлов кластера QlikView (при необходимости построения кластера) может существенно отличаться в зависимости от способа реализации решения. Поэтому четко определить и измерить перечисленные в этой статье параметры можно только в рамках конкретного примера (прототипа) приложения  и проведенного на его основе нагрузочного тестирования.

 

Тест-драйв Qlik

Вы можете испытать все возможности QlikView (либо Qlik Sense) самостоятельно, в том числе и на собственных данных. Отправляйте нам запрос на адрес info@fbconsult.ru и мы ответим на любые Ваши вопросы и предоставим Вам ПОЛНОФУНКЦИОНАЛЬНУЮ версию QlikView для изучения и тестирования на Ваших данных.

Компания "ФБ Консалт" предлагает Вам уникальную возможность бесплатно протестировать полнофункциональную платформу бизнес-аналитики нового поколения Qlik (QlikView либо Qlik Sense) на Ваших данных, чтобы понять насколько она Вам подходит.

509

Более подробную информацию о предложении Вы можете узнать на нашем сайте.

ФБ Консалт

Компания ФБ Консалт является официальным партнером компании QlikTech и предлагает весь спектр услуг по разработке и внедрению решений на базе передового продукта бизнес-аналитики нового поколения – QlikView.

Нас выбирают лидеры отраслей
Решениям от компании ФБ Консалт доверяют лидеры отраслей.
Посмотрите список наших клиентов на нашем сайте.

Компания Qlik

Продукты Qlik Sense и QlikView разработаны компанией Qlik, которая является одним из лидеров в области бизнес-аналитики нового поколения и одним из самых динамично развивающихся поставщиков BI решений в мире. QlikTech (Qlik) является единственным поставщиком BI решений, который гарантирует максимально быстрый возврат инвестиций.

Свяжитесь с нами


Более подробную информацию Вы можете получить, позвонив в "ФБ Консалт" по тел.: +7(495) 781–6400 или отправив запрос по электронной почте: info@fbconsult.ru. Специалисты компании с радостью ответят на все интересующие Вас вопросы. Обращайтесь!


Подписка

RSS-материал