2

NetDB обеспечивает:

• Сбор и консолидацию данных с иерархической организационной структуры в единое хранилище,

• Загрузку данных в хранилище из внешних информационных систем,

• Систематизацию и хранение данных в виде массивов показателей с набором аналитических признаков,

• Конструирование форм представления данных,

• Вычисления на основе алгоритмов агрегирования и формул расчета,

• Анализ данных и визуализацию результатов анализа,

• Подготовку и выпуск регламентированной отчетности,

• Выгрузку данных во внешние системы

Использование NetDB позволяет повысить скорость и эффективность внедрения информационной системы, а также в случае необходимости модифицировать систему в ходе эксплуатации без привлечения разработчиков

3

Организационные проблемы

• Территориальная распределенность участников

• Сложная организационная структура, схема распределения ответственности

• Трудоемкость контроля исполнительской дисциплины

• Низкая оперативность мониторинга

• Необходимость адаптации процессов сбора к организационным изменениям

Обеспечение качества данных

• Несогласованность НСИ и несопоставимость полученных данных

• Повторный ввод одних и тех же показателей в различные формы

• Трудоемкость прослеживания расчетов и изменений данных в ходе согласования

• Необходимость адаптации форм отчетности к изменениям нормативной базы

4

Сбор и консолидация

отчетности Систематизация

и хранение Анализ и

вычисления

Выпуск отчетности

Загрузка данных

Выгрузка данных

Управление доступом

Конструирование форм

5

• Повышение достоверности и качества данных • Полная прослеживаемость источников данных и

алгоритмов обработки • Оперативный мониторинг показателей • Оперативный анализ и визуализация данных (без

переноса в аналитическое хранилище) • Снижение трудоемкости проверки и согласования

данных • Оперативный контроль исполнительской дисциплины • Высокая адаптируемость к изменениям

организационной и информационной структуры

• Данные в хранилище NetDB хранятся в виде массивов значений показателей с произвольным (неограниченным) количеством аналитических признаков.

1. Хранение данных в виде показателей, а не форм.

• Состав и структура справочников и показателей формируются пользователями системы, имеющими соответствующие права доступа.

• Формы ввода и представления данных конструируются на основе показателей и справочников средствами пользовательского интерфейса, без программирования.

2. Гибкость информационной структуры.

• Однократно введенное значение показателя отображается во всех формах ввода и представления данных, где присутствует данный показатель.

3. Исключение повторного ввода информации.

6

• Система выполняет агрегирование показателей по заданным аналитическим признакам, вычисление показателей на основе других показателей с помощью заданных формул.

• При проведении расчетов учитываются корректировки вычисленных значений показателей, выполненные пользователями вручную.

4. Агрегирование и вычисления с учетом корректировок показателей

• Поддерживается полная версионность, прослеживаемость изменений данных и метаданных, прослеживаемость вычислений и агрегирования.

• Режим "ретроспекции" обеспечивает просмотр состояния информационных объектов системы на любой момент времени в прошлом.

5. Аудируемость информации

• Поддерживается многомерный анализ показателей (OLAP) в оперативном режиме, без переноса данных в специализированное аналитическое хранилище.

6. Оперативный многомерный анализ показателей

7

• NetDB предоставляет XML API для обмена данными с внешними системами по технологии REST, а также веб-сервисы импорта/экспорта данных по протоколу SOAP.

• Обеспечивается тесное взаимодействие платформы NetDB с распространенными офисными пакетами LibreOffice, MS Excel, включая оперативную передачу данных через буфер обмена.

7. Интеграция

• Система может быть развернута как в централизованной, так и в распределенной конфигурации. Процедуры обмена данными между хранилищами NetDB настраиваются средствами пользовательского интерфейса, без программирования.

8. Поддержка распределенной конфигурации хранилищ

• Использование свободно распространяемого системного и базового ПО обеспечивает не только высокую доступность и надежность работы системы, но и низкую стоимость владения.

• Не потребуется дополнительных затрат на закупку лицензий при увеличении мощности оборудования, переносе системы на другое оборудование, замене версий системного и базового ПО.

9. Использование свободного системного и базового ПО

8

9

Типовой вариант установки системы рассчитан на 500 пользователей, десятки миллионов записей в хранилище Серверная часть: • физический сервер, 16 ГБ ОЗУ, 4-х ядерный процессор, не менее 2

HDD, от 72 Гб, объединенных в единый RAID1 массив (зеркало), • система Ubuntu 12.04 LTS Server Edition x64, Apache 2.2+mod_wsgi,

Python 2.7, PostgreSQL 9.1, • канал доступа в Интернет – не менее 20 Мбит/сек. Клиентская часть: • память - не менее 256 Мб, рекомендуется 1 Гб, • операционная система по выбору заказчика, браузер

Firefox/IE/Chrome последних стабильных версий, офисный пакет (MSOffice, LibreOffice, OpenOffice) для выгрузки данных,

• канал доступа в Интернет - не менее 128 Кбит/с (рекомендуется более 512 Кбит/с).

10

• типичное внедрение - десятки миллионов записей

• компактное in-memory хранение (около 30 млн записей в 10 Гб оперативной памяти)

• секунды на построение отчета по миллиону исходных записей (без кэширования)

• быстрое внедрение и поддержка систем с сотнями вычисляемых изменений

11

• Полное версионирование данных и метаданных, возможность просмотра состояния системы на любой момент времени (http://pycon.ru/program/content/versioning-in-relational-database/)

• Хранение данных: – PostgreSQL, типичные внедрения с десятками миллионами записей – хранение по колонкам в виде графа (модель EAV), возможность хранения

часто используемых вместе признаков в одной таблице – гибкая структура графа без необходимости задавать OLAP-кубы и

разделять признаки и измерения, возможность менять струтуру на лету – единый подход к редактированию данных и мета-данных, интерфейс

системы - тоже настраиваемые метаданные

• Мощная декларативная модель вычислений: – задание формулами, фильтрами, агрегацией – учет корректировок на любом шаге вычислений – полная прослеживаемость вычислений до исходных данных – независимость вычислений от отчетов, задание более декларативное,

чем SQL – гибкое задание порядка вычислений, поддержка рекурсии – все рассчитывается на лету и всегда показывает актуальные введенные

данные и формулы

12

• возможность хранения и обработки всех данных в памяти (in-memory вычисления) с real-time синхронизацией с базой данных

• генерация кода вычислений на лету, по заданным пользователем формулам (http://ua.pycon.org/talks/18 )

• быстрая работа с большим количеством изменений, с разреженными данными

• кэширование с честной и быстрой инвалидацией (за счет полного версионирования)

• простое горизонтальное масштабирование на уровне приложения

• возможно горизонтальное масштабирование на уровне базы данных

• использование PyPy c Just-In-Time компилятором (http://moscowdjango.ru/meetup/8/pypy-in-production/)

13

Структура данных Вычисления Формы представления данных Аудируемость информации Процессы сбора данных Анализ и визуализация Интеграция Администрирование

СТРУКТУРА ДАННЫХ

14

Система показателей NetDB создается с помощью интерфейса пользователя. Возможные типы значений показателей: • целое число, • вещественное число, • неотрицательное число, • строка текста, • дата и время, • период, • логическое «да/нет», • справочник, • древовидный справочник, • множественный выбор из

справочника, • множественный выбор из

древовидного справочника, • файл. Показатели объединяются в группы согласно тематике, назначению или другим характеристикам.

15

2 вида справочников: • простые (линейные) и • древовидные (иерархические).

Постраничный просмотр, возможность сортировки и фильтрации записей. Версионность справочников, возможность просмотра прошлых версий, выбора и сравнения 2-х версий.

16

Для создания атрибутов (полей) справочника используются показатели из существующего набора показателей. Можно изменить состав атрибутов справочника в ходе эксплуатации системы. Атрибут «Порядковый номер» задает порядок сортировки записей (в пределах одного уровня вложенности). Для древовидного справочника возможен перенос ветви дерева от одного родительского узла к другому (методом «Drag and Drop»). При этом система обеспечивает сохранение идентификаторов и других атрибутов записей справочника, привязок записей справочника к показателям, формам, реестрам, отчетам.

17

Структура информационного объекта (элемента данных) в хранилище NetDB: • Пара (показатель, значение), • Набор пар (аналитический

признак, значение). Каждый аналитический признак также является показателем, и также может иметь набор аналитических признаков.

Информационный объект содержит сведения о том, что: «В оперативную отчетность внесены фактические данные о том, что поголовье молочных коров на сельхозпредприятии ООО "Заря" на 15.02.2013 года составляло 140 голов»

18

ВЫЧИСЛЕНИЯ

19

Вычисляемые показатели рассчитываются на основе других показателей с помощью заданных формул Всплывающая подсказка поясняет, каким образом получено вычисленное значение в форме или отчете

20

Значения показателя автоматически агрегируются по аналитическим признакам согласно алгоритмам агрегации, заданным в карточке показателя. В форме или отчете агрегированные значения выделены зеленым цветом. Щелкнув на агрегированное значение показателя, можно перейти к форме , раскрывающей алгоритм агрегирования данных.

21

ФОРМЫ ПРЕДСТАВЛЕНИЯ ДАННЫХ

22

Формы представления данных (отчеты, формы ввода, реестры) в NetDB создаются с помощью Конструктора, который обеспечивает:

• построение форм и отчетов произвольной структуры, вложенные заголовки,

• параметризованные формы и отчеты,

• простой, интуитивно понятный интерфейс,

• предварительный просмотр результатов конструирования.

23

Формы ввода данных конструируются на основе показателей и справочников. Можно создавать сложные иерархические заголовки, использовать агрегируемые или вычисляемые показатели.

Любое вычисленное или агрегированное значение пользователь может откорректировать . При корректировке можно ввести комментарий, приложить файл с обоснованием изменения. Ячейки, в которых значения откорректированы, окрашиваются желтым. Можно просмотреть историю изменений значения показателя в выбранной ячейке формы или отчета

24

Имеется удобный инструмент настройки правил автоматизированного формато-логического контроля, выполняемого при сохранении введенных или загруженных данных. Можно сделать определенные ячейки обязательными для ввода, запретить ввод в определенные ячейки, а также задать контрольные соотношения между ячейками формы в виде арифметических выражений.

Поддерживается также возможность настройки межформенных контрольных соотношений

25

Реестр – это форма для ввода данных с переменным числом строк, конструируется на основе показателей и справочников, так же как обычная (табличная) форма ввода данных. Поддерживаются режимы просмотра и редактирования, постраничный просмотр реестра, сортировка и фильтрация по столбцам, возможность просмотра прошлых версий и сравнения 2-х выбранных версий.

26

АУДИРУЕМОСТЬ ИНФОРМАЦИИ

27

NetDB поддерживает полное протоколирование изменений данных и метаданных. Механизмы прослеживания изменений данных: • История изменения значения показателя в ячейке

формы/отчета, с отображением комментариев и документов-обоснований,

• Список версий справочника, реестра, с возможностью просмотра и сравнения прошлых версий,

• Журнал выпуска отчетов с возможностью просмотра отчета в том состоянии, в каком он был выпущен,

• Журнал операций пользователей с возможностью перехода к просмотру истории изменения объекта,

• Режим ретроспекции: возможность «вернуться в прошлое» и просмотреть в привычном интерфейсе состояние всей системы на заданный момент времени в прошлом.

28

Набор операций, которые регистрируются в Журнале операций, настраивается при установке системы. Пользователь-администратор может выбрать нужные операции для просмотра, задавая • Тип операции (вход в систему, операции с формами, отчетами, реестрами, шаблонами сбора, заданиями

сбора, учетными записями пользователей и т.д.), • Тип события (создание, изменение, удаление, просмотр, вход), • Пользователя, выполнившего операции, • Временной промежуток, когда были выполнены операции.

29

При переходе в режим ретроспекции пользователь указывает интересующий его момент времени в прошлом.

Он увидит привычный ему интерфейс системы. Но структура и содержание показателей, справочников, форм ввода данных, реестров, отчетов и др. информационных сущностей системы будут отображаться в том виде, в котором они находились в указанный момент времени.

30

ПРОЦЕССЫ СБОРА ДАННЫХ

31

NetDB поддерживает сбор данных с иерархической организационной структуры (региональных и муниципальных органов исполнительной власти, подведомственных учреждений и подразделений ведомства, структурных единиц корпорации и т.п.).

32

Картотека организаций, используемая в информационной системе мониторинга и прогнозирования состояния продовольственной безопасности РФ, содержит 5 уровней: • Российская

Федерация, • федеральные округа, • субъекты РФ, • муниципальные

районы, • сельхозпредприятия.

Для настройки процесса сбора данных создается Шаблон сбора.

Шаблон сбора задает

• состав собираемых форм и реестров, рекомендованных отчетов для просмотра и проверки данных,

• периодичность сбора, даты начала и окончания сбора данных,

• зону ответственности (т.е. пользователей, ответственных за сбор данных с определенных узлов оргструктуры).

33

В соответствии с Шаблоном сбора система формирует задания ответственным пользователям. Пользователь-участник заполняет назначенные формы и реестры и ставит отметку о выполнении задания. Пользователь-контролер проверяет и утверждает заполненные формы, в случае необходимости корректирует данные или возвращает задание на доработку пользователю-участнику.

34

Для авторизации и обеспечения юридической значимости форм отчетности с помощью электронной цифровой подписи (ЭЦП) используется криптопровайдер КриптоПро CSP. КриптоПро CSP имеет сертификат соответствия ФСБ, разрешающий использование пакета для • формирования ключей шифрования и ключей

электронной цифровой подписи, • шифрования и имитозащиты данных, • обеспечения целостности и подлинности

информации, не содержащей сведений, составляющих государственную тайну.

35

АНАЛИЗ И ВИЗУАЛИЗАЦИЯ

36

В отчете «Динамика производства скота и птицы» заголовки строк построены на основе иерархического справочника «Административная структура», при просмотре можно свернуть/развернуть строки.

Сложные заголовки столбцов (3-х уровневые) построены на основе числовых показателей, справочника «План/факт», и показателя «Период»

37

Показатель «Производство скота и птицы (в живой массе), тыс.тонн» - агрегируемый, поэтому значения показателя в федеральных округах и РФ вычислены путем суммирования значений в регионах. Показатель «Производство скота и птицы (в живой массе), выполнение плана, %» - вычисляемый. Вычисленные и агрегированные значения выделены зеленым шрифтом.

Особый интерфейс для отчетов с большим количеством строк. Строки отчета формируются динамически на основе перебора комбинаций 4-х древовидных справочников: «Ведомства», «Разделы, подразделы (Рз, Пр)», «Целевые статьи расходов (ЦСР)», «Виды расходов (ВР)». В отчет попадают только непустые строки, т.е. комбинации, с которыми связано значение показателя «Сумма расходов». При просмотре пользователь может регулировать ширину столбцов отчета.

38

NetDB обеспечивает оперативное построение и отображение многомерных аналитических отчетов на основе информации, хранящейся в базе данных (по технологии OLAP).

Система формирует OLAP-кубы для каждого многомерного показателя, наблюдаемого в разрезе нескольких аналитических признаков. Пользователю предоставляется возможность настройки представления OLAP-куба в виде табличного отчета. Можно помещать аналитические признаки в заголовки строк или столбцов, перетаскивать с одного уровня вложенности на другой.

39

Возле каждой аналитической характеристики в скобках отображается количество хранимых в базе данных значений показателя, относящихся к данной характеристике

40

Пользователь может изменить вид графика (диаграммы), выбрать столбцы и строки отчета, отображаемые на графике (диаграмме)

41

NetDB обеспечивает вывод данных в MS Excel, LibreOffice в виде регламентированных форм отчетности. Поддерживаются следующие возможности: • Использование шаблона экспорта данных в формате MS

Excel, LibreOffice с указанием области вывода данных, • Задание параметров заголовков и подвала отчета

(например, должность и ФИО руководителя, подписывающего документ),

• Формирование составного отчета из нескольких обычных табличных отчетов, связанных по параметрам,

• Вывод в один шаблон MS Excel данных из нескольких форм/реестров/отчетов, связанных по параметрам

42

ИНТЕГРАЦИЯ

43

•Экспорт данных справочников, форм, реестров, отчетов во внешние файлы формата xls, xml, csv, во внешние информационные системы

•Импорт данных в справочники, формы, реестры из внешних файлов формата xls, xml, csv, из внешних информационных систем

•Перенос метаданных и данных между разными хранилищами NetD

Обмен данными

•Выгрузка данных в шаблон MS Excel с сохранением форматирования, заданного в шаблоне

•Оперативный обмен данными через буфер обмена (clipboard)

Взаимодействие с офисными приложениями

•Встраивание сервисов NetDB во внешний портал, выполняющий авторизацию пользователей

Единая авторизация пользователей

44

Общие принципы наших интеграционных решений: – Наличие стандартных веб-сервисов (REST, SOAP, СМЭВ)

импорта/экспорта данных из внешних информационных систем, • Подключение дополнительной внешней системы к

стандартным веб-сервисам не требует программирования (выполняется пользователем-администратором),

• Структуру импортируемых/экспортируемых данных формирует пользователь с помощью Конструктора отчетов,

– В случае необходимости выполняется адаптация и оптимизация процедур импорта/экспорта данных для конкретного проекта, при этом сохраняется возможность корректировки параметров процедур и структуры данных пользователем-администратором.

45

Расписание автоматического экспорта данных отчета настраивается пользователем

46

Таблицы переходных ключей обеспечивают синхронизацию справочников при импорте данных

АДМИНИСТРИРОВАНИЕ

47

Механизмы управления доступом пользователей к функциям и данным системы: • Ролевая модель доступа, • Ограничение доступа к определенным

информационным сущностям (справочники, показатели, формы, отчеты, реестры) или группам сущностей,

• Ограничение доступа к данным других организационных единиц (с помощью механизма доменов),

• Назначение ответственных за сбор данных с определенного узла оргструктуры (с помощью механизма локальных привязок).

48

Ограничение доступа к отчетам и формам

49

Редактирование учетной записи пользователя, множественный выбор ролей

50