Точные оценки быстродействия СЭД

Наталья Пономарева,

старший специалист отдела тестирования и техподдержки Directum

Довольно часто при выборе СЭД покупатели опираются на качественные оценки быстродействия или на количество будущих пользователей системы, например, «система обладает хорошим быстродействием» или «система рассчитана на одновременную работу 250 пользователей».

Такие оценки привычны и распространены, но они не дают представления о быстродействии системы в конкретной организации, потому что любые качественные оценки заведомо субъективны, а количество пользователей — далеко не единственный параметр, влияющий на быстродействие.

При выборе СЭД важно знать, как быстро будет реагировать система на действия пользователей в конкретной организации, а не что думают по этому поводу производители или как ведет себя система в других организациях с таким же или большим количеством пользователей.

Оценить скорость доступа к данным в конкретной организации можно несколькими способами. Самый точный, но при этом и самый затратный способ — обратиться в специализированный центр, занимающийся тестированием программных продуктов. Такой способ хорошо использовать на последнем этапе выбора СЭД, в качестве окончательного подтверждения сделанного выбора.

На начальных этапах выбора СЭД, когда рассматривается множество систем, можно использовать другой, достаточно эффективный, но значительно менее затратный способ — сравнительный анализ. Он включает в себя три этапа: расчет предполагаемой нагрузки на систему в конкретной организации, запрос данных о работе системы у производителя и сравнение рассчитанной нагрузки с полученными от производителя данными.

Чтобы лучше понять суть метода сравнительного анализа и эффективно его использовать, необходимы общие знания о быстродействии — из чего оно складывается и от чего зависит, и принципы расчета нагрузки на систему для конкретной организации — какие данные нужны и как с ними работать.

Параметры быстродействия СЭД

Потенциальным покупателям СЭД важно знать, насколько быстро система будет реагировать на действия пользователей. Сколько времени будет проходить с момента выбора пользователем пункта меню или нажатия на кнопку до получения результата?

Для информационных систем такое время называют временем отклика, а общую совокупность времен отклика на базовые действия пользователей — быстродействием системы.

Быстродействие называют хорошим, если время отклика системы на типовые действия сравнимо со временем отклика других, привычных для пользователей программных продуктов.

Если бы время отклика системы на каждое действие было постоянным, то оценки «хорошее быстродействие» было бы вполне достаточно. Уточнив у производителя список рассматриваемых типовых операций и время отклика для каждой из них, вопрос о быстродействии можно было бы считать решенным. Но время отклика — величина переменная. Она очень зависит от того, на каких аппаратных средствах выполняется действие и сколько других действий в системе выполняется в то же время.

Действительно, СЭД призваны автоматизировать работу многих сотрудников и представляют собой не одну программу, установленную на одном компьютере, а сложный программный комплекс, устанавливаемый на рабочих станциях и серверах. Не углубляясь в особенности архитектуры конкретных систем, в них можно выделить общие части.

Прежде всего — клиентские приложения, в которых работают пользователи системы. В роли таких приложений могут выступать веб-браузеры или специальные программы, являющиеся частью СЭД. В первом случае клиентское приложение называют «тонким», во втором — «толстым».

Далее, хранилище данных — физическое хранилище всей информации системы. Это могут быть базы данных или файловые системы.

И, наконец, серверы управления — программные приложения, через которые клиентское приложение взаимодействует с хранилищем данных. Серверы управления могут быть частью клиентского приложения или отдельными программами, работающими независимо. В первом случае говорят, что система имеет двухзвенную архитектуру, во втором — трехзвенную.

Когда пользователь инициирует выполнение какого-либо действия, клиентское приложение отсылает запрос к одному или нескольким серверам управления. Серверы управления запрашивают информацию из хранилища данных, обрабатывают ее и отправляют клиентскому приложению. Клиентское приложение отображает результат работы пользователю.

Время отклика системы складывается из времени работы каждого из участвующих в процессе компьютеров и времени передачи данных между ними. И то и другое время зависит от технических характеристик используемых аппаратных средств и от нагрузки на эти средства в момент доступа к данным.

Время работы компьютеров зависит от того, сколько операций может выполнить компьютер в единицу времени (техническая характеристика) и от того, сколько таких операций у него в очереди на момент доступа к данным (нагрузка).

Время передачи данных зависит от того, какой объем информации может быть передан по каналу за единицу времени (техническая характеристика) и сколько таких объемов надо передать (нагрузка).

Нагрузка на систему, в свою очередь, определяется характером выполняемых действий и объемом данных системы, общим и нужным для выполнения конкретного действия. Например, поиск документа в базе данных объемом 20 Мбайт может происходить значительно быстрее, чем поиск документа при прочих равных условиях, но в базе данных объемом 100 Гбайт.

Таким образом, на быстродействие системы влияют архитектура системы, характеристики используемых аппаратных средств, а также нагрузка и объем данных системы. Индивидуальными для каждой организации являются нагрузка и объем данных системы, и именно их рекомендуется рассчитывать для сравнительного анализа.

Рекомендуемые архитектуру и аппаратные средства следует запрашивать у производителя СЭД с учетом предполагаемой нагрузки и объемов данных в конкретной организации.

Верные способы обмануться в оценках

Не уделяя достаточно внимания нагрузке и объемам данных системы, а также рекомендуемым для них аппаратным средствам, очень легко оказаться в ситуации, когда нормальная работа системы или невозможна, или обходится очень дорого.

Например, вы слышите от производителя: «Система показывает высокое быстродействие при работе двухсот пользователей», и на основании этого делаете вполне логичный, с теоретической точки зрения, вывод, что в организациях с таким же или меньшим количеством пользователей система будет работать достаточно быстро. Но на практике может быть совсем не так.

Во-первых, может оказаться, что производитель системы в качестве «базовой» рассматривал лишь операцию создания документа, а «привычным» временем отклика считал 20 секунд. При таком подходе искать документы в системе вам придется по несколько минут, а то и вовсе отказаться от функции поиска, в пользу общей работоспособности системы.

Во-вторых, могло получиться так, что 200 заявленных пользователей в процессе тестирования выполняли одну и ту же операцию с пятиминутным интервалом, а это в большинстве организаций соответствует работе вовсе не 200 пользователей, а максимум — 20. Действительно, при средней интесивности работы 200 пользователей выполняют от 300 (создание документа) до 1500 (просмотр документа) различных операций в день. А при пятиминутном интервале за восемь часов будет выполнено всего около 100 операций.

В-третьих, 200 пользователей могли работать с базой данных документов объемом в 20 Мбайт, что при средних темпах роста базы данных с нулевого объема не соответствует даже первому дню «реальной» работы 200 пользователей в системе.

В-четвертых, даже при адекватном объеме базы данных реально могли использоваться не все данные, а лишь их малая часть. Остальные просто находились в базе данных, но не использовались ни при поиске, ни при работе.

В-пятых, система могла показать приведенные результаты на восьмипроцессорном сервере, что для 200 пользователей явно дороговато.

Подобных подводных камней встречается очень много и учесть их все без обращения к точным оценкам быстродействия СЭД практически невозможно.

К точным оценкам относятся список типовых действий со временем отклика для каждого из них и условия, при которых система показывает указанное время отклика: нагрузка, объем данных и аппаратные средства.

Таблицы для расчета нагрузки на систему

Расчет нагрузки и объемов данных системы удобно производить, исходя из предполагаемого количества пользователей системы. Для этого нужны две таблицы: таблица интенсивности работы пользователей — сколько и каких операций в день выполняет один пользователь — и таблица распределения документов в базе данных — типы документов в зависимости от их среднего размера и процентное соотношение таких документов в базе данных .

Таблицы можно составить непосредственно по данным работы организации, если такие данные имеются, или по некоторым средним данным о работе различных организаций. При этом рассчитывать нагрузку рекомендуется не на день установки системы, а по прошествии как минимум двух лет со дня ее использования.

Например, по данным анализа проектов внедрения системы Directum в организациях разного профиля (производственные и проектные организации, предприятия нефтяной отрасли), в работе пользователей наблюдаются определенные закономерности.

Число одновременно работающих в системе пользователей в среднем составляет 30% от общего количества пользователей. Например, если в организации планируется автоматизировать работу 1500 сотрудников, то в системе одновременно будут работать около 500 пользователей.

По степени активности пользователи делятся на три группы: высокоактивные, среднеактивные и низкоактивные.

Пользователи с высокой активностью практически все свое рабочее время проводят в системе, постоянно создавая, изменяя, просматривая документы, запуская на выполнение автоматизированные бизнес-процессы и т.д. Как правило, к этой категории относятся секретари, работники канцелярии, руководители отделов. На их долю приходится 6% от общего количества одновременно работающих пользователей и 25% всех выполняемых операций.

Пользователи со средней активностью достаточно активно работают в системе, проводя в ней значительную часть рабочего времени, но их активность ниже, чем у пользователей первой группы. На этих сотрудников приходится 30% от количества одновременно работающих пользователей (лицензий) и 30% всех выполняемых операций.

Пользователи с низкой активностью используют систему эпизодически — несколько раз в день обращаются к ней, проверяют назначенные им поручения и выданные задания, при необходимости просматривают и корректируют документы. На их долю приходится 64% от количества одновременно работающих пользователей и 45% всех выполняемых операций.

Таким образом, из 500 одновременно работающих пользователей 30 проявляют высокую активность, 150 — среднюю, а остальные 320 пользователей — низкую.

Пользователи каждой группы за день выполняют определенное количество базовых операций (см.табл. 1; количество операций приведено в расчете на одного пользователя каждой группы).

Например, 500 одновременно работающих пользователей за день в системе в среднем создают около 850 документов, из этого колическтва 600 документов создают пользователи с высокой активностью, 150 — со средней, а остальные пользователи — с низкой активностью.

В течение дня во всех группах наблюдаются пики и спады активности пользователей (см.табл. 2).

Из 850 создаваемых за день документов 340 создаются в послеобеденные часы.

Объемы и типы создаваемых документов в среднем распределяются так, как показано в табл. 3.

Например, из 850 документов 680 будут офисными, а 170 графическими. Общий объем создаваемых за день документов составит 680 Mб.

В соотвествии с такими средними данными интенсивность работы 300 пользователей показана в табл. 4.

Объем документов в базе данных по прошествии двух лет можно вычислить по данным таблиц 3 и 4.

Это, например, значит, следующее: чтобы оценить скорость работы системы для организации с 300 действующими пользователями, необходимо сымитировать выполнение операций в этой системе в соответствии с данными таблицы 5 на базе данных порядка 70 Гбайт.

Рекомендации по работе с данными от производителя

При выборе СЭД с точки зрения быстродействия у производителя рекомендуется запрашивать список типовых действий со временем отклика для каждого из них, интенсивность выполнения операций, объем данных и используемые аппаратные средства.

Этих значений вполне достаточно для того, чтобы сделать вывод о том, подходит ли система организации. Список типовых операций можно сравнивать с приведенным ниже списком самых основных операций (см.табл. 6), возникающих при использовании системы электронного документооборота (список операций для конкретной системы должен быть не короче, а длиннее, чем приведенный).

Стоимость аппаратных средств должна быть приемлемой для организации. Здесь сложно подбирать какие-либо эталонные характеристики. Самый простой и надежный способ — узнать стоимость требуемых аппаратных средств и решить, насколько эта сумма вписывается в общий бюджет внедрения системы в организации.

Интенсивность выполнения операций и объем данных следует сравнивать с рассчитанными для организации данными. Они должны быть того же или большего порядка, чем требуется организации. Если интенсивность работы или объем базы данных оказываются хотя бы на порядок ниже рассчитанных для организации, то использовать приведенные данные для оценки скорости работы системы в конкретной организации нельзя. В вопросе быстродействия можно полагаться только на экспериментально полученные данные, но не на те, которые получены путем выявления каких-либо закономерностей.

Например, довольно часто покупатели полагают, что если система показывает хорошее быстродействие на меньших, чем требуется, объемах данных, то она покажет хорошее быстродействие и на требуемых объемах данных за счет увеличения мощности используемых аппартных средств. На самом деле это может быть не так.

Практически у каждой СЭД есть так называемый порог интенсивности работы, за которым она перестает работать, независимо от используемых аппаратных средств. И чем крупнее компания, тем выше вероятность, что этот порог будет достигнут.

В целом вопрос об оценке быстродействия СЭД наиболее остро стоит именно для крупных организаций. На рынке немало систем, которые с точки зрения быстродействия подходят практически любым мелким и средним предприятиям. Порог их интенсивности обычно определяется работой одной или нескольких сотен пользователей.

Но современные требования к СЭД таковы, что системы для крупных компаний должны обеспечивать высокое быстродействие уже не 200—300 пользователей, как это было несколько лет назад, а 1000—1500 на каждом сервере. И это ничуть не завышенные требования. Уже сейчас в России есть организации, в которых количество автоматизированных пользователей системы электронного документооборота приближается к этим значениям, и со временем таких организаций будет все больше.

Именно поэтому уже сегодня качественных оценок быстродействия оказывается недостаточно и всем, кто выбирает СЭД для крупной компании, нужны точные оценки быстродействия, хотя раньше ими занимались только специалисты.