Журнал о системах электронного документооборота (СЭД)
Технологии проектирования и построения СЭД

Big Data и ECM: рассмотрим практические примеры

  11 комментариев Добавить в закладки

Совсем недавно Артем Обухов выпустил блог «Большие данные и их место в ECM» в котором обстоятельно расписал что же такое Big Data применительно к ECM. Я предлагаю развить тему и посмотреть на нее с практической плоскости.

На самом деле, примеров из жизни, где подходы Big Data уже актуальны, больше, чем мы привыкли думать (просто терминология в России еще не прижилась, и вопросы не анализируются в разрезе больших данных).

Например, в СМИ с Big Data связаны оценка интересов пользователей, отслеживание социальной активности, количество перепостов сообщений, автоматическая подготовка дайджестов и даже новостей.

В медицине большие данные накапливаются за счет использования электронных медицинских карт, нательных датчиков, данных со стационарных медицинских приборов. Так при анализе огромных объемов информации становится возможным прогнозирование эпидемий.

В науке подходы Big Data актуальны в метрологии, геологии, метеорологии, астрономии.

Спортивный менеджмент завязан на больших данных, к примеру, за счет анализа больших объемов информации осуществляется прогноз продажи билетов, а также расчет букмекерских коэффициентов.

И это уже реальная повседневная жизнь!

А что происходит на уровне корпоративных систем, и, в частности, ECM-системах.

Big Data и ECM

Я буду оперировать фактами и данными, собранными на основе анализа работы нашей компании (DIRECTUM) в ECM-системе за 10 лет.

Вот некоторые факты:

Число пользователей системы 

Число накопленных в системе документов, процессов, записей справочников 

 

Вы можете наблюдать, что динамика прироста данных выше, чем динамика прироста пользователей системы. Чем это было вызвано?

Сотрудники компании стали активнее использовать ECM-систему, стало инициироваться больше бизнес-процессов, как связанных с классическим делопроизводством (входящие, исходящие, организационно-распорядительные документы), так и лежащих за его пределами: работа с договорами, счетами, финансовым архивом, межкорпоративное взаимодействие и так далее. Как раз неклассические задачи и придали большой рывок.

Удельный объем данных на одного сотрудника все возрастает, как и их разнообразие. При таком тренде должен наступить момент, когда люди перестанут справляться с информацией, «потонут» в ней. Но это ли уже «больше данные» или они виднеются только на горизонте?

Чтобы разобраться, предлагаю разделить все бизнес-задачи на классические (работа с ОРД, входящими и исходящими документами, несложными бизнес-процессами), привычные для бизнеса и сотрудников, с четко зафиксированными регламентами; и неклассические (обработка счетов на оплату и ведение финансового архив, обработка обращений населения, кредитные заявки и пр.), зачастую связанные с взрывным ростом объема данных.

Классические задачи документооборота и объемы данных

День

Месяц

Год

Пользователи

1000

1200

3000

Регистрационно-контрольные карточки (РКК)

5400

130 000

3 888 000

Документы

5500

132 000

3 960 000

Процессы

8400

202 000

6 048 000

Вот пример одной крупной компании, нашего клиента, с одновременной работой в ECM-системе 1000 пользователей и динамикой роста подключений до 3000 до конца года. Даже в рамках решения классических задач за год в системе инициируются миллионы бизнес-процессов, появляются миллионы документов и РКК. Это гигабайты информации, рост которых будет только расти. Миллионы – это уже не десятки тысяч!

На таких объемах даже в классических задачах документооборота можно говорить о начале работы с большими данными. Это и большой объем с необходимостью обеспечения высокой масштабируемости. И высокая скорость прироста данных при их разнообразии, которые порождают бизнес-потребность в получении статистики и анализу работы в режиме реального времени, а крупные компании не терпят простоя.

Что же происходит при решении неклассических задач?

Неклассические задачи ЭДО и взрывной рост информации

Для примера рассмотрим различные отраслевые задачи госсектора, банков и ритейла.

Работа госучреждений с обращениями граждан

Автоматизация межведомственного электронного взаимодействия

В рамках реализации пилотного проекта в одном субъекте РФ по переводу государственных и муниципальных услуг в электронный вид нами было замерено, что из регионального органа в федеральный центр поступает объем запросов равный 270 000 обращений в год. Одновременно внутри региона генерируется 70 000 обращений.

И это только пилотный проект на первом десятке госуслуг, с подключением новых услуг объем вырастет на порядки до миллионов обращений. А если взять во внимание все субъекты РФ, то объем увеличится еще на два порядка до сотен миллионов обращений в год.

Работа многофункциональных центров

В потенциале МФЦ должен обрабатывать до 50 000 документов в день или 12 миллионов в год. Объем документов составит более 100 гигабайт в день или 25 терабайт в год. Это колоссальное количество передаваемой информации. Все эти данные надо хранить и обрабатывать при новых запросах граждан.

Потребительские кредиты и банк

Ежедневно в банк средней руки может поступать до 10 000 обращений с заявками на потребительские кредиты. Только приемом таких заявок в едином центре будут заниматься 200 сотрудников. А после приемки заявки необходимо обработать, провести через кредитный комитет и вынести по ним решения о выдаче кредита. Оптимально, если одна заявка будет обрабатываться не в течение нескольких дней, а за час. Так работает кредитный конвейер.

И если для автоматизации принятия решения существуют специальные информационные системы, то в области ввода и первоначальной обработки информации ИТ-решения только-только начинают использоваться (вспомните, как часто сканируют ваш паспорт при обращении в банк, даже в один и тот же, даже в одно отделение, к одному операционисту?).

Обмен финансовыми документами в ритейле

Ежемесячно через крупные торговые сети проходит до 100 000 бумажных счетов. Все счета, как правило, обрабатываются в корпоративном центре.

Одной из важных задач ритейлеры ставят переход на электронное взаимодействие с контрагентами, потому что уже сейчас текущие объемы данных ставят в тупик бухгалтерию при необходимости быстро сформировать подборку документов для встречной или камеральной проверки. Серьезной проблемой становится также поиск площадей для хранения документов.

А с переходом на электронное взаимодействие при интеграции с EDI количество документов вырастет еще больше за счет появления сопроводительной электронной договорной документации.

Большие данные и поиск новой эффективности

Из приведенных примеров видно, что большие массивы данных в ECM-системах накапливаются и обрабатываются уже сейчас (или накопятся в самое ближайшее время) – это документы, бизнес-процессы, записи справочников, история, права доступа и т.д.

Помимо их хранения, ими необходимо управлять, проводить анализ и искать новые пути повышения производительности работы. Если с отчетностью все более или менее понятно (плюсы BI хорошо изучены), то поиск гипотез о поведении пользователей, вопросы повышения эффективности бизнес-процессов ставят перед ECM-системами и их потребителями новые интересные задачи.

Рассмотрим эти гипотезы

Анализ данных и вовлечение сотрудников

Правильная работа документами

Можно оценивать частоту работы с документами для принятия решений об их автоматическом переносе в архив, смене прав доступа. Или даже для формирования подборок документов, подходящих для определенного круга сотрудников для текущей работы.

 

Число обращений к документу, описывающему технологии и процессы

Пример с документом, описывающим процедуру работы в компании. Мы видим, что в период появления документа большое количество сотрудников массово его просматривали. С течением времени поток обращений снизился и зафиксировался на уровне только новичков (т.к. базовым технологиям текущие сотрудники уже привыкли следовать). На основе такой статистики система сама может сделать вывод о необходимости переноса документа в архивное хранилище, а также включение его в список обязательных документов для всех новичков.

Профиль загрузки сотрудников

Система сама может оценить профиль загрузки сотрудника, в том числе статистику работы с документами и выполнения заданий, может посылать сигналы о необходимости гармонизации загрузки, перераспределения процессов на коллег.

 

Статистика о работах и загрузке сотрудника в ECM-системе 

Например, из данных графика система может понять, что в 2009 году сотрудник перешел на руководящую должность, отметив, что его профиль работы сменился, что он стал выполнять больше «быстрых» заданий, вероятно, и больше делегировать. Но при этом процент просроченных остался неизменным, но с учетом роста количества задач, количество просроченных стало угрожающим. Вероятно, отследив это средствами системы, стоит просигнализировать сотруднику о факте неприемлемого роста количества просроченных заданий.

«Цифровой след» сотрудника

Еще одна интересная гипотеза – это отслеживание «цифрового следа» сотрудника, оставленного при работе с различными массивами данных, взаимодействии с коллегами, прочей рабочей активности. На его основе могут выявляться поведенческие гипотезы, которые позволят повысить удобство взаимодействия пользователя с системой, окружением (другими системами, коллегами).

Игровые механики

Внедрение в корпоративное окружение элементов игры может стать инструментом анализа поведения пользователей, стимулирования правильного использования функций системы и глубокого их изучения, следования технологиям компании и повышения эффективности.

Элементы геймификации, внедренные в нашей компании, подтвердили предположения о том, что новый подход становится стимулом для сотрудников. Мы также выявили неожиданный факт, что основными участниками стали не молодые сотрудники, а опытные, в возрасте за 30 лет, а также топ-менеджмент, который нашел в игре новый элемент поиска активных сотрудников и оценки их эффективности.

 

Процент сотрудников, отметивших конкретные плюсы геймификации 

Социализация

Другим механизмом вовлечения может стать пересмотр принципов работы сотрудников в корпоративных системах – от контента к взаимодействую внутри рабочих групп. Формирование кругов по интересам (отделы, крупные проекты, рабочие группы, профессиональные клубы и гильдии), получение информации от коллег, формирование профессиональных дайджестов, внутренних чатов – все это инструменты, которые могут помочь в вовлечении сотрудников и повышении эффективности их работы.

Поиски закономерностей внутри работы плотно взаимодействующих групп, быстрая передача им полномочий и информации, закрепление результата, неформальная субординация, принципы хранения и использования данных – все это становится возможным при включении социальных механизмов в корпоративную среду.

И, если речь идет о крупной компании, имеющей в штате тысячи сотрудников, накопление корпоративной статистики и ее анализ должны как можно быстрее переходить от гипотез к реальным шагам.

В качестве вывода

Оценивайте объемы, разнообразие, скорость прироста и оперативность анализа своих данных. Если вы ожидаете взрывного роста или приближения к рубежу Big Data – для вас это серьезное основание поговорить с поставщиком вашей ECM-системы о поддержке механизмом обработки больших данных. А также с вашим руководством о возможности повышения эффективности бизнеса за счет раскрытия новых, неожиданных закономерностей в работе сотрудников с корпоративной информацией.

***

Материал подготовлен на основе выступления автора на DOCFLOW 2014, а также его статьи, опубликованной на портале CNews.

Источник: DIRECTUM

Ещё материалы автора
Похожие записи
Комментарии (11)
Михаил Романов 29 августа 2014 г. 19:08  
Вот некоторые факты
Это гигабайты информации, рост которых будет только расти. Миллионы – это уже не десятки тысяч!

Вполне заурядные объемы. Почему для их обработки не подходят классические методы?

Посмотрите объемы обработки транзакций в крупнейших российских банках, а за одно обратите внимание, что они не размахивают маркетинговой шашкой Big Data. Интересно почему?

Андрей Подкин 30 августа 2014 г. 10:40  
они не размахивают маркетинговой шашкой Big Data. Интересно почему?
В начале 2000-х у Джоэля Спольски спросили, почему он не переводит свой флагманский продукт с ASP на ASP.NET, ведь это последний писк моды. На что Спольски ответил: "Мне некогда. Деньги зарабатывать надо!"
Михаил Кислицын 30 августа 2014 г. 11:15  
Посмотрите объемы обработки транзакций в крупнейших российских банках, а за одно обратите внимание, что они не размахивают маркетинговой шашкой Big Data

На этот вопрос отвечает Александр Друзь Андрей Себрант:
ее:http://ecm-journal.ru/docs/Big-Data-i-ECM-rassmotrim-prakticheskie-primery.aspx?from=subsclub&utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+ECM-Journal+%28%D0%92%D0%B0%D0%B6%D0%BD%D0%BE%D0%B5+%D0%BE%D0%B1+%D1%8D%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D0%BD%D0%BD%D0%BE%D0%BC+%D0%B4%D0%BE%D0%BA%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%BE%D0%B1%D0%BE%D1%80%D0%BE%D1%82%D0%B5.+Blogs+and+articles+on+ECM-Journal.ru%29 http://www.youtube.com/watch?v=zsUKYfXjpvo#t=1122

Елена Питомцева 01 сентября 2014 г. 10:50  

И правда, замечательное видео по большим данным!

Михаил Романов 01 сентября 2014 г. 15:16  
На этот вопрос отвечает Александр Друзь Андрей Себрант

А можно тезисно для тех, кто ответа так и не увидел?

 

 

 

Василий Бабинцев 02 сентября 2014 г. 16:35  
Вполне заурядные объемы. Почему для их обработки не подходят классические методы?

Подходят. Я говорил о возможности начала работы с большими данными, если параллельно думать о решении вопросов разрастания базы, разнообразии данных и принятии быстрых решений.

Наверное, примеры, основанные только на данных ECM-систем, и не самые яркие, но и они демонстрируют источники появления данных больших объемов об анализе которых ранее не думали. Если же их совместить с бизнес-данными из других источников (коих в компаниях много), то они прекрасно дополнят общую картину.

 

Посмотрите объемы обработки транзакций в крупнейших российских банках, а за одно обратите внимание, что они не размахивают маркетинговой шашкой Big Data. Интересно почему?

 Уже начали: Big Data в России: оцениваем возможности и риски

"Тема применения Big Data в банках звучала и в докладах Сергея Анохина, вице-президента и заместителя директора финдепартамента ВТБ24, Кирилла Лядова, руководителя центра BI Home Credit Bank, а также начальника ИТ-департамента Росэнергобанка Леонида Белышкова. Господин Анохин рассказал о статусе пилотного проекта, который продолжается 2 месяца и затрагивает анализ клиентской базы банка из 6 млн человек по более чем 80 показателям и 70 категориям. На основании продолжающегося эксперимента ВТБ24 уже смог внести коррективы в свою стратегию и определить портрет своих клиентов в целях дальнейшей маркетинговой разработки продуктового ряда."

Михаил Романов 03 сентября 2014 г. 11:49  
Я говорил о возможности начала работы с большими данными, если параллельно думать о решении вопросов разрастания базы, разнообразии данных и принятии быстрых решений

Еще раз: само по себе разрастание базы, даже при росте в 100 раз никаким образом не ведут к необходимости использовать инструменты Data Mining/Big Data.

 

И вообще, статья называется "Big Data и ECM: рассмотрим практические примеры", но где здесь хоть один практический пример, я так и не понял. Что именно и как вы собираетесь обрабатывать? Приведите, наконец уже конкретный пример, а не общие рассуждения!

 

Вот возьмем, например, раздел "Игровые мехники" (вы упомянули, что в вашей компании подобные механизмы внедрены, значсит можно разговаривать предметно):

 

  • Как и какого рода информацию вы собираете (только не надо словами "в принципе, можно было бы...", а именно - что вы собираете или планируете собирать).
  • Как храните и анализируете?
  • Какие методы, которые вы относите к Big Data вы применяете/планируете применять.

Вот это и будет рассмотрением практического примера.

Василий Бабинцев 03 сентября 2014 г. 13:16  

Миша, я вижу тебя тоже активно интересует тема больших данных и их практического применения (например, игровых практик в ECM в нашей компании). Предлагаю собраться в студии ECM-J и записать подкаст в рамках которого мы сможем порассуждать на данную тему, разобрать примеры.

Надеюсь редактор ECM-J не будет против такой беседы?

Елена Питомцева 03 сентября 2014 г. 16:40  

Подкаст - вполне реально, общаться лично - это полезно. Предложение принято, проработаем даты и подробности - сообщу!

Михаил Романов 05 сентября 2014 г. 15:04  
Предлагаю собраться в студии ECM-J и записать подкаст в рамках которого мы сможем порассуждать на данную тему, разобрать примеры

Я не против, но я откровенно не понимаю, с кем собраться и о чем порассуждать? Если соберемся мы с тобой, то, прости за откровенность, это будет разговор двух дилетантов.

 

Кроме того, я не очень понимаю, как может помочь подкаст? Я прошу привести реальный (а не гипотетический), в котором данные, хранимые в ECM необходимо обрабатывать методами из Big Data. Как такой пример появится в рамках небольшого разговора, если этого не получилось сделать в статье (которая априори готовится тщательнее и дольше)?

Сейчас обсуждают
Вадим Майшев 16 января 2017 г. 11:27  

Не особо авторы/журналисты утруждают себя использовать правильные термины: тут и "стоимость ЭЦП" - ЭЦП уж 5 лет по закону нет, да и ЭЦП "не продается" (УЦ продают сертификаты).

Никто еще не видел в природе живьем простую электронную подпись, а будто бы только она "устраняет ограничения на использование документов, выдаваемых органами и организациями в электронной форме" :-)

А проблема в том, что граждане вынуждены оформлять дорогостоящую электронно-цифровую подпись, чтобы обжаловать постановления в электронном виде.

Кто решил, что она дорогостоящая? В сравнении с чем? В государстве нет ничего бесплатного! Давно были у нотариуса/врача/... или оплачивали пошлины за "услуги" государства, живущего на деньги налогоплательщиков? И никто (пока) не запрещает использовать неэлектронные варианты взаимодействия!

Александр Валеев 16 января 2017 г. 08:22  
«Большинство услуг и сервисов на портале требуют только простой электронной подписи, однако некоторые услуги, действительно, нужно подписывать квалифицированной электронной подписью. На сегодняшний день это необходимая технология, и она продолжит действовать», — заявил замглавы Минкомсвязи России Алексей Козырев. На сайте Минкомсвязи приведен весь список госуслуг, для которых нужна ЭЦП (XLSX,  187,5 КБ).

Многие опубликовали новость о госуслугах. Но о том, понадобится ли еще КЭП, только здесь. Спасибо

Больше комментариев