Пример листа сбора данных о единичном процессе

Видео:Пример построения сценарияСкачать

Как проверить качество графической схемы бизнес-процесса? #bpm #СЭД #ECMJ

Качественная графическая схема бизнес-процесса является основой для:

• выполнения анализа процесса и разработки мероприятий по его оптимизации;

• формирования понятного и практически полезного регламента (стандарта).

В данной статье я предлагаю рассмотреть структуру чек-листа проверки качества графической схемы, а потом приведу пример его использования.

Ниже представлены названия разделов чек-листа и их краткие характеристики.

1. Тип модели процесса

Можно условно выделить три типа моделей процессов:

• аналитическая – показывает общую логику процесса; нужна для анализа и регламентации, может содержать некоторые упрощения из расчета, что человек сможет додумать, как надо выполнять работу с учетом своего опыта и компетенции;

• имитационная – позволяет выполнять имитационное моделирование процесса для определения времени выполнения, загрузки исполнителей, стоимости результатов выполнения процесса;

• исполняемая – может быть экспортирована для автоматизации в системе класса BPMS или запущена на выполнение прямо из среды моделирования.

2. Соответствие стандартной нотации моделирования

Необходимо проверить соответствие схемы общепринятым нотациям моделирования. Вариантов не много: IDEF0, eECP, CFFC, BPMN.

По-хорошему, в организации должен быть стандарт, в котором установлены требования к графическим моделям процессов. Его часто называют «Соглашение по моделированию».

Если стандарт есть, то в данном и последующих пунктах необходимо учесть его требования.

3. Корректность формулировок названий объектов на схеме

Объекты схемы это: документы, информация, операции процесса, субъекты (должности, роли), логические операторы (шлюзы) и проч.

Следует обратить внимание на соответствие названий Стандарту моделирования. Если в нем нет требований в части названий объектов, то стоит их внести.

Пример некорректной формулировки процесса: «Разработка и утверждение плана работ в случае согласования руководителем не позднее второй недели третьего месяца квартала». (Думаю, не нужно объяснять, что здесь не так).

4. Корректность описания входов/выходов

Входы/выходы могут быть информационные и материальные.

Важно, чтобы входы/выходы были описаны корректно и не «повисали» в воздухе. Это означает, например, что для любого входящего документа был указан процесс (в виде какой-либо ссылки), который является поставщиком входа и т.п.

5. Корректность описания событий

События могут быть инициирующие (стартовые), промежуточные и завершающие процесс. Ошибки при описании событий могут быть как формальные, так и содержательные.

Пример – название стартового события «Возникла потребность в сырье». Почему неправильно? Не может потребность возникнуть случайно, ниоткуда, путем медитации. При такой формулировке исполнителю не понятно, в какой ситуации реально должен стартовать процесс.

6. Отсутствие логических и содержательных ошибок

Это самый важный раздел в чек-листе.

В первую очередь, здесь нужно указать логические ошибки. Например, некорректное использование в паре логических операторов «И» и «ИЛИ».

Но главное, это содержательный анализ схемы. Необходимо продумать, как будет выполняться процесс, если следовать строго по его графической схеме. Насколько он будет выполним, результативен и эффективен.

При проведении содержательного анализа схемы целесообразно привлечь эксперта по предметной области (узкоспециализированный отраслевой специалист).

7. Аккуратность исполнения схемы. Визуальная наглядность

Стоит обратить внимание на такие моменты, как:

• наличие объектов одного типа, но разного размера;

• надписи выходят за границы объектов;

• наложение стрелок, надписей друг на друга;

• чрезмерное количество элементов на схеме и проч.

8. Отсутствие физической нереализуемости

https://www.youtube.com/watch?v=ekLpM1uQ1kM

Физическая нереализуемость может возникнуть, например, когда схема процесса предполагает одновременное выполнение двух операций одним и тем же исполнителем.

9. Отсутствие возвратов (переделок работы)

Довольно часто на схемах рисуют возвраты на предыдущую операцию (или какую-то другую — по смыслу). Это, как правило, означает, что документ не согласован, и нужно отправить его на доработку.

Теоретически, несоответствия возможны на каждой операции процесса. Но тогда придется везде рисовать возвраты на предыдущий шаг. Схема станет чрезмерно сложной.

Поэтому надо определить правила, когда рисовать возвраты, а когда – нет.

Для аналитических схем возвраты стоит показывать только в случае наиболее существенных, важных отклонений. Это отклонения, при которых невозможна дальнейшая работа и требуется запуск дополнительных операций процесса.

В любом случае, чем меньше возвратов, тем эффективнее бизнес-процесс.

10. Отсутствие дублирования операций (прямое или косвенное)

Как это ни странно, иногда на схеме процесса можно увидеть дублирование операций.

Стоит обратить внимание на схожие по смыслу или почти одинаковые названия операций процесса.

Иногда дублирование можно выявить, анализируя содержание операций и их результаты.

11. Отсутствуют пропущенные важные операции

Для того, чтобы вывить пропущенные важные операции процесса, надо внимательно посмотреть на него с содержательной точки зрения. Например, мы описываем процесс выполнения работы на каком-то агрегате. Но не показываем, что для этого нужно получить сырье на складе и т.п.

Другой пример. Перед помещением на склад, нужно упаковать и идентифицировать товар (приклеить ярлык со штрих-кодом), но эта операция пропущена и т.д.

12. Отсутствует чрезмерный контроль

Это относительная вещь. Но если в процессе слишком часто начальник перепроверяет (согласует) работу подчиненных, это повод задуматься о том, насколько хорошо продуман процесс.

13. Отсутствуют узкие места («бутылочные горлышки»)

Бутылочное горлышко, это ситуация, когда какая-то операция тормозит весь процесс.

Визуально это можно увидеть, когда несколько параллельных потоков сходятся на одной операции. При этом надо понять, есть ли ограничение по пропускной способности на данной операции.

Иногда визуально выявить узкое место сложно. Нужен содержательный анализ на основе конкретных данных.

14. Отсутствуют возвраты в прошлое

Возвраты в прошлое (или переходы в не наступившее будущее) означают, что на схеме показан возврат на операцию, которая уже не может быть физически выполнена.

Ситуацию можно выявить только путем содержательного анализа. Пример. Мы не можем вернуться и повторить процесс заливки опалубки бетоном, если фундамент дал трещину. Нужно ломать и переделывать.

15. Отсутствие смешения единичного потока и накопления (объектов обработки)

Это довольно тонкая, но очень распространенная ошибка.

Например, процесс инициирован единичным событием (например, предоставить заявку на оплату), а далее по ходу процесса выполняется формирование графика платежей и оплата.

Если следовать строго по схеме (если она не была спроектирована специальным образом), мы получим, что график платежей будет состоять из одного пункта.

16. Отсутствие «процессной грыжи»

Процессная грыжа, это ситуация, когда внутри процесса в виде одной операции появляется другой большой и сложный процесс, требующий значительных ресурсов и времени для своего выполнения.

Например, в процессе получения информации об оплате счета, возникает операция «Ведение бухгалтерского учета».

17. Отсутствие неоднородности масштаба операций

Довольно просто выявляется. Например, на одной схеме процесс представлены операции под названиями: «Получить сменное задание у начальника» и «Изготовить продукцию». Первую делает мастер, а вторую выполняет весь цех численностью 30 человек.

https://www.youtube.com/watch?v=Qy-Wa3b9wdM

Обратите внимание, что определенные проблемы, выявленные в чек-листе, могут явно указывать на необходимость дополнительной проработки самого процесса с целью повышения его эффективности.

Стоит подчеркнуть, что я рассматриваю в данном случае только графическую схему, а не бизнес-процесс в целом. (Тем, кто не видит разницы, рекомендую почитать мои предыдущие публикации, а лучше книгу «Бизнес-процессы. Моделирование, внедрение, управление»).

Например, я не включил в чек-лист информацию о целях и показателях, ограничениях, методах контроля и т.п. Поэтому, для проверки процесса в целом, в чек-лист нужно включить дополнительные разделы.

Графическая схема процесса для тестирования чек-листа

Ниже представлена графическая схема бизнес-процесса, разрабатывая которую я попытался допустить все описанные выше ошибки (несоответствия). После схемы приводится чек-лист.

Рекомендую сначала попробовать найти несоответствия в схеме самостоятельно, а уже потом посмотреть мой вариант чек-листа.

Рис. 1. Пример графической схемы процесса. Содержит несоответствия.

Пример использования чек-листа

Надеюсь, Вы нашли все ошибки в схеме? В любом случае, я приведу ответы, правильные с моей точки зрения.

Надеюсь, что данный пример не только Вас повеселил, но и заставил задуматься о серьезных вещах.

После данной тренировки попробуйте проверить качество моделей процессов Вашей компании.

Видео:Основные виды производства. Единичное. Серийное. МассовоеСкачать

Сборка данных со всех листов книги в одну таблицу

Допустим, что у нас есть книга с большим количеством листов, где на каждом листе находится таблица с данными по сделкам в этом городе:

Давайте будем исходить из следующих соображений:

• Структура и столбцов на всех листах одинаковая.
• Количество строк на всех листах разное.
• Листы могут в будущем добавляться или удаляться.

Наша задача — собрать все данные со всех листов в одну таблицу, чтобы потом с ней работать (фильтровать, сортировать, построить сводную и т.д.) Сделать это можно разными способами, но самыми удобными будут, пожалуй, Power Query и макросы.

Способ 1. Сборка данных с листов с помощью Power Query

Если вы ещё не сталкивались в своей работе с Power Query, то очень советую копнуть в этом направлении. Использование этой бесплатной и уже встроенной по умолчанию в Excel надстройки, способно полностью перевернуть весь ваш процесс сбора и анализа данных, упростив всё в разы. С задачей сбора данных с листов Power Query справляется весьма успешно.

Шаг 1. Подключаемся к файлу

Для начала, создадим новый пустой файл в Excel, куда и будут собираться данные.

Если у вас Excel 2010-2013 и вы установили Power Query как отдельную надстройку, то откройте вкладку Power Query, если у вас Excel 2016 или новее, то вкладку Данные (Data). Нажмите кнопку Получить данные / Создать запрос — Из файла — Книга Excel (Get Data / New Query — From file — From Excel) и укажите наш файл с исходными листами:

В появившемся окне Навигатора (Navigator) выберите слева любой лист и нажмите в правом нижнем углу кнопку Преобразовать данные (Transform Data) или Изменить (Edit):

Должно появиться окно редактора запросов Power Query, где отобразятся данные с выбранного листа. Поскольку нам нужен, на самом деле, не один лист, а все, то удалим в правой панели все шаги, кроме первого шага Источник (Source) используя крестик слева от названия шага:

То, что останется после удаления шагов — это список всех объектов, которые Power Query «видит» во внешних файлах, а это:

• листы (Sheet)
• «умные таблицы» (Table)
• именованные диапазоны (Defined Name)
• области печати (Print Area), которые, по сути, являются одним из видов именованного диапазона

Шаг 2. Отбираем нужные листы

В исходном файле может быть много всего лишнего, что нам не требуется собирать: случайные ненужные листы, служебные именованные диапазоны, побочные умные таблицы и т.п. Очень важно отфильтровать этот «информационный мусор», т.к.

в будущем из-за любого подобного объекта наш запорс будет, скорее всего, вылетать с ошибкой или некорректно собирать данные. Для решения этой задачи можно использовать несколько подходов.

Во-первых, легко можно отфильтровать нужные объекты по типу по столбцу Kind.

Например, если вам нужны только листы:

Во-вторых, если нам нужны только видимые листы, то дополнительно можно отфильтровать ещё по столбцу Hidden.

В-третьих, если вы точно знаете размер таблиц, которые вам нужны, то можно легко добавить к нашему списку вычисляемый столбец с формулой, выводящей количество столбцов или строк и использовать потом эти числа для отбора. Для этого выберем на вкладке Добавление столбца — Настраиваемый столбец (Add Column — Custom Column) и введём в открывшееся окно следующую формулу (с учётом регистра):

Для подсчёта количества строк можно использовать аналогичную функцию Table.RowCount. Получившийся столбец затем можно использовать для фильтрации «мусорных» таблиц.

В-четвёртых, можно извлечь с каждого листа содержимое любой ячейки (например, А1) и использовать его для отбора. Например, если там нет слова «Товар«, то это не наш лист. Для извлечения нужно будет также добавить вычисляемый столбец с такой конструкцией:

={0}

Здесь:

• — имя столбца, где в каждой ячейке лежат таблицы с содержимым каждого листа (убийственная формулировка для рядового пользователя Excel, да, я знаю)
• — имя столбца на листе, из которого мы хотим извлечь данные
• {0} — номер строки (считая с нуля), откуда мы хотим взять данные

После фильтрации «мусора» все добавленные вспомогательные столбцы можно, конечно же, спокойно удалить, оставив только колонки Name и Data.

Шаг 3. Разворачиваем таблицы

Теперь развернём содержимое таблиц в одно целое, используя кнопку с двойными стрелками в заголовке столбца Data, отключив флажок Использовать исходное имя столбца как префикс (Use original column name as prefix):

После нажатия на ОК Power Query соберёт для нас все данные в одну мегатаблицу со всех отобранных листов нашего файла:

Останется лишь «навести блеск», а именно:

1. Поднять первую строку в шапку таблицы кнопкой Использовать первую строку в качестве заголовков (Use first row as headers) на вкладке (Home).
2. Переименовать первый столбец в Город двойным щелчком на заголовку.
3. Удалить повторяющиеся шапки таблиц, попавшие в одну кучу вместе с данными, используя фильтр по столбцу Товар.

Всё. Осталось только дать нашему запросу подходящее имя (например, Сборка) в панели справа и выгрузить затем собранные данные обратно в Excel кнопкой Закрыть и загрузить на вкладке (Home — Close & Load):

В будущем, при любых изменениях в исходном файле достаточно будет лишь обновить наш запрос, щелкнув по собранной таблице правой кнопкой мыши и выбрав команду Обновить (Refresh) или такой же кнопкой на вкладке Данные (Data) или сочетанием клавиш Ctrl+Alt+F5.

Плюсы такого подхода:

• Не нужно уметь программировать, всё делается быстро и почти без использования клавиатуры.
• Последовательность столбцов на разных листах может быть различной — это не играет роли, столбцы правильно встанут друг под друга в итоговой сборке.
• Можно быстро обновлять запрос при изменении исходных данных.

Минусы этого способа:

• Собираются только значения, т.е. формулы с исходных листов не сохраняются.
• Названия столбцов должны на всех листах совпадать с точностью до регистра.
• Нельзя выбрать какой именно диапазон берётся с каждого листа — это определяется автоматически (берётся всё, что есть).
• Для обновления нужен Excel 2016 или новее или установленная надстройка Power Query.

Способ 2. Сборка данных с листов макросом на VBA

Похожего результата можно добиться и с помощью более «классического» подохода — макросом на VBA. Для этого на вкладке Разработчик (Developer) нажмите кнпоку Visual Basic или воспользуйтесь сочетанием клавиш Alt+F11. В открывшемся окне добавьте новый модуль через меню Insert — Module и скопируйте туда текст вот такого макроса:

Sub CollectDataFromAllSheets() Dim ws As Worksheet Set wbCurrent = ActiveWorkbook Workbooks.Add Set wbReport = ActiveWorkbook 'копируем на итоговый лист шапку таблицы из первого листа wbCurrent.Worksheets(1).Range(«A1:D1»).Copy Destination:=wbReport.Worksheets(1).Range(«A1») 'проходим в цикле по всем листам исходного файла For Each ws In wbCurrent.Worksheets 'определяем номер последней строки на текущем листе и на листе сборки n = wbReport.Worksheets(1).Range(«A1»).CurrentRegion.Rows.Count 'задаем исходный диапазон, который надо скопировать с каждого листа — любой вариант на выбор: Set rngData = ws.Range(«A1:D5») 'фиксированный диапазон или Set rngData = ws.UsedRange 'всё, что есть на листе или Set rngData = ws.Range(«F5»).CurrentRegion 'область, начиная от ячейки F5 или Set rngData = ws.Range(«A2», ws.Range(«A2»).SpecialCells(xlCellTypeLastCell)) 'от А2 и до конца листа 'копируем исходный диапазон и вставляем в итоговую книгу со следующей строки rngData.Copy Destination:=wbReport.Worksheets(1).Cells(n + 1, 1) Next ws End Sub

Запустить созданный макрос можно на вкладке Разработчик кнопкой Макросы (Developer — Macros) или с помощью сочетания клавиш Alt+F8. Макрос автоматически создаст новую книгу и скопирует туда нужные вам данные.

Плюсы такого подхода:

• Формулы с исходных листов сохраняются в сборке.
• Имена столбцов не играют роли.
• Макрос будет работать в любой версии Excel.
• Можно выбирать, что именно брать с каждого листа (конкретный фиксированный диапазон или весь лист).

Минусы этого способа:

• Последовательность столбцов на всех листах должна быть одинаковой, т.к. происходит, по сути, тупое копирование таблиц друг-под-друга.
• Защита от макросов должна быть отключена.
• Быстрого обновления, как это было с Power Query, здесь, к сожалению, не будет. При изменении исходных данных придётся запустить макрос повторно.

Способ 3. Готовый макрос из надстройки PLEX

Если лень возиться с макросами или Power Query, то можно пойти по пути наименьшего сопротивления — использовать готовый макрос (кнопка Собрать) из моей надстройки PLEX для Excel. Это, может, и не спортивно, но зато эффективно:

В общем, выбирайте любой удобный вам вариант и действуйте. Выбор — это всегда хорошо.

Ссылки по теме

Видео:Как разработать технологический процесс изготовления детали. 9 основных этаповСкачать

3. Методы сбора статистической информации. Примеры

Статистическое наблюдение — это массовое(оно охватывает большое число случаевпроявления исследуемого явления дляполучения правдивых статистическихданных) планомерное (проводится поразработанному плану, включающемувопросы методологии, организации сбораи контроля достоверности информации),систематическое (проводится систематически,либо непрерывно, либо регулярно), научноорганизованное (для повышения достоверностиданных, которая зависит от программынаблюдения, содержания анкет, качестваподготовки инструкций) наблюдение заявлениями и процессами социально-экономическойжизни, которое заключается в сборе ирегистрации отдельных признаков укаждой единицы совокупности.

Способы получения статистическойинформации:

Непосредственное статистическоенаблюдение — наблюдение, при которомсами регистраторы путем непосредственногозамера, взвешивания, подсчета устанавливаютфакт подлежащий регистрации.

Документальное наблюдение — основанона использовании различного родадокументов учетного характера.

https://www.youtube.com/watch?v=rXtk5OrS4x8

Включает в себя отчетный способ наблюдения— при котором предприятия представляютстатистические отчеты о своей деятельностив строго обязательном порядке.

Опрос — заключается в получении необходимойинформации непосредственно от респондента.

Существуют следующие виды опроса:

Экспедиционный — регистраторы получаютнеобходимую информацию от опрашиваемыхлиц и сами фиксируют ее в формулярах.

Способ саморегистрации — формулярызаполняются самими респондентами,регистраторы только раздают бланки иобъясняют правила их заполнения.

Корреспондентский — сведения всоответствующие органы сообщает штатдобровольных корреспондентов.

Анкетный — сбор информации осуществляетсяв виде анкет, представляющих собойспециальные вопросники, удобен в случаях,когда не требуется высокая точностьрезультатов.

Явочный — заключается в предоставлениисведений в соответствующие органы вявочном порядке

4. Основные правила обработки статистических данных. Пример

Статистическая обработка представляетсобой сложный многоступенчатый процесс,от уровня научной организации которогорешающим образом зависит качествонакапливаемых статистических данных,результаты их обработки и осмысления.

Многолетняя практика статистическойработы выделила в этом процессе следующиеосновные этапы:

1) разработка методологии изучениямассовых явлений;

2) обоснование системы показателей дляхарактеристики изучаемых явлений(процессов);

3) организационно-методическая подготовка;

4) сбор статистических данных (статистическоенаблюдение);

5) сводка и группировка;

6) обработка и анализ статистическихданных;

7) обоснование выводов и формулировкапредложений.

5.Классификация статистических наблюдений

Организацияпереписи населения, характеристика

показателейисходной формы переписи населения в2010 г.

Статистические методы анализа данныхприменяются практически во всех областяхдеятельности человека. Их используютвсегда, когда необходимо получить иобосновать какие-либо суждения о группе(объектов или субъектов) с некоторойвнутренней неоднородностью.

Целесообразно выделить три вида научнойи прикладной деятельности в областистатистических методов анализа данных(по степени специфичности методов,сопряженной с погруженностью в конкретныепроблемы):

а) разработка и исследование методовобщего назначения, без учета спецификиобласти применения;

б) разработка и исследование статистическихмоделей реальных явлений и процессовв соответствии с потребностями той илииной области деятельности;

в) применение статистических методови моделей для статистического анализаконкретных данных.

Организация переписи

Вся территория страны разбита напереписные участки. Во главе каждогоиз них работает заведующий переписнымучастком.

Каждый переписной участок поделён наинструкторские участки; их возглавляютинструкторы.

Каждый инструкторский участок разделённа счётные участки. За каждым счётнымучастком закреплён переписчик, которыйпроводит сбор сведений обо всём населении,проживающем на территории его счётногоучастка.

Кроме того, организованы стационарныесчётные участки, куда люди (не имеющиежилья, не желающие пускать переписчикадомой и т. п.) могут прийти и ответить навопросы переписного листа.

Ход переписи

Сбор сведений о населении проводитсяпо состоянию на момент счёта населения0 часов (по местному времени) 14 октября2010 года.

Глава Росстата 19 октября 2010 года сообщил,что 14 октября на работу не вышло поразным причинам 2 % переписчиков[16].

Росстат продлил из-за наводнения срокипереписи в Туапсинском районеКраснодарского края на 5 дней, Апшеронскомрайоне Краснодарского края — на 2дня[17].

В Бутово сотрудники милиции использовалисимволику переписчиков для проникновенияв квартиру и задержания подозреваемогопосле того, как девушки-переписчицыотказались выступать в качестве«приманки»[12].

В ходе проведения переписи в Сургутебыли обнаружены несколько неизвестныхмилиционерам наркопритонов; в Саратовскойобласти вскрылась кража мотоцикла; вКировской области переписчики нашлидеревню с одним жителем[18].

25 октября 2010 года наблюдалось большоечисло звонков на «горячую линию» Росстатас вопросом: «Почему нас не переписали?»

15 октября СМИ сообщили, что наряду софициальным сайтом переписи 2010 года 14октября начал свою работу сайт-дублёр.Дублер являлся зеркалом официальногосайта переписи. Однако при этом материалыс официального сайта переписи дублерпередавал «в упрощенном или искаженномвиде»

Видео:Сквозной пример в Process Modeler Часть1 idef0Скачать

О сборе данных. как собирать данные, анализировать их и грабить корованы

В предыдущей статье мы рассматривали вопросы качества данных («О качестве данных и распространенных ошибках при их сборе» на Хабре). Сегодня я хочу продолжить разговор о качестве данных и обсудить их сбор: как правильно расставить приоритеты при выборе источника, как и какие данные собирать, оценка ценности данных для компании и другое.

Собирайте всё

Вы решили улучшить оформление и оплату товара на сайте? Отлично, а как проходит процесс формирования корзины покупателем? В какой момент он делает окончательный выбор товаров: до добавления в корзину или перед оплатой покупки? На каждом сайте может быть по разному, но как ведет себя клиент у вас? При обладании данными об оформлении заказа их можно проанализировать и определиться с вектором обновления, который будет удобен не только вам, но и пользователям.
Собирайте все данные, до которых дотягиваетесь. Вы никогда не будете знать со стопроцентной уверенностью, какие из них могут вам понадобится, а возможность сбора может выдаться только одна. Чем больше данных вы соберете, тем больше информации о пользователях у вас будет, а что важнее — вы сможете понимать и прогнозировать контекст их поступков. Контекст помогает лучше понимать своего клиента, его желания и намерения, а чем лучше вы знаете своего клиента, тем лучше вы сможете реализовать его персональные потребности, а значит повысить лояльность и повысить вероятность возврата клиента. Сегодня сбор абсолютно всех данных уже не такая редкость, особенно это распространено в онлайн проектах. В компании, максимизирующей сбор данных и умеющей с ними работать, на их основе будет вестись практически вся деятельность: маркетинг, продажи, работа персонала, обновления и усовершенствования, поставки. У каждого направления есть внутренние и внешние источники данных в различных форматах и разного качества. Это хорошо для работы аналитиков и принятия решений, но отсюда также возникает проблема с хранением этого массива данных и их обработкой. Каждое действие увеличивает финансовую нагрузку и положительный эффект от обладания данными может вырасти в «головную боль». Для принятия решения о целесообразности сбора и обработки тех или иных данных нужно понимание их основных характеристик. Давайте вкратце пройдемся по ним:

Объем

Показатель, влияющий на финансовые издержки по хранению и изменению данных и временные издержки по их обработке. И хотя с  увеличением объема данных цена на хранение единицы снижается, но, учитывая увеличивающееся количество источников, финансовая нагрузка может стать нерациональной.

Разнообразие

Разнообразный набор источников данных дает более полную картину и помогает лучше оценить контекст действий пользователя, но обратная сторона медали — разнообразие форматов и расходы на их интеграцию в вашу систему аналитики. Не всегда все данные возможно собрать воедино, а если и возможно, то не всегда это необходимо.

Скорость

Какой объем данных требуется обрабатывать в единицу времени? Вспомним недавние выборы президента США — благодаря быстрой обработке сообщений можно было понимать настроение избирателей в ходе дебатов и корректировать их ход. Гигантам работы с данными, таким как и Google, на достижение сегодняшних результатов потребовать огромное количество времени, но благодаря этому у них теперь есть данные о каждом пользователе и они могут прогнозировать их действия. Частая проблема персонала, работающего с данными — ограниченные ресурсы, в первую очередь финансовые и кадровые. В большинстве компаний аналитикам приходится расставлять жесткие приоритеты в выборе источников данных, и тем самым отказываться от некоторых из них. Кроме того необходимо учитывать интересы бизнеса, а значит оценивать рентабельность инвестиций в работу с данными и возможное влияние данных на компанию.

Приоритеты и выбор источников данных

При ограниченных ресурсах в работе с данными специалистам приходится расставлять приоритеты и делать выбор между источниками. Чем же руководствоваться при этом и как определить ценность данных для компании? цель работы аналитиков — давать необходимую другим подразделениям информацию качественно и своевременно.

Эта информация оказывает прямое влияние на эффективность компании и работу отделов. У каждого отдела или подразделения есть свой «основной» тип данных. Так для отдела по работе с клиентами важны контакты клиента и данные его социальных сетей, а для отдела маркетинга — история покупок и карта действий.

Так и выходит, что каждая команда имеет свой набор «очень важных данных» и эти данные определенно важнее и нужнее чем у других подразделений. Вот только от важности и нужности данных проблема с ограниченными ресурсами не исчезает, а значит приходится расставлять приоритеты и действовать в соответствии с ними.

Основной фактор для определения приоритетности данных — ROI, но не стоит забывать и про доступность, полноту и качество. Вот список в котором приведены некоторые показатели, которые могут помочь в расстановке приоритетов: Список параметров для расстановки приоритетовВысокая
Причина: Данные нужны немедленно.

Объяснение: Если у какого-то подразделения появляется острая необходимость в данных с жестко ограниченными сроками, такие данные предоставляются в первую очередь.

Высокая

Причина: Данные повышают ценность.
Объяснение: Данные повышают прибыль или сокращают издержки, обеспечивая высокую ROI.

Высокая

Причина: Разным командам требуются одни и те же данные.
Объяснение: Удовлетворяя потребности нескольких команд в данных вы повышаете ROI.

Высокая

Причина: Краткосрочные или потоковые данные.
Объяснение: Некоторые интерфейсы и протоколы дают ограниченное по времени «окно» для сбора данных, следует поторопиться.

Средняя

Причина: Дополнение для существующего набора данных, которые повышают их качества.
Объяснение: Новые данные дополняют имеющиеся и улучшают понимание контекста действий.

Средняя

Причина: Код обработки данных может быть использован повторно.
Объяснение: Использование известного кода сокращает ROI и уменьшает количество возможных ошибок.

Средняя

Причина: Данные легко доступны.
Объяснение: Если данные ценны, а добыть их просто — вперед.

Средняя

Причина: Удобный API позволяет собрать данные за прошедшие периоды.
Объяснение: Если данные не требуются еще вчера, а вы всегда можете получить к ним доступ, то не стоит ставить им слишком высокий приоритет.

Низкая

Причина: Аналитики имеют доступ к данным или иные пути их получения.
Объяснение: Если у аналитиков уже имеется доступ к данным, то, возможно, есть более приоритетные задачи.

Низкая

Причина: Низкое качество данных.
Объяснение: Низкокачественные данные могут быть бесполезны, а иногда и вредны.

Низкая

Причина: Необходимо извлечение из веб-страниц.
Объяснение: Обработка таких данных может быть достаточно сложной и требовать чрезмерных усилий.

Низкая

Причина: Низкая вероятность использования данных.
Объяснение: Данные, которые хорошо бы иметь, но если их нет, то и ладно.
Зато, обладая этими данными, можно грабить корованы!
Как мы видим не всякие данные важно предоставить «прямо сейчас», а значит необходимо расставлять приоритеты и следовать в соответствии с ними. Важно сохранять баланс между приобретением новых данных и их ценностью для компании.

Взаимосвязь данных

Вы получаете важные данные от отдела продаж, маркетинга, от логистов и обратную связь от клиентов, но самая большая ценность данных возникает после установления связей между разными видами данных. Для примера рассмотрим Диану и ее заказ.

Недавно она заказала комплект садовой мебели, сопоставив ее заказ с данными аналитики, мы видим, что она провела на сайте 30 минут и просмотрела 20 разных наборов. Это значит, что она выбирала мебель уже на сайте, не зная заранее, что будет заказывать. Смотрим откуда она пришла — поисковая выдача.

Если бы у нас была информация о других покупках Дианы, то мы бы узнали, что она за последний месяц часто покупала товары для дома. Частые онлайн покупки и использования поисковиков для нахождения интернет-магазинов говорит о низкой лояльности брендам, а значит склонить ее к повторной покупке будет сложно.

Так, получая каждый новый уровень информации, составляется индивидуальный портрет пользователя, по которому можно узнать о его жизни, привязанностях, привычках и прогнозировать его поведение. Добавляем информацию из оформления заказа и понимаем, что это женщина, а по адресу доставки видим, что она живет в частном секторе.

Продолжая анализировать можно найти информацию о ее доме и участке, спрогнозировать ее потребности и сделать превентивное предложение. При правильном анализе данных предложение может сработать и мы склоним клиента к повторной покупке, а так же повысим его лояльность за счет индивидуального подхода.

Предложение скидок за приглашение друга из соцсети даст нам доступ к  ее списку друзей и информации аккаунта, тогда можно будет продолжать индивидуальный маркетинговый подход к клиенту и составить под нее таргетированную рекламу, но это вряд ли будет рентабельно.

Сбор и покупка данных

Сегодня существует множество способов сбора данных, один из самых распространенных — API. Но кроме того как собрать данные, их нужно обновлять, и тут все уже зависит от объема.

Небольшие объемы данных (до 100 тысяч строк) целесообразнее заменять свежими, а вот с крупными массивами уже актуально частичное обновление: добавление новых и удаление устаревших значений.

Массивы некоторых данных настолько огромны, что обрабатывать их все будет слишком дорого для компании, в таких случая проводят выборку, и на ее основании проводят аналитику. Часто практикуется «простая случайная выборка», но обычно данные, собранные с ее помощью, не репрезентативны и сравнимы с подбрасыванием монетки.

Важный вопрос: собирать сырые или агрегированные данные? Некоторые поставщики данных дают уже скомпилированные подборки, но у них есть несколько недостатков. Например, в них могут отсутствовать необходимые или желаемые значения, которые повысили бы ценность аналитики на основе этих данных для компании, но у вас не будет возможности собирать или дополнять их. Данные, собранные сторонними агрегаторами, удобны для архивации и хранения, также они значительно экономят время и человеческий ресурс. Но если есть возможность собирать сырые данные, то лучше выбрать их — они более полные, и вы сможете самостоятельно агрегировать их в соответствии со своими потребностями и запросами бизнеса, а после работать с ними так, как вам потребуется. Многие компании самостоятельно собирают данные, а также использует доступные в открытых источниках. Но в некоторых случаях они вынуждены заплатить за получение необходимых данных третьей стороне. Иногда выбор мест приобретения данных может быть ограничен, в других случаях нет, но независимо от этого при выборе источника данных и принятии решения о их приобретении следует обратить внимание на несколько факторов:

Цена

Все любят бесплатные данные — и руководство и аналитики, но иногда высококачественная информация доступна только за деньги. В таком случае следует взвесить рациональность приобретения и сравнить стоимость и ценность данных.

Качество

Данные чисты, им можно доверять?

Эксклюзивность

Данные подготовлены индивидуально для вас или доступны всем желающим? Вы получите преимущество перед конкурентами, если будете использовать их?

Выборка

Есть возможность получить выборку для оценки качества данных до приобретения?

Обновления

Какой срок жизни данных, как быстро они устаревают, будут ли они обновляться и как часто?

Надежность

Какие ограничения у интерфейсов получения данных, какие еще ограничения могут накладываться на вас?

Безопасность

Если данные важны, то будут ли они зашифрованы и насколько надежными протоколами? Также не стоит забывать о безопасности при их передаче.

Условия использования

Лицензирование или иные ограничения. Что может не позволить вам воспользоваться данными в полном объеме?

Формат

Насколько вам удобно работать с форматом приобретаемых данных? Есть ли возможность их интеграции в вашу систему?

Документация

Если вам предоставляют документацию — хорошо, а если нет, то стоит поинтересоваться способом сбора данных для оценки их ценности и надежности.

Объем

Если данных много, вы сможете обеспечить их хранение и обработку? Ценные данные не всегда будут объемные, как и наоборот.

Степень детализации

Эти данные подходят для уровня необходимой вам аналитики? Это далеко не все, но основные и несомненно важные вопросы, которыми стоит  задаться перед приобретением данных у поставщиков. На этом я закончу статью по сбору данных. Если информация была для вас полезна, то я буду рад обратной связи. Возможно, вы с чем-то не согласны или хотите поделиться своими методами и наработками — приглашаю в комментарии, и надеюсь на увлекательное и полезное обсуждение. Всем спасибо за внимание и хорошего дня! Источник информации Карл Андерсон Аналитическая культура. От сбора данных до бизнес-результатов Creating a Data-Driven Organization ISBN: 978-5-00100-781-4 Издательство: Манн, Иванов и Фербер

• аналитика
• сбор данных
• big data

Хабы:

• 4 февраля 2021 в 10:14
• 3 февраля 2021 в 19:03
• 20 января 2021 в 10:00

💥 Видео

Моделирование бизнес процессов: гайд от начала до концаСкачать

03 01 Методы сбора данныхСкачать

Урок 5: Сбор данных и обработка документацииСкачать

День из жизни аналитика данных (мой день в 2023)Скачать

Чертеж. Технологический процесс и операционные эскизы изготовления деталиСкачать

Лекция 1. СКАДА. Введение в АСУТПСкачать

Функционально-ориентированные модели описания бизнес-процессов. VAD, IDEF, DFDСкачать

22.11. Быстрая автоматизация бизнес-процессов в 1ССкачать

ВСЕ О НАПРАВЛЕНИИ ЗА 2 МИНУТЫ | 15.03.04 "АВТОМАТИЗАЦИЯ ТЕХНОЛОГИЧЕСКИХ ПРОЦЕССОВ И ПРОИЗВОДСТВ"Скачать

Подготовка (pre-processing) данныхСкачать

Простой пример нахождения главных компонентСкачать

Картирование потока создания ценности. Бережливое производство. Управление изменениямиСкачать

084. PyData Moscow – Процесс полуавтоматической разметки данных – Кирилл ДанилюкСкачать

Как устроен процесс разработки? ДЛЯ НОВИЧКОВ / Про IT / GeekbrainsСкачать

Культура работы с данными. Использование данных для цифровой трансформации госуправленияСкачать