1

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Тема: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

На сегодняшний день при использовании Hosting.Wialon обработка данных (усреднение при помощи фильтров) происходит не совсем корректно:

1)Условие формирования отчета (с 01.02.2019 00:00 - 02.02.2019 23:59)(с 01.02.2019 00:00 - 01.02.2019 23:59)
Заказчик наблюдает картину не соответствие данных уровня топлива на конец периода и на начало, они могут быть как в меньшую так и в большую сторону. При запросе сообщений мы обнаружили - последнее значение в сообщении  с кан-шины или дут на конец рабочего дня (как только а\м  выключил массу или зажигание)   - уровень топлива  65 литров, а в первом сообщение  с кан-шины или дут (как только а\м  включил массу или зажигание)  - уровень топлива 64 литра.

2)Условие формирования отчетов  (с 01.02.2019  - 28.02.2019)
Заказчик так же делает акцент, что данные уровня топлива на конец периода прошлого месяца (январь) и на начало нового (февраль), так же не совпадают друг с другом.

Мы полагаем, что когда формируется отчет, Wialon вообще никак не захватывает данные из последнего дня прошедшего месяца (или прошедшего рабочего дня в зависимости от модели запрошенного периода в отчете), или он захватывает, но в совсем недостаточном количестве. Поэтому получается, что в отчете за февраль начальное значение уровня отличается от того, какой уровень был на конец периода в январе.

У конкурентов в ПО Навигатор или Omnicomm для этого в настройках как оказалось есть интервал запроса доп. позиций Также, в самом отчет можно сделать догрузку данных. И получается, пользователь видит например только февраль, а на самом деле данные были подгружены и за часть января.
В Wialon  таких настроек нет. И как Мы ни старался что-то сделать через валидаторы. Например, один из датчиков настроить на сохранение предыдущего значения, если текущее значение отсутствует. Это не работает, потому что условие вида #[имя_датчика] у Wialon  не работает. Хотя, вероятнее всего и это бы не помогло, потому как по всем косвенным признакам при выгрузке позиций за февраль отчет не "дотянулся" бы до того момента, когда в январе были кан или дут данные.

Просьба помочь  решить этот вопрос, т.к. на сегодняшний день Заказчики, уже рассматривает кп других компаний по обслуживанию более 200 ед. своей техники. А это очень сильно бьёт по репутации Wialon (ООО Гуртам) в Нашем регионе.

Битков Д.А.
Компания Айэрви
2

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Уберите в настройках топливного датчика "заменять значения рассчитанными математически", поставьте расчет по времени и посмотрите еще раз. Это для случая перескока через 00:00, когда датчик во всем интервале 24 часов присылал данные.

Если интервал отсутствия данных больше нескольких минут, то, в любом случае, не удивительно, что за некоторый значительный ненулевой интервал показания датчика топлива изменились на несколько единиц. Как по причине погрешности измерений, так и температурные колебания тому виной. Или сливы / заправки на отключенном ТС. И Виалон честно выводит то, что есть по датчику.
Здесь перескок через 00:00 никак не влияет.

Почему в последнем случае вы или клиент считаете, что значение вчера в 20:00 (условно) должно полностью совпасть с 06:00 сегодня, пока ТС это время не двигалось? С уровнем за это время могло произойти все, что угодно. А поскольку вы используете CAN, то очевидно за это время реальных данных нет в спящей шине.

PS Что, клиент реально волнуется за 1 литр? Или это просто пример?

3

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Подобный вопрос поднимался в соответствующем разделе, но тема несколько была иной  несоответствия расхода топлива. Суть проблемы не в переходе в определенное время, а, как вы правильно заметили, в фильтрации данных только в период формирования отчета. Для меня лично вообще непонятно, почему логика такова, что в отчет попадаю отфильтрованные данные, а не реальные. На мой взгляд фильтрация должна выделять валидные/невалидные периоды по заправкам/сливам, но так или иначе в отчет должны попадать реальные данные с ДУТа, тогда выгружать доп. периоды будит не нужно.

FFA0-0BBB-8911-15BB

https://www.reg.ru
4

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Проблема заключается в том, что этот заказчик дочерняя компания АО Газпром и они имеют письменные обязательства перед налоговой, что путевом листе они указываю данные на начало периода и конец периода по дынным ССМ Глонасс. К очень большому сожалению для Нас с Вами для них 1л или 0.6л не приемлемо.

Битков Д.А.
Компания Айэрви
5

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

У Заказчика логика проста, почему в 20:00 25л, а в 08:00 26л. Машина стояла, масса и зажигание выключено. Проблема в том что у 200 ед техники разница разная у кого +1-2, а кого  -1-2л!

Битков Д.А.
Компания Айэрви
6

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

(13/03/2019 12:11:55 отредактировано RedRock)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

SanderAMC сделал как вы сказали. Рассматривал период моточасов с 01:02 до 10:00. Если отчет делать за сутки, то начальный уровень топлива за указанный период  473.88, а конечный 316.20. Если брать указанный выше период начальный уровень 483.91 конечный 307.2.
bitkov.dmitr вы можете график предоставить с этого ТС, а то ваш случай явно не указываю на проблему в СМТ, возможно проблема в оборудовании.

FFA0-0BBB-8911-15BB

https://www.reg.ru
7

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

SanderAMC пишет:

Уберите в настройках топливного датчика "заменять значения рассчитанными математически", поставьте расчет по времени и посмотрите еще раз. Это для случая перескока через 00:00, когда датчик во всем интервале 24 часов присылал данные.

Если интервал отсутствия данных больше нескольких минут, то, в любом случае, не удивительно, что за некоторый значительный ненулевой интервал показания датчика топлива изменились на несколько единиц. Как по причине погрешности измерений, так и температурные колебания тому виной. Или сливы / заправки на отключенном ТС. И Виалон честно выводит то, что есть по датчику.
Здесь перескок через 00:00 никак не влияет.

Почему в последнем случае вы или клиент считаете, что значение вчера в 20:00 (условно) должно полностью совпасть с 06:00 сегодня, пока ТС это время не двигалось? С уровнем за это время могло произойти все, что угодно. А поскольку вы используете CAN, то очевидно за это время реальных данных нет в спящей шине.

PS Что, клиент реально волнуется за 1 литр? Или это просто пример?


Изменение в настройках топливного датчика "заменять значения рассчитанными математически" на расчет по времени - ситуацию не меняет!

Битков Д.А.
Компания Айэрви
8

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Я правильно понял, что в отчете с 00:00 по 23:59 начальный уровень 473.88, а если с 01:02, то 483.91?
Т.е. за 1 час 2 минуты уровень сменился на грубо 10 единиц. Так что, не может быть? smile Есть куча причин, почему это реальная ситуация и никак не система тому виной.

9

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

bitkov.dmitr пишет:

У Заказчика логика проста, почему в 20:00 25л, а в 08:00 26л. Машина стояла, масса и зажигание выключено. Проблема в том что у 200 ед техники разница разная у кого +1-2, а кого  -1-2л!

Вы знаете, есть физика, наука такая...А 1-2 литра чаще всего вообще за пределами погрешности датчика, штатного особенно.

Однако, поскольку логика и физика в общении с _большими_ компаниями и налоговой не работает, то единственный вариант: сделайте собственную обработку отчета, которая будет тупо брать конец периода перед началом отчета и подставлять в начальный уровень отчета текущего периода.

10

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

SanderAMC а погрешность CAN - это в целом на совести производителя ТС. Буквально на этой неделе выяснил, что пробег по CAN(у конкретного автомобиля а не у всех!) приходит целочисленный, т.е. ТС по ГЛОНАСС проехала 2.34 км, а по CAN 2 км, и в феврали подцепились к бульдозеру, так у него всего 8 ступени на 100 литров топлива. вот такой вот он CAN.

FFA0-0BBB-8911-15BB

https://www.reg.ru
11

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

SanderAMC пишет:
bitkov.dmitr пишет:

У Заказчика логика проста, почему в 20:00 25л, а в 08:00 26л. Машина стояла, масса и зажигание выключено. Проблема в том что у 200 ед техники разница разная у кого +1-2, а кого  -1-2л!

Вы знаете, есть физика, наука такая...А 1-2 литра чаще всего вообще за пределами погрешности датчика, штатного особенно.

Однако, поскольку логика и физика в общении с _большими_ компаниями и налоговой не работает, то единственный вариант: сделайте собственную обработку отчета, которая будет тупо брать конец периода перед началом отчета и подставлять в начальный уровень отчета текущего периода.




Мы с Вами прекрасно понимает, что такое физика и 1-2 литра  за пределами погрешности датчика, особенно штатного. Но заказчик до этого работал с ПО Навигатор (ЗАО ЕНДС\Россия) и них небыло такой проблемы.

P.S. к сожалению для Wialon мы не можем сделать такой отчет. (не умеем)! Вы сможете?

Битков Д.А.
Компания Айэрви
12

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

SanderAMC пишет:

Я правильно понял, что в отчете с 00:00 по 23:59 начальный уровень 473.88, а если с 01:02, то 483.91?
Т.е. за 1 час 2 минуты уровень сменился на грубо 10 единиц. Так что, не может быть? smile Есть куча причин, почему это реальная ситуация и никак не система тому виной.


не правильно поняли!
с 23:50 - 00:05 изменились данные: были 26, стало 27, могу прислать отчеты по 30ед

Битков Д.А.
Компания Айэрви
13

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

(13/03/2019 12:41:51 отредактировано RedRock)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

SanderAMC пишет:

Я правильно понял, что в отчете с 00:00 по 23:59 начальный уровень 473.88, а если с 01:02, то 483.91?
Т.е. за 1 час 2 минуты уровень сменился на грубо 10 единиц. Так что, не может быть? smile Есть куча причин, почему это реальная ситуация и никак не система тому виной.

я написал период который я рассматривал один и тот же, но у отчета период построения разный. Т.е. в суточном отчете в 01.02 473.88, а в отчете с 01:02 до 10:00 в 01:02 уровень топлива 483.91. Понятно, что дело в фильтрация и понятно, что что-то не так smile Если честно я надеялся, что ваш совет решит эту проблему sad

FFA0-0BBB-8911-15BB

https://www.reg.ru
14

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

bitkov.dmitr Действительно, для решения вашей проблемы необходимо фильтровать данные (3 пункта будит достаточно), а при формировании отчета данные для аналитики брать за более продолжительный период, например удвоенное число сообщений по которым производится фильтрация.

FFA0-0BBB-8911-15BB

https://www.reg.ru
15

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

bitkov.dmitr пишет:

к сожалению для Wialon мы не можем сделать такой отчет. (не умеем)! Вы сможете?

Нет, я не могу. Тут нужен программист. А я могу выступать только как постановщик задач программистам. smile

16

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

(13/03/2019 12:59:56 отредактировано SanderAMC)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

RedRock пишет:

я написал период который я рассматривал один и тот же, но у отчета период построения разный. Т.е. в суточном отчете в 01.02 473.88, а в отчете с 01:02 до 10:00 в 01:02 уровень топлива 483.91. Понятно, что дело в фильтрация и понятно, что что-то не так smile Если честно я надеялся, что ваш совет решит эту проблему sad

Вот теперь понял, в чем суть. Очевидно, что вы правы и дело в фильтрации. Точнее, в сглаживании.
Математический метод сглаживания никогда не даст точного схождения во всех случаях. Поскольку интервалы для сглаживания разные и количество точек в этих интервалах очевидно разное. При построении с 0 часов для точки 1:02 участвуют группа точек, включая предыдущие (в зависимости от ваших настроек фильтрации). А для отчета с 01:02 для этой точки в отчете нет предыдущих точек.

Снизить это можно только путем повышения собственной точности измерительного устройства либо снижением степени фильтрации в настройках. Но чуда все-равно не будет.
Совпадение в точках будет только при отключенном сглаживании и иных методах нормализации, но тогда сырые данные сами по себе не очень...

17

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

bitkov.dmitr пишет:

с 23:50 - 00:05 изменились данные: были 26, стало 27, могу прислать отчеты по 30ед

Прошло 15 минут. Почему датчик не имел права поменять значение? smile

18

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

bitkov.dmitr, тут кстати дилемма, предоставлять красивые данные или точный, гуртом предоставляет точные, с другой стороны если добавить расширенный период исходных данных при построении отчета(но выводить выделенный) и небольшой уровень фильтрации, то все должно быть хорошо.

FFA0-0BBB-8911-15BB

https://www.reg.ru
19

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

SanderAMC пишет:
bitkov.dmitr пишет:

с 23:50 - 00:05 изменились данные: были 26, стало 27, могу прислать отчеты по 30ед

Прошло 15 минут. Почему датчик не имел права поменять значение? smile

Давайте все-таки поставим Программистам решить эту задачу, если вопрос стоит в оплате, тогда мы готовы оплатить этот труд!

Битков Д.А.
Компания Айэрви
20

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

bitkov.dmitr пишет:
SanderAMC пишет:
bitkov.dmitr пишет:

с 23:50 - 00:05 изменились данные: были 26, стало 27, могу прислать отчеты по 30ед

Прошло 15 минут. Почему датчик не имел права поменять значение? smile

Давайте все-таки поставим Программистам решить эту задачу, если вопрос стоит в оплате, тогда мы готовы оплатить этот труд!

Здесь на форуме есть участники, у которых команда способна решить вопрос разработки..

21

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

(13/03/2019 13:15:15 отредактировано RedRock)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

bitkov.dmitr посмотрите, что будит если вы сформируете например отчет по моточасам, в настройках таблице в разделе настройки - ограничения времени укажите интервал путевого листа. После чего сформируйте отчет с конец прошлого путевого листа + 1 минута до начала следующего путевого листа -1 минут. Фильтрацию уровня топлива поставьте в районе 3-5.
Прошу результаты скинуть на форум и отписаться smile

FFA0-0BBB-8911-15BB

https://www.reg.ru
22

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

RedRock пишет:

bitkov.dmitr, тут кстати дилемма, предоставлять красивые данные или точный, гуртом предоставляет точные, с другой стороны если добавить расширенный период исходных данных при построении отчета(но выводить выделенный) и небольшой уровень фильтрации, то все должно быть хорошо.

В принципе, ничего не мешает Гуртам сделать доработку, при которой при обработке точек для отчета алгоритм будет брать интервал в обе стороны на нужное число точек, в зависимости от настройки фильтрации, чтобы сглаживание работало идентично для любой точки нужного интервала.

23

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

SanderAMC пишет:
bitkov.dmitr пишет:
SanderAMC пишет:

Прошло 15 минут. Почему датчик не имел права поменять значение? smile

Давайте все-таки поставим Программистам решить эту задачу, если вопрос стоит в оплате, тогда мы готовы оплатить этот труд!

Здесь на форуме есть участники, у которых команда способна решить вопрос разработки..

я очень рад))), но не понимаю как их найти.

создать новую тему, нужны программисты за деньги)))

Битков Д.А.
Компания Айэрви
24

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

SanderAMC пишет:
RedRock пишет:

bitkov.dmitr, тут кстати дилемма, предоставлять красивые данные или точный, гуртом предоставляет точные, с другой стороны если добавить расширенный период исходных данных при построении отчета(но выводить выделенный) и небольшой уровень фильтрации, то все должно быть хорошо.

В принципе, ничего не мешает Гуртам сделать доработку, при которой при обработке точек для отчета алгоритм будет брать интервал в обе стороны на нужное число точек, в зависимости от настройки фильтрации, чтобы сглаживание работало идентично для любой точки нужного интервала.


Конечно Гуртам может сделать эту доработку но я ток понял что НЕ ХОЧЕТ и НЕ НАДО. Они работают на массу, а не на меня или Вас. (((

Битков Д.А.
Компания Айэрви
25

Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

Re: Плохая фильтрация данных по топливу (при перехода с 23:59 - 00:01)

RedRock пишет:

bitkov.dmitr посмотрите, что будит если вы сформируете например отчет по моточасам, в настройках таблице в разделе настройки - ограничения времени укажите интервал путевого листа. После чего сформируйте отчет с конец прошлого путевого листа + 1 минута до начала следующего путевого листа -1 минут. Фильтрацию уровня топлива поставьте в районе 3-5.
Прошу результаты скинуть на форум и отписаться smile


Вы можете выгрузить этот шаблон и прислать на почту

Битков Д.А.
Компания Айэрви