V8 Log Scanner - утилита для быстрого парсинга логов ТЖ

Публикация № 695546

Администрирование - Администрирование данных 1С - Сервисные утилиты

Технологический журнал ТЖ парсинг логов ТЖ настройка logcfg.xml

Как можно быстро настраивать logcfg.xml и парсить логи технологического журнала с помощью самописной open-source утилиты V8LogScanner. Без необходимости погружаться в регулярные выражения.
V8 Log Scanner требует установленный Java 8 RE.
 
 
Утилита и документация пока только на английском языке.
 
Приглашаю все желающих поучаствовать в развитии проекта на github и параллельного проекта - веб-приложения V8LogScannerWEB на Spring и javascript.
 
Статус утилиты - beta. Можно включить логгирование всех ошибок в текстовый файл в каталоге с утилитой. Меню Run as Server => Allow logging.

Введение

Временами требуется проанализировать "сырые" логи технологического журнала, чтобы решить проблемы зависания, взаимоблокировок, медленных запросов и много чего еще.

Парсить непосредственно содержание сами логов на предмет нужных событий - утомительное занятие. Для того, чтобы этот процесс как-то автоматизировать, я решил написать максимально универсальный инструмент, который позволяет решить проблему поиска нужных событий в кластере из нескольких рабочих процессов, а то и серверов.

Описание

V8 Log Scanner - open-source проект на core java 1.8.  Без лишней скромности, это продвинутый и весьма быстрый парсер, нацеленный на анализ логов такого объема, который какой-нибудь notepad++ даже побоится открыть (прим. в notepad++ зашито ограничение в файл размером 500 мб).

По сути V8 Log Scanner – легковесная кроссплатформенное консольная утилита, в которой разбор логов выполняется с помощью sql синтаксиса. Несмотря на свою «консольность»,  в утилите есть меню, поэтому вводить вручную, а тем более держать в голове команды,  вообще нет никакой необходимости. Все действия в утилите осуществляются через ввод цифр с клавиатуры, т.е. чтобы выбрать первый пункт мы должны ввести 1 и нажать Enter

Не могу сказать, что являюсь адептом java, но тем не менее утилита активно использует многопоточность, собственный ByteChannel файловый ридер, java Stream API, регулярные выражения, а также паттерн Map-Reduce. Благодаря всему этому объем потребленной памяти во время парсинга зависит только лишь от размера  выходной выборки. Так что, например, парсинг нескольких гигабайтов лога ради 2-3 событий является совсем не затратным по ресурсам компьютера. На следующей картинке наглядно видно, что парсинг 800 мб лога отнимает в среднем 200 мб памяти.

Здесь map-reduce – это фактически оператор СГРУППИРОВАТЬ ПО, только  выполяемый ресурсами традиционного ЯП, а не СУБД.

Инструкция

По шагам это выглядит так:

1. В главном меню Вы выбираете один из 3 доступных алгоритмов парсинга.

1) Cursor log scanning – когда требуется сортировка событий по их свойствам и  ограничение конечной выборки с помощью оператора ПЕРВЫЕ N для экономного расхода памяти

2) Heap log scannning –  когда хотите получить абсолютно все события по заданным фильтрам, а не только ПЕРВЫЕ N

3) Own rgx log scanning – когда хотите ввести собственное регулярное выражение. При этом не нужно заботится о "захвате" отдельных блоков событий регулярным выражением. Утилита это делает сама при помощи следующего выражения:

.+?(?=\\d{2}:\\d{2}\\.\\d{6})

2. Далее заполняете доступные операторы запроса с помощью нового меню.   Справа от каждого пункта меню показываются текущие настройки для данного фильтра. При этом автоматически сканирутся все каталоги, исходя из настроек в logcfg.xml.

Не забудьте заполнить меню:

1. Select from location [0]

В нем нужно указать папку, из которой нужно брать логи. Также в меню есть возможность автоматически подтянуть каталоги из файла logcfg.xml.

3.  Затем нажимаете Start и получаете на выходе результат в виде выборки.

Если фильтры для парсинга не ведены в предыдущем меню, а каталог логов исчисляется гигабайтами, то будьте готовы к значительному расходу памяти (максимум до 1/4 памяти компьютера), т.к. туда будет помещена вся конечная выборка. Если памяти не хватит для парсинга, утилита упадет без ошибок.

Отсюда совет - задавайте хотя бы минимальные фильтры по виду события (and WHERE Event in [...] ).

Каждая строка выборки это пара ключ (key) – значение (event), где ключ – поле группировки (из оператора GROUP BY), а значение – массив событий логов. По выборке Вы можете двигаться по ключам либо вперед, либо назад.

Отмечу, что для каждого ключа можно вывести полный список событий, если ввести на клавиатуре цифрой соответствующий индекс ключа.

Примеры

Продемонстрирую несколько конкретных сценариев парсинга, в которых может пригодиться утилита.

Для всех перечисленных сценариев уже прописаны настройки, доступные через меню Main => Auto profiles, так что Вам не придется их настраивать вручную!

Дополнительные возможности

Во-первых, в V8 Log Scanner встроен конструктор файла настройки ТЖ  logcfg.xml, доступный через меню Main => configure logcfg.xml. Конструктор позволяет задать настройки и автоматически сформировать файл в нужном каталоге установки платформы.

Во-вторых, V8 Log Scanner может работать в клиент-серверном режиме в меню Main => Run as server. Например, вы можете поместить утилиту в режиме запуска сервер в планировщик заданий или установить как сервис windows (для этого поставляются отдельные bat-ники) непосредственно на сервере приложений, на котором собираются логи и работать с утилитой удаленно через локальную сеть.

После запуска скрипта install_service.bat нельзя перемещать каталог с утилитой, иначе служба Windows не будет стартовать.

Заключение

Как уже говорилось, утилита находится в статусе бета-версии, поэтому не все функции могут работать как ожидается. Буду признателен за обратую связь и pull-request-ы на github-e. Исходники и билды доступны в репозитории на github https://github.com/ripreal/V8LogScanner

p.s. всем известные КИП или сервисы Гилева позволяют решают похожие задачи без необходимости копаться в логах. Маленькая и скромная утилита V8 Log Scanner не является их конкурентом. Но она может быть весьма полезна, если упомянутые сервисы не настроены для конкретной базы или нужно найти в логах, разбросанных по всем серверам, какие-то специфичные события (events) из журнала.

Скачать файлы

Наименование Файл Версия Размер
V8LogScanner 1.0-beta. Исходники

.zip 743,46Kb
13.11.17
7
.zip 1.0-beta 743,46Kb 7 Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. vis_tmp 30 08.11.17 06:31 Сейчас в теме
2. nicxxx 238 08.11.17 18:10 Сейчас в теме
Инструкцию бы получше...
Я попробовал вывести все пользовательские события, в окне промелькнули вложенные каталоги , появилась строчка
in: 1, out: 1, c:\techlog\rphost_1384\17110717.log
и на этом все
lazarenko; +1 Ответить
4. ripreal1 446 08.11.17 18:53 Сейчас в теме
(2)
in: 1, out: 1, c:\techlog\rphost_1384\17110717.log

Эта строчка говорит о том, что идет процесс парсинга и утилита только-что распарсила лог по адресу c:\techlog\rphost_1384\17110717.log. При этом в процессах windows приложение java.exe должна грузить проц и диск (если не грузит, то что-то идет не так).

То что никаких новых сообщений не показывается долгое время - это нормально. Скорее всего утилита натолкнулась на особо толстый файл минимум в сотни мегабайт. На моем компьютере разбор 500мб лога занимает около 20 секунд. Нужно ждать. К сожалению, сейчас не готов индикатор, который детально показывал бы парсинг одного файла.
23. lazarenko 213 24.10.18 16:19 Сейчас в теме
(2) соглашусь, инструкция поверхностная
3. Gilev.Vyacheslav 1851 08.11.17 18:30 Сейчас в теме
хорошая штука, интересно как к ней отнесутся на экзамене 1С:Эксперт
5. nicxxx 238 08.11.17 21:45 Сейчас в теме
Да, у меня файлы по 300 - 900 МБ. И вправду грузит процессор, сразу не заметил, т.к. процесс java в фоновых, где-то внизу списка
24. lazarenko 213 24.10.18 16:20 Сейчас в теме
(5) как быстро программа разбирает гигабайт логов?
25. ripreal1 446 24.10.18 17:11 Сейчас в теме
(24)
(23) Сильно зависит от количества событий в логах. выбранных фильтров, и скорости жесткого диска. У меня получалось в районе 30 секунд на ноутбуке без ssd, если требовалось вытащить пару событий.
6. nicxxx 238 08.11.17 22:57 Сейчас в теме
Ну хорошо, эта штука поработала и закрыла за собой окно, не оставив никаких следов. Это баг бетаверсии?
7. ripreal1 446 09.11.17 09:47 Сейчас в теме
(6)
Это может быть OutOfMemoryError, т.е. не хватило оперативной памяти, выделенной виртуальной машине java, если конечная выборка превышает объем памяти, разрешенный для виртуальной машины java.

Это вполне вероятно, если выбрали автопрофиль "Find all users events".

В чем особенности этого автопрофиля:

1. Он выводит ВСЕ события в логах, и пытается их сгруппировать по свойству Usr.

2. Он по умолчанию работает по алгоритму Heap log scanning (то есть без ограничения объема конечной выборки)

Это можно исправить. Измените алгоритм на Cursor log scanning. Данный алгоритм будет из каждой порции в 10 000 найденных событий в файле выбирать TOP 100 событий. То есть из лога в 5 000 000 событий, он выберет отсортированный поток (сортировка будет по значению указанному в настройке ORDER BY) в 500 событий . ЧТобы изменить алгоритм Выполните следующие действия из Main menu:

4. (Auto profiles), 1( Find all users events), 9 (Exit (q) ), 1 (Cursor log scanning). Все настройки автопрофиля сохраняться. Далее вы можете указать Log location и начинать парсинг.

В любой случае, хотелось бы посмотреть на логи ошибок. Включите их (Main menu -> Run as server -> Allow logging) и воспроизведите сценарий ошибки снова. После падения в папке с утилитой должен появится файл error_logs.txt
8. nicxxx 238 09.11.17 10:16 Сейчас в теме
По предложенному алгоритму оно ничего не сканирует, т.к. не дает возможности указать каталог с логами вручную.

1CV8 Log Scanner v.1.0_beta
Runs on Windows 10
********************
Results:
127.0.0.1
Summary:
Total scanned log files: 0 files, size 0,000 mb
Total in events: 0
Total out events: 0
Final amount of events: 0 reduced to limit: 0
Total keys: 0
Execution time: 0,030752 sec



1. Show next top 100 keys(curr. pos: 0)
2. Show previous top 100 keys(curr. pos: 0)
3. Open the next top 100 keys in the text editor
4. Exit(q)

Чтобы началось сканирование я выбираю пункты 1, 1, 3 (здесь указываем путь к логу). В остальных комбинациях меню с пунктом 3 не появляется.
9. nicxxx 238 09.11.17 10:22 Сейчас в теме
Оно опять свалилось и лога после себя не оставило. Это не бета-версия, а что-то вроде пред-альфы :)
10. ripreal1 446 09.11.17 10:24 Сейчас в теме
(9) Можно узнать какой объем папки с логами, какая разрядность java и сколько памяти на компьютере?
11. nicxxx 238 09.11.17 12:17 Сейчас в теме
windows 10 x64, java 8 x64 (JDK) , RAM 16GB, папка с логами 7ГБ, есть файлы по 700 МБ, диск SSD
12. ripreal1 446 09.11.17 14:03 Сейчас в теме
Это похоже на OutOfMemoryError, связанное с техническими особенностями алгоритмов утилиты. В общем, Вы выбрали очень тяжелый сценарий парсинга!. С меню 1 - 1- 3. не используются никакие фильтры.Как выйти из этой ситуации? Это более активно использовать фильтры(предложения WHERE и GROUP BY в менбю утилиты).

Далее техническое объяснение:

В одном 700 мб логе у вас может быть около 4 000 000 событий. =>
это количество сокращается в результате работы алгоритма Cursor log scanning максимум до 40 000 событий => во всех файлах значит может быть около 400 000 (если все файлы по 700 мб) событий в конечной выборке.

По грубым расчетам для хранения 400 тыс событий утилите потребуется 2 гб памяти. Виртуальная машина java по умолчанию ограничивает объем потребяемой памяти до 1/ 4 памяти компьютера. У вас доступно максимум 4 гб для работы утилиты.

Теперь, если события в одном файле очень разные, то алгоритм Cursor log scanning не сможет сократить объем конечной выборки (на вход блок в 10 000, а на выход блок все те же 10 000), т.к. ключи события не сливаются по предложению GROUP BY в одно. Соответственно в конечной выборке у вас может быть до 40 млн событий, а это потребует максимум 200 гб памяти.

В целом, я попробовал у себя на компьютере распарсить 3.5. гб логов с 8 гб памяти по Вашему сценарию. Т.к. события были в целом однотипными, то на вход у меня было 2,3 млн событий, а на выход - 242 тыс. событий. Это отняло 900 мб памяти. УТилита сработала нормально.Затем я увеличил количество логов до 8 гб и утилита упала.

Также я попробую в будущих релизах обработать исключение OutOfMemoryError, чтобы давать более осмысленное сообщению пользователю об ошибках.
13. nicxxx 238 09.11.17 14:27 Сейчас в теме
Хорошо, делаю более осмысленный выбор. Нажимаю 4 - 2 (excp rphost) - 8. Получаю ноль.
Summary:
Total log files: 0 files, size 0,000 mb
Total events: 0
Total keys: 0
Execution time: 0,073580 sec
А почему ноль? А потому что нет выбора своего пути к логам! Или я чего-то не понимаю. Придется изучать перл....
14. ripreal1 446 09.11.17 15:18 Сейчас в теме
Просто не указали свой путь к логам. После 4 - 2 должно появится меню:




Menu:
1. SEL ECT FR OM location[0]
2. WHERE log type is[RPHOST]
3. AND WHERE date range is[ANY]
4. AND WHERE event in[EXCP]
5. AND WHERE event property in[ANY]
6. GROUP BY[EXCP:Descr]
7. Reset all
8. Start
9. Back(q)


Обратите внимание на пункт 1:

1. SEL ECT FR OM location[0]


В нем указываете откуда брать логи. Если перейти по нему откроется новое меню:

SEL ECT FR OM location.
List of chosen paths to scan:
<Empty>

1. Add single log fr om logcfg.xml
2. Add all logs fr om logcfg.xml
3. Add own log location
4. Add remote server[127.0.0.1]
5. Reset locations
6. Back(q)



Чтобы добавить собственную директорию с логами, выбираете 3 и вводите местоположение вручную. Далее это меню возвращает сюда:

Menu:

1. SELECT FR OM location[2]
2. WH ERE log type is[RPHOST]
3. AND WH ERE date range is[ANY]
4. AND WH ERE event in[EXCP]
5. AND WH ERE event property in[ANY]
6. GROUP BY[EXCP:Descr]
7. Reset all
8. Start
9. Back(q)


В этом менб вы нажимате 8 и начинается работа утилиты.
18. nicxxx 238 12.11.17 01:26 Сейчас в теме
(14) Ну вот, теперь более-менее понятно. Попробую.
15. nvv1970 09.11.17 23:38 Сейчас в теме
Такое огромное количество различных парсеров... Все как-то парсят, показывают, заново парсят... Крутится чаще всего еле-еле... Не все конечно, но...
В когда-то, имея начальный опыт в понимании ТЖ и методов его парсинга (ЦУП оставил ужасные воспоминания в оперативности обработки), я не выдержал и накропал на коленке за пару вечеров на 1с парс в отдельную базу с усечением мусорных данных (а-ля космический инсерт - строка на миллионы и сотни миллионов символов, одно мало интересное событие - и сразу +гиг и т.п.) В итоге база для хранения непрерывных логов на удивление оказалась компактна и из гигабайтов в день хранит мегабайты.
Просматривается и анализируется в СКД, в любых позах вариантах. Отчеты за день-два выстреливают пулей. И что не маловажно - есть история за длительный период.

К чему это я? А х да... Не ужели каждый себе еще не понаписывал чего-то подобного? Эй, 1с-ники! Для чего нам 1с? Чтобы писать на яве? )))))))))

PS: а вообще круто. Зорачка.
vladimirmatancev; Olenevod; +2 Ответить
16. ripreal1 446 10.11.17 09:54 Сейчас в теме
(15)
Как ни крути, ну как минимум на сервер придется поставить Java.

https://wonderland.v8.1c.ru/blog/optimizatsiya-restrukturizatsii-bazy-dannykh/
Новый механизм реструктуризации мы планируем включить в версию 8.3.11 в статусе бета. Он реализован только на сервере, причём на сервере должна быть установлена Java 8.


Кажется работа с 250 кб утилитой, когда на всех серверах будет стоять java, все еще имеет свои преимущества, вроде максимальной оперативности получаемых результатов.
19. Diversus 2074 29.12.17 11:48 Сейчас в теме
(15)
я не выдержал и накропал на коленке за пару вечеров на 1с парс в отдельную базу с усечением мусорных данных

Было бы здорово, если бы поделились своим продуктом.
17. sergey.novikov 10.11.17 10:51 Сейчас в теме
Реализовали подобное без написания кода: Elastic+filebeat+Grafana, получили плюсом визуализацию в режиме реального времени
Kosstikk; +1 Ответить
20. Evil Beaver 6749 31.12.17 09:53 Сейчас в теме
(17) ну ведь для filebeat-то что-то написали? Где? Покажьте! :)
Kosstikk; +1 Ответить
21. JohnyDeath 297 14.01.18 22:20 Сейчас в теме
(17) тоже хотелось бы посмотреть
22. lazarenko 213 24.10.18 16:17 Сейчас в теме
.+?(?=\\d{2}:\\d{2}\\.\\d{6})

зачем тут оглядывания? Это ж замедляет производительность регулярки
26. ripreal1 446 24.10.18 17:12 Сейчас в теме
(22)
Нужно, чтобы получить все события ТЖ, включая первое и последнее. Лучше что удалось придумать.
27. lazarenko 213 24.10.18 17:15 Сейчас в теме
(26) не нужна для этой задачи регулярка, вот напиши свой алгоритм и с регуляркой и проверь на большом объеме
Оставьте свое сообщение

См. также

Блин, мы забыли включить регламентные задания… Промо

Сервисные утилиты v8 Абонемент ($m)

Привет, Инфостарт! Сегодня расскажу, как я решил проблему с выключенными регламентными заданиями в рабочих базах. Желая исключить человеческий фактор и минимизировать количество ошибок, я написал небольшую конфигурацию.  В конфигурации два регламентных задания. Первое периодически подключается к кластеру и сохраняет текущие параметры: имя, Сервер БД, базу СУДБ, блокировки входа и регламентных заданий и т.д. Второе задание периодически проверяет эти параметры на ошибки.

1 стартмани

08.04.2019    14746    14    slozhenikin_com    37    

Создание *.dt файла из рабочей базы на сервере 1С без завершения работы пользователей

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Предлагаемая обработка создает *.dt файл (выгрузку ИБ) из рабочей базы на сервере 1С:Предприятие 8.3 без завершения работы пользователей.

1 стартмани

19.01.2020    9037    59    Sedaiko    15    

Командный интерпретатор для 1С

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Инструмент для выполнения команд CMD / PowerShell из 1С.

2 стартмани

15.11.2019    9963    20    YPermitin    41    

Закрытие незавершенных сеансов

Сервисные утилиты Администрирование СУБД v8 1cv8.cf Россия Абонемент ($m)

Как удалять потерянные сеансы пользователей, чтобы они не мешали работе. Обработка протестирована на платформе версии 8.3.13.1644.

1 стартмани

20.09.2019    10156    46    AnatolPopov    8    

Очистка кэша 1С 8 (8.0, 8.1, 8.2, 8.3). Грамотная чистка кэша 1С с сохранением настроек. Промо

Чистка базы Сервисные утилиты Администрирование данных 1С v8 1cv8.cf Россия Абонемент ($m)

Эффективное средство для устранения ошибок, возникающих в локальном кэше 1С на клиенте, которым легко сможет воспользоваться пользователь с любым уровнем знаний. Wsf-скрипт, созданный на стандартном языке автоматизации Windows - "WSH JScript", очищает кэш 1С просто, быстро и безопасно. Кроме варианта, очищающего кэш текущего пользователя, имеется также вариант для чистки кэша 1С всех пользователей терминального-сервера.

1 стартмани

04.11.2018    33592    357    Eugen-S    34    

Сканер ключей 1С

Сервисные утилиты v8 Абонемент ($m)

Определяет время отклика ключа защиты 1С.

1 стартмани

13.09.2019    5438    11    sivin-alexey    2    

Мониторинг потребления ресурсов базами кластеров сервера

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Обработка позволяет, в графической форме, производить мониторинг потребляемых ресурсов базами данных кластера сервера 1с для платформ 8.3, 8.2. Обработка работает на платформе не ниже 8.3.6

2 стартмани

17.07.2019    7048    29    IVC_goal    34    

CFU-reader (версия 2.6).

Сервисные утилиты Инструментарий разработчика Универсальные обработки v8 1cv8.cf Абонемент ($m)

Обработка для анализа файлов .cfu в режиме предприятия в любой конфигурации для 1С 8.3.+. Основана на разработке https://infostart.ru/public/97194/.

3 стартмани

21.06.2019    6963    20    vandalsvq    7    

Легкое и гибкое управление списком доступных баз 1С у пользователей Промо

Стартеры 1С Сервисные утилиты Администрирование СУБД v8 1cv8.cf Россия Абонемент ($m)

Когда в локальной сети много пользователей, а еще большое количество различных баз и при этом каждому нужны свои, то администрирование этого зоопарка превращается в АД! Этот комплекс позволяет централизованно управлять списком доступных баз в разрезе пользователей. За пару кликов можно добавить или убрать базу у всех пользователей.

5 стартмани

05.12.2018    13667    13    RomikR    9    

DBManager для 1C

Сервисные утилиты v8 Россия Абонемент ($m)

Менеджер баз данных для 1С с расширенными возможностями.

1 стартмани

11.05.2019    11493    24    seriouskeks    13    

Bash-скрипт для установки 1С:Предприятие 8.3 и СУБД PostgreSQL на сервер CentOS 7

Сервисные утилиты v8 Россия Абонемент ($m)

Данный скрипт позволяет полностью установить сервер 1С и СУБД PostgreSQL на одном хосте. Потом это же скрипт можно использовать для обновление платформы и дистрибутивов установки

1 стартмани

07.04.2019    13295    34    Sedaiko    29    

Утилита для регистрации ComConnector и консоли администрирования сервером по установленным версиям платформы

Сервисные утилиты v8 1cv8.cf Россия Абонемент ($m)

Утилита для разработчиков и пользователей с большим количеством установленных платформ 1С, для быстрой регистрации необходимых версий COMConnector и консоли администрирования серверов из одного места.

1 стартмани

20.03.2019    7736    28    vardeg    10    

Скачиваем релизы с сайта users.v8.1c.ru Промо

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Обработка позволяет настроить список релизов, доступных пользователю, на сайте users.v8.1c.ru, проверять - вышли ли новые обновления и, если вышли, скачивать их и раскладывать по папочкам. Требует установки curl и openssl

10 стартмани

18.08.2014    37245    24    Demonobond    31    

Сценарии пакетного режима

Сервисные утилиты v8 Абонемент ($m)

Сценарии пакетного режима. Тестировалось на 1С:Предприятие 8.3.13.1690. Автоматическое создание команд пакетного режима. Создание, хранение и запуск сценариев команд пакетного режима.

1 стартмани

06.03.2019    7152    10    lastpioneer    11    

LicDataDecoder - расшифровка файла программной лицензии 1С

Сервисные утилиты v8 1cv8.cf Россия Абонемент ($m)

Представляю вашему вниманию утилиту, предназначенную для работы с файлами программных лицензий 1С (*.lic).

1 стартмани

10.02.2019    25592    243    GeraltSnow    59    

Удобная консоль регламентных и фоновых заданий

Универсальные обработки Сервисные утилиты Администрирование данных 1С v8 v8::УФ 1cv8.cf Абонемент ($m)

Аналог обработки БСП "РегламентныеИФоновыеЗадания". Не требует наличия библиотек, может использоваться в качестве внешней обработки. В отличие от обработки БСП предоставляет больше информации о свойствах регламентных и фоновых заданий, а также об ошибках и сообщениях для пользователей, возникших во время их выполнения. Позволяет управлять регламентными (создание, удаление, настройка расписания, ручной запуск) и фоновыми (прерывание) заданиями.

1 стартмани

06.02.2019    12641    147    Alxby    20    

V8 Viewer. Открытие и сравнение внешних обработок в Проводнике + исходники Промо

Сервисные утилиты Инструментарий разработчика Универсальные обработки v8 1cv8.cf Абонемент ($m)

Вы хотите получить возможность быстро посмотреть содержимое внешнего отчета или обработки? А сравнить ее с другой? И все это без запуска 1С:Предприятия, только из оболочки ОС? Тогда мы идем к вам! :) В конце заметки - ссылка на исходники.

2 стартмани

06.03.2013    64177    118    Evil Beaver    157    

Универсальный монитор лицензий 1С

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Хотите узнать, какие программные лицензии установлены на сервере и все их технические подробности? А может быть, вам нужна информация по использованию всех видов лицензий кластера? Нет ничего проще, читай далее, чтобы быть в курсе!

3 стартмани

03.01.2019    24714    210    Xershi    67    

Скрипт обновления конфигурации

Сервисные утилиты v8 Абонемент ($m)

Как обновить конфигурацию базы? Столько всего сделать надо: И базу заблокировать, и пользователей выгнать. А ещё надо дождаться загрузки конфигурации и после этого применить её. Если же конфигурация на БСП, то запустить с ключом /C ЗапуститьОбновлениеИнформационнойБазы. И только потом можно пускать пользователей. А ещё на каждом этапе надо ждать окончания предыдущего. Это скучно. Давайте заливать конфигурацию в базы весело!

1 стартмани

11.12.2018    9302    42    MrWonder    18    

Чистка кэша 1С (теперь в .exe)

Сервисные утилиты v8 Абонемент ($m)

Попробуйте поискать в интернете "Очистить кэш 1С". Практически везде вы наткнетесь на всякие батники, ps-скрипты, рекомендации зайти и удалить вручную, поставить /ClearCache для баз на УФ и т.д. В подавляющем большинстве случаев предлагается бездумно удалить все содержимое \Roaming\1C\1cv8\ и \Local\1C\1cv8\, но это как переустановить Windows, чтобы почистить Temp.

1 стартмани

18.11.2018    14092    92    riposte    42    

Быстрое удаление неиспользуемых версий 1С:Предприятие 8, кэша метаданных и информационных баз Промо

Сервисные утилиты v8 Абонемент ($m)

При обновлении платформы 1С:Предприятие 8 предыдущие версии не удаляются. Со временем количество неиспользуемых версий платформы растет. Они занимают место на диске. Для решения этой проблемы предназначена программа OneCleaner. Она позволяет быстро удалить неиспользуемые версии платформы, а также почистить кэш метаданных и удалить ненужные информационные базы данных.

1 стартмани

14.11.2017    20106    86    bonv    15    

Bluetooth сканер штрихкодов и мобильное приложение 1С (Android)

Сервисные утилиты Сканер штрих-кода Мобильная разработка v8 1cv8.cf Абонемент ($m)

Сервис для работы со сканером штрихкодов и передачи данных в мобильное приложение 1С.

1 стартмани

06.11.2018    14437    49    Isonic    21    

Go. Разбор лога технологического журнала. Достойная альтернатива perl'у

Сервисные утилиты Инструментарий разработчика v8 1cv8.cf Абонемент ($m)

Началось все с того, что я познакомился с перловыми скриптами для парса ТЖ которые размещены на kb.1c.ru (например в этой статье https://kb.1c.ru/articleView.jsp?id=113). По началу мне дико понравилось то, что перл разбирал гигабайты логов за считанные минуты, но позитив мой угасал обратно пропорционально с тем, насколько глубже я погружался в "кроличью нору" ....

1 стартмани

24.10.2018    18870    6    lazarenko    39    

Обнаружено нарушение целостности системы

Сервисные утилиты v8 1cv8.cf Россия Абонемент ($m)

Ошибка «Обнаружено нарушение целостности системы», причины и варианты устранения ошибки.

1 стартмани

03.10.2018    98219    466    Palmer1976    46    

Очистка регистров накопления, сведений, расчета или бухгалтерии Промо

Сервисные утилиты Чистка базы Свертка базы v8 1cv8.cf Абонемент ($m)

Очистка регистров накопления, сведений, расчета или бухгалтерии (обычная и управляемая форма)

2 стартмани

25.12.2009    59216    256    sebe    20    

1С:Коммандер (УФ)

Сервисные утилиты v8 v8::УФ 1cv8.cf Абонемент ($m)

Коммандер для просмотра файлов на клиенте и сервере.

1 стартмани

07.09.2018    8191    21    Student1C    9    

1C + Arduino + сканер отпечатков пальцев + RFID считыватель

Терминал сбора данных Сервисные утилиты Учет рабочего времени Учет рабочего времени v8 1cv8.cf Абонемент ($m)

Связываем 1C, Arduino, сканер отпечатков пальцев и RFID считыватель для системы учёта рабочего времени или пропускной системы.

1 стартмани

21.08.2018    21799    14    DGorgoN    39    

Мониторинг журнала регистрации при помощи Powershell

Сервисные утилиты Журнал регистрации v8 Абонемент ($m)

Работа с журналом регистрации в формате SQLite внешними средствами на примере мониторинга изменений в конфигурации базы данных.

1 стартмани

12.07.2018    12356    5    user768334    7    

Автокликер для 1С Промо

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Внешняя обработка, запускаемая в обычном (неуправляемом) режиме для автоматизации действий пользователя (кликер). ActiveX компонента, используемая в обработке, получает события от клавиатуры и мыши по всей области экрана в любом приложении и транслирует их в 1С, получает информацию о процессах, текущем активном приложении, выбранном языке в текущем приложении, умеет сохранять снимки произвольной области экрана, активных окон, буфера обмена, а также, в режиме воспроизведения умеет активировать описанные выше события. Все методы и свойства компоненты доступны при непосредственной интеграции в 1С. Примеры обращения к компоненте представлены в открытом коде обработки.

1 стартмани

03.04.2017    29008    70    slava_1c    49    

Универсальная консоль администрирования

Сервисные утилиты v8 v8::УФ 1cv8.cf Абонемент ($m)

Универсальная консоль администрирования. Работает с сервером 1С 8.3 любой версии. Для любителей зоопарков. :-)

1 стартмани

14.06.2018    9362    28    berezdetsky    6    

Tool1CD: отрежем донорскую почку

Сервисные утилиты Разработка внешних компонент v8 Розница Абонемент ($m)

Ваша база мертва? Что ж, кое-что в ней ещё теплится.

1 стартмани

15.05.2018    17773    23    baton_pk    13    

Мониторинг изменений рабочих конфигураций. Часть 1. Сохранение конфигураций из базы SQL без конфигуратора

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Выгружаем исходники из SQL напрямую скриптом, собираем CF и контролируем реальные изменения в рабочих базах из браузера.

1 стартмани

28.02.2018    18624    17    user768334    25    

Универсальный редактор реквизитов объектов. Мультиобработчик Промо

Универсальные обработки Чистка базы Обработка документов Практика программирования Обработка справочников Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Объекты: Справочник, Документ, ПланОбмена, ПВХ, Бизнес-процесс, Задача, ПланСчетов, ПВР. Мультиобработчик: -Проведение, перенумерация, движения, копирование, создание на основании, подчиненность, статистика, удаление документов. -Регистрация изменений объекта(ов) в планах обмена. -Установка/Отключение ГлавногоУзла РИБ. -Поиск и восстановление "Битых" ссылок. -Недопустимые символы XML/Дерево XML. -Поиск и замена ссылок. -Ошибки ИБ, в т.ч XML. -Множество обработок справочников. -GUID. Дата и время создания объектов ссылочного типа. -Аналитика предопределенных, блокируемых реквизитов, ХранилищаЗначений. -История изменений объекта. -Активные пользователи. -Подписки на события, функциональные опции. -Загрузка пользователей ИБ из Windows, Active Directory. -Выгрузка/Загрузка пользователей ИБ в/из внешний XML-файл. -Поддержка различных режимов модальности. Файловый, Клиент-Серверный варианты. Обычная и Управляемая формы.

1 стартмани

28.12.2011    164156    2247    StepByStep    418    

Практика доступа в базу 1С через протокол oData. Чтение данных

Сервисные утилиты Практика программирования Администрирование данных 1С v8 1cv8.cf Абонемент ($m)

Для чего нужен доступ в базу 1С через REST-интерфейс по протокол oData? Как его организовать? Как не будучи гуру в JavaScript и .NET получить быстрый визуальный доступ к данным базы 1С? Попробую дать ответ на эти вопросы и прокомментирую некоторые нюансы, с которыми я столкнулся.

1 стартмани

11.12.2017    87260    300    Dementor    48    

Менеджер баз 1С (пакетное обновление, выполнение произвольного кода и многое другое)

Сервисные утилиты Администрирование данных 1С v8 v8::УФ Абонемент ($m)

Данная разработка пригодится системным администраторам для группового выполнения действий над базами данных 1С.

10 стартмани

21.11.2017    14949    13    Termokrator    12    

Графическая оболочка для консольной утилиты cnvdbfl.exe

Сервисные утилиты v8 Абонемент ($m)

Графическая оболочка для консольной утилиты cnvdbfl.exe предназначенной для преобразования размера внутренней страницы файла базы 1С.

1 стартмани

25.10.2017    36644    258    frkbvfnjh    43    

Обработка восстановления последовательности (НЕ МОНОПОЛЬНО, с возможностью задать отбор по Контрагентам и по Фирмам) Промо

Обработка документов Сервисные утилиты Закрытие периода v8 БП2.0 УТ10 Украина Россия Абонемент ($m)

Обработка предназначена для восстановления последовательности проведения документов. Пригодится, когда возникает ситуация необходимости перепроведения документов, в хронологическом порядке или в том порядке, в котором нужно пользователю за определенный период времени. Отличается от стандартной обработки «Проведение документов», тем что, можно сделать отбор документов по фирме, по контрагенту или группе контрагентов, и нет необходимости в монопольном доступе, а также можно менять последовательность документов по усмотрению пользователя. Эта версия обработки для использования на платформе 8.2 в типовых конфигурациях БП 2.0, а также и для УТ 10.3 и УТП 1.2

05.03.2012    47923    109    Kuzya_brаtsk    48    

Ускоренный полный пересчет итогов регистров

Сервисные утилиты v8 v8::УФ 1cv8.cf Абонемент ($m)

Обработка для быстрого полного пересчета итогов по выбранным регистрам, ускорение достигается за счет предварительной очистки таблиц итогов средствами MS-SQL.

1 стартмани

23.10.2017    22875    156    Bazil    16    

Работа с пользовательскими настройками: просмотр, редактирование, удаление, копирование

Сервисные утилиты Универсальные обработки v8 1cv8.cf Абонемент ($m)

Внешняя обработка для работы с настройками, хранящимся в стандартном хранилище (ХранилищеОбщихНастроек, ХранилищеНастроекДанныхФорм, etc.). Не требует БСП, дополнительных библиотек. Платформа: 8.3. Интерфейс: Такси, 8.2.

1 стартмани

21.08.2017    15204    105    Alxby    12    

Удаление данных напрямую в SQL

Сервисные утилиты v8 v8::СКД 1cv8.cf Абонемент ($m)

Порой так и хочется грохнуть что нить в скуле, но наталкиваешься на отсутствие понятных и функциональный инструментов. Вроде как что то и есть, но явно писанное для каких то конкретных простых целей. И так очередное творение в данной тематике. Особенности: удаление порциями, отображение готового текста запроса, отбор данных с помощью СКД (в отборе учитываются составные типы и обращения через точку).

1 стартмани

08.07.2017    14010    90    denacid    29    

Telemonitor - объединяем Telegram и 1С Промо

Сервисные утилиты Администрирование данных 1С Мобильная разработка v8 1cv8.cf Абонемент ($m)

Не так давно Telegram предоставил API для создания ботов. Telemonitor - программа, позволяющая легко настроить собственного бота для работы с 1С.

1 стартмани

09.08.2015    74947    208    salexdv    178    

Мониторинг доступной производительности рабочих процессов кластера 1С:8.3

Сервисные утилиты v8 Абонемент ($m)

Мониторинг и сбор статистики по доступной производительности и использованию памяти рабочими процессами кластера. Утилиты и инструменты: 1. связка ras и rac от 1С 2. powershell 3. Paessler PRTG network monitor

1 стартмани

30.06.2017    18373    34    ddens    7    

ОСкрипты для деплоя и копирования базы данных

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Набор оскриптов для деплоя базы 1С через хранилище и копирование через sql-бекап одной базы в другую

1 стартмани

02.05.2017    21806    34    Stepa86    27    

Что мешает удалению объектов?

Сервисные утилиты Чистка базы v8 1cv8.cf Абонемент ($m)

Обработка, позволяющая просмотреть цепочки объектов (как ссылочных, так и регистров), препятствующих удалению помеченных на удаление объектов. Платформа 8.3, обычные формы, управляемые формы, интерфейс такси, возможность работы в Web.

1 стартмани

20.12.2016    16492    115    Alxby    17    

Простые радости жизни администратора в 1С: блокировка информационной базы. Промо

Администрирование данных 1С Сервисные утилиты v8 1cv8.cf Россия Абонемент ($m)

В типовую обработку «Блокировка соединений с информационной базой» внесены интерфейсные изменения, призванные сделать работу в ней более удобной. Также обработка сделана максимально универсальной и может быть использована в любой, полностью не типовой базе.

1 стартмани

10.11.2013    90841    362    yuraos    98    

Статистика сессий и использования лицензий 1Сv8.3 (PRTG via PowerShell)

Сервисные утилиты Администрирование данных 1С v8 Абонемент ($m)

Сколько используется лицензий 1С в данный момент? А поподробней, сколько спящих или активных, толстых или тонких, программных или HASP и т.д.? Ответы на эти вопросы желает знать каждый админ!))

1 стартмани

14.11.2016    16068    51    ddens    14    

Zabbix: Мониторинг состояния сервера 1С

Сервисные утилиты Администрирование данных 1С Внешние источники данных Zabbix v8 Абонемент ($m)

Скрещиваем мощную систему мониторинга Zabbix с 1С

1 стартмани

02.09.2016    45509    116    deevil    28    

Завершение работы пользователей (выгонялка) Промо

Сервисные утилиты v8 1cv8.cf Россия Абонемент ($m)

Обработка для завершения сеансов пользователей для клиент-серверной базы данных, с возможностью включения монопольного доступа к базе. Разработана на платформе 8.3. Запускается на любой конфигурации, как типовой, так и самописной, как в обычном режиме, так и в управляемом.

1 стартмани

17.06.2015    28361    225    Rusleg    27