логи -- зло

[malyj_gorgan]

Ну, не зовсім зло, але .... З мого досвіду кількох дуже різних компаній з дуже різними середовищами і продуктами, одним з основних джерел проблем є логи. Вірніше, logging код.
Пояснюю: запускаючи продукти в якихось специфічних середовищах, всяких Airflowʼах, Cradle'ax, контейнерах і навіть джупітер ноутбуках, добросовісні програмісти намагаються впхати якийсь код для того, щоби воно писало логи. Ну, очевидно, щоби знати, що стається. Так от, ці всі логгери завжди (завжди!) виявляються найідіотськішими бібліотеками з найідіотськішими вимогами і болючими точками, такими, що логгер -- це те, що ламається в першу чергу. Найчастіше, він яко-тако працює лише в продакшн середовищі (і то, навіть там ламається), а в хоч трохи іншому середовищі не встановлюється, не працює, ламається... Тобто, якщо продакшн середовище -- той самий Airflow, ти ніде, крім нього, свій код не віддестуєш, бо логгер дає помилку... а в самому Airflowʼі тестувати - не тойво.

Шкода, ніколи не зустрічав людини, яка писала ті логгери. СПробував би пояснити, що якщо логгер написаний не в fail-to-wire парадигмі, то за це треба пиздити ломом.

Comments

[juan_gandhi]

Не вижу, как логгинг связан с airflow и с fail-to-wire.

И насчёт "щоби воно писало логи" - так это я такой, вечно боролся за логи, а то любят люди экономить "место на дисках", а потом концов не найти.

[malyj_gorgan]

Я про то, що в різні коди вставляють такі логгери, які дуже легко видають помилку, коли середовище трошки не таке, як прод.
Тобто, береш кусок кода, який треба буде запускати, тестуєш його десь локально чи де (бо в Airflow загрузити окремим DAG'ом -- це настільки забардзо, що уже нездрово). І все працює... лише ламається логгер, бо щось йому не сподобалося.
В чотирьох різних компаніях у мене таке було!

Про "fail-to-wire" -- це трохи в переносному значенні, я з тих часів, як першу індустріальну роботу працював в інтернет мережах, так часом використовую ту термінологію.
Я в тому смислі, що якщo є команда, хоч getLogger(), logger.info(), то ця команда не повинна видавати помилку, хоч би там що

[juan_gandhi]

О! Да, действительно. Когда логгер рушит программу, то как-то звереешь.

Так что да, насчёт чтобы там ничто не имело права рушиться, это верное замечание.

[malyj_gorgan]

От прямо зараз і звірію :)...
Причому, це навіть не в моєму коді (я б закоментував, та й усе), це стандартний logging call в стандартній локальній бібліотеці... о, подивився: це програма пробує написати "done" після успішного завантаження даний з Сноуфлейка

[juan_gandhi]

Ага, где-то в библиотеке. Теоретически, я к джавным библиотекам отношусь так: если есть String doSomething(String a, String b), то её надо вызывать примерно так:

  val res: Result[String] = Result.forValue(doSomething("a", "b"))

,

где forValue регистрирует эксепшен, это раз, и два, получив null, заворачивает его в ошибку. Потому что джава, она ж безбашенная.