тут є любителі Скали

[malyj_gorgan]

По роботі, через примху начальства, доводиться переписувати пару шматків коду з SQL на Скалу, тої Скали не знаючи зовсім. Але потрошки, потрошки... Проблема в тому, що це для внутрішнього нашого датастора, там компіляція/перевірка на помилки триває хвилину, а запуск найтривіальнішого коду займає хвилин 5-10, тому все помаленько дуже. Але, 80% уже готово...
...І раптом вперся в помилку, яку уже дві години не можу виправити. З того всього виглядає, що в dataframe.column.when() немає логічного "OR". Воно тупо ламається на значку "||"


Якщо це не баг, а фіча, поясніть мені, тупому, кому така фіча могла прийти в голову. І, основне, НАФІГА?

P.S. Цікаво, скільки з тих, хто користується Скалою, знає безсмертні рядки про
Лупайте сю скалу! Нехай ні жар, ні холод
Не спинять вас. Зносіть і труд, і спрагу, й голод
Бо вам призначено скалу сесю розбить.

Comments

[sassa_nf]

Ok, I don't see dataframe.column in the docs, so it can't be helped.

But it looks like it is a Java library natively accessed from scala, so I wouldn't expect || to be defined for it.

[malyj_gorgan]

А в Джаві теж нема "АБО" як одного з базових логічних операндів поряд з "І" і "НЕ"?

[sassa_nf]

є, але то ж для булєвих виразів, а не SQL на різних конструкціях.

[malyj_gorgan]

А, ну хоч так :)

> ... на різних конструкціях....
Оскільки Скала позиціонується як найкраще знаряддя для роботи з великими даними, то основний формат табличних даних -- не просто якась собі різна конструкція, а чи не основна.

[sassa_nf]

Ну, я мав на увазі, що dataframe.column.when() має бути якимось об'єктом. На скалі об'єкти можуть мати свої "оператори" (насправді методи, але виглядають як оператори), наприклад ||, тому я й хотів глянути, що в документації про це. А там нічого такого якраз і не визначено.

[malyj_gorgan]

Ось десь на такому рівні я і розумію об'єктно-орієнтоване програмування :))
І про це і кажу: коли визначали оператори (хай вони і є насправді методами) для об'єкту dataframe.column.when , то хтось там зробив ментальне зусилля, щоби не дай бог не визначити логічне "або". Це як би хтось робив калькулятор без кнопки "помножити". Все інше є, а множення нема, бо нафіга воно вам, ось експонента, логарифм і додавання, чого вам ще треба. Ніби, і правда, можна без нього, але навіщо.
Якби ще вони йшли шляхом мінімізації операндів, то я б зрозумів, але нє, з колонкою в формагі часу/дати, можна робити і plusDays(), і minusDays(), бо написати plusDays(-2) у них рука відсохне. А визначити "||" - нє, навіщо, і так добре...

[ichthuss]

Є:
https://spark.apache.org/docs/latest/api/scala/org/apache/spark/sql/Column.html#||(other:Any):org.apache.spark.sql.Column (якщо анхор не працює, шукати за строкою "def ||(other: Any): Column").

[malyj_gorgan]

*&^%(&)!!!
Точно, є. З прикладом для filter()
А у when() не працює (ну я ж не придумав, що у мене код ламався на цьому кілька разів.
Вже не знаю, чи то помилка в чомусь локальному, чи в чомусь глобальному :(

[ichthuss]

З мого не дуже широкого досвіду, через хитровивернутий type inferring скала може видавати досить загадкові повідомлення про помилки в доволі простих випадках замість банального "type mismatch". Тоді допомагає явно розписати складний вираз зі вказанням всіх проміжних типів, приблизно так - замість
expr.when(A || B,...
написати:
val a: Column = A
val b: Column = B
val a_p_b: Column = a || b
expr.when(a_p_b,...
Тоді помилка найчастіше все одно вилізає, але уже з притомним поясненням.

[malyj_gorgan]

Дякую. Ну, десь такими способами я то все і ловив. Спочатку вилазив такий exception, що чорт ногу вломить, а потрохи-потрохи дійшло до "метод '|' не визначений для org.apache.blah.blah.blah".
Але дідько з ним, я вже давно написав інакше і забув :)
Ще раз дякую за пояснення

[ichthuss]

Ото підозрюю, що це саме blah.blah.blah було не Column, а мав бути Column. Можливо навіть, що достатньо було б поміняти операнди місцями (якщо другий з них таки був Column).

[malyj_gorgan]

Це цікава теорія. Можливо, навіть вірна. Тепер би запам'ятати її на наступний раз, коли щось таке побачу. Бо прямо зараз залазити назад в той код і пробувати відтворити помилку заради того, щоби зрозуміти, що це було, у мене нема ні натхнення, ні здоров'я, ні часу :)
Зате ще раз повторюся: дякую!

[sassa_nf]

А! Справді! Дякую