тут є любителі Скали

[malyj_gorgan]

По роботі, через примху начальства, доводиться переписувати пару шматків коду з SQL на Скалу, тої Скали не знаючи зовсім. Але потрошки, потрошки... Проблема в тому, що це для внутрішнього нашого датастора, там компіляція/перевірка на помилки триває хвилину, а запуск найтривіальнішого коду займає хвилин 5-10, тому все помаленько дуже. Але, 80% уже готово...
...І раптом вперся в помилку, яку уже дві години не можу виправити. З того всього виглядає, що в dataframe.column.when() немає логічного "OR". Воно тупо ламається на значку "||"


Якщо це не баг, а фіча, поясніть мені, тупому, кому така фіча могла прийти в голову. І, основне, НАФІГА?

P.S. Цікаво, скільки з тих, хто користується Скалою, знає безсмертні рядки про
Лупайте сю скалу! Нехай ні жар, ні холод
Не спинять вас. Зносіть і труд, і спрагу, й голод
Бо вам призначено скалу сесю розбить.

Comments

[sassa_nf]

It would help if you could mention imports (so it would be possible to search for docs) and example line of code. Looking for dataframe Spark docs pop up. They don't have .column or .when().

[malyj_gorgan]

В даному випадку:
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions.{col, expr, lit, when, sum, avg, count}

У мене лише оце зараз з'явилося запитання: оце "орг" на початку може бути саме нашим внутрішнім ?

[sassa_nf]

Ні, org.apache - це опенсорс

[sassa_nf]

Ok, I don't see dataframe.column in the docs, so it can't be helped.

But it looks like it is a Java library natively accessed from scala, so I wouldn't expect || to be defined for it.

[malyj_gorgan]

А в Джаві теж нема "АБО" як одного з базових логічних операндів поряд з "І" і "НЕ"?

[sassa_nf]

є, але то ж для булєвих виразів, а не SQL на різних конструкціях.

[malyj_gorgan]

А, ну хоч так :)

> ... на різних конструкціях....
Оскільки Скала позиціонується як найкраще знаряддя для роботи з великими даними, то основний формат табличних даних -- не просто якась собі різна конструкція, а чи не основна.

[sassa_nf]

Ну, я мав на увазі, що dataframe.column.when() має бути якимось об'єктом. На скалі об'єкти можуть мати свої "оператори" (насправді методи, але виглядають як оператори), наприклад ||, тому я й хотів глянути, що в документації про це. А там нічого такого якраз і не визначено.

[malyj_gorgan]

Ось десь на такому рівні я і розумію об'єктно-орієнтоване програмування :))
І про це і кажу: коли визначали оператори (хай вони і є насправді методами) для об'єкту dataframe.column.when , то хтось там зробив ментальне зусилля, щоби не дай бог не визначити логічне "або". Це як би хтось робив калькулятор без кнопки "помножити". Все інше є, а множення нема, бо нафіга воно вам, ось експонента, логарифм і додавання, чого вам ще треба. Ніби, і правда, можна без нього, але навіщо.
Якби ще вони йшли шляхом мінімізації операндів, то я б зрозумів, але нє, з колонкою в формагі часу/дати, можна робити і plusDays(), і minusDays(), бо написати plusDays(-2) у них рука відсохне. А визначити "||" - нє, навіщо, і так добре...

[ichthuss]

Є:
https://spark.apache.org/docs/latest/api/scala/org/apache/spark/sql/Column.html#||(other:Any):org.apache.spark.sql.Column (якщо анхор не працює, шукати за строкою "def ||(other: Any): Column").

[malyj_gorgan]

*&^%(&)!!!
Точно, є. З прикладом для filter()
А у when() не працює (ну я ж не придумав, що у мене код ламався на цьому кілька разів.
Вже не знаю, чи то помилка в чомусь локальному, чи в чомусь глобальному :(

[ichthuss]

З мого не дуже широкого досвіду, через хитровивернутий type inferring скала може видавати досить загадкові повідомлення про помилки в доволі простих випадках замість банального "type mismatch". Тоді допомагає явно розписати складний вираз зі вказанням всіх проміжних типів, приблизно так - замість
expr.when(A || B,...
написати:
val a: Column = A
val b: Column = B
val a_p_b: Column = a || b
expr.when(a_p_b,...
Тоді помилка найчастіше все одно вилізає, але уже з притомним поясненням.

[malyj_gorgan]

Дякую. Ну, десь такими способами я то все і ловив. Спочатку вилазив такий exception, що чорт ногу вломить, а потрохи-потрохи дійшло до "метод '|' не визначений для org.apache.blah.blah.blah".
Але дідько з ним, я вже давно написав інакше і забув :)
Ще раз дякую за пояснення

[ichthuss]

Ото підозрюю, що це саме blah.blah.blah було не Column, а мав бути Column. Можливо навіть, що достатньо було б поміняти операнди місцями (якщо другий з них таки був Column).

[malyj_gorgan]

Це цікава теорія. Можливо, навіть вірна. Тепер би запам'ятати її на наступний раз, коли щось таке побачу. Бо прямо зараз залазити назад в той код і пробувати відтворити помилку заради того, щоби зрозуміти, що це було, у мене нема ні натхнення, ні здоров'я, ні часу :)
Зате ще раз повторюся: дякую!

[sassa_nf]

А! Справді! Дякую