тут є любителі Скали

[malyj_gorgan]

По роботі, через примху начальства, доводиться переписувати пару шматків коду з SQL на Скалу, тої Скали не знаючи зовсім. Але потрошки, потрошки... Проблема в тому, що це для внутрішнього нашого датастора, там компіляція/перевірка на помилки триває хвилину, а запуск найтривіальнішого коду займає хвилин 5-10, тому все помаленько дуже. Але, 80% уже готово...
...І раптом вперся в помилку, яку уже дві години не можу виправити. З того всього виглядає, що в dataframe.column.when() немає логічного "OR". Воно тупо ламається на значку "||"


Якщо це не баг, а фіча, поясніть мені, тупому, кому така фіча могла прийти в голову. І, основне, НАФІГА?

P.S. Цікаво, скільки з тих, хто користується Скалою, знає безсмертні рядки про
Лупайте сю скалу! Нехай ні жар, ні холод
Не спинять вас. Зносіть і труд, і спрагу, й голод
Бо вам призначено скалу сесю розбить.

Comments

[juan_gandhi]

Не, ну надо различать скалу и всякие библиотеки, от самых дебильных до самых продвинутых. Большой разброс. 5-10 хвилин - это точно как-то многовато. Я такое видел в одной дебильной конторе, в их дебильной джаве, когда одну и ту же апликацию инициализировали шесть раз за каким-то хреном... man, can we switch to English to discuss the problem? I'm really clueless about how to talk about all this in Russian or Ukrainian.

[malyj_gorgan]

Easy on the English part -- it's much easier for me professionally, too, that's part of the reason why I try to speak Ukrainian about data science whenever I can -- 'cause _somebody_ has got to do it, why not me :) But you are definitely not my target audience on the enforcing Ukrainian in professional settings :)

Scala here is one of the "allowed" languages (the other two being spark sql and pyspark) to access a big and ugly data warehouse. Really big and really-really ugly. One of the components of that ugliness is that you don't have a proper sandbox (unless you fully set one up yourself, which is beyond what I know how to do and care to do right), and accessing the actual warehouse can be done via big web-UI thing that start the batch job. Basically, they put you in a sequence of queues: first, some container job checks your dependencies, then, some other job looks for your permissions, then you actually wait for a cluster, competing with thousands if not tens of thousands of ongoing jobs... Hence the 5-10 mins -- that's what you get when trying to run stuff with lowest resource demand but without setting run priorities reserved for, well, high priority jobs.
Guess, that's the flip side of being a big company -- people have set rules that became immutable. At least, at my current employer's the most important skill here is knowing how to navigate constraints that are specific to this company and don't exist elsewhere. I once worked with a DS formerly from Facebook -- same thing, he seemed to be good at stuff that mattered at FB but didn't matter elsewhere.

[juan_gandhi]

I see. Shit happens. "Immutable rules" may be a big problem, but that's life.

[abalaeff]

А які рядки знають, а Скалу ні, ті вважаються? 😁

[malyj_gorgan]

"Вважатися" це "считаться кем-то" а "считаться" в плані попадання в перелік, це "рахуватися".

Тому рахуються, так :) Правда, можливо не поділяють моєї емоції до цієї мови з такою гарною назвою.
(Пішов далі лупати сю скалу)

[abalaeff]

Ось саме то й хотів спитати 😁 А потім вирішив вгадати. Не вгадав 🤣 Дякую, й лупай її, Росте, хай вона лусне вщент.

[sassa_nf]

It would help if you could mention imports (so it would be possible to search for docs) and example line of code. Looking for dataframe Spark docs pop up. They don't have .column or .when().

[malyj_gorgan]

В даному випадку:
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions.{col, expr, lit, when, sum, avg, count}

У мене лише оце зараз з'явилося запитання: оце "орг" на початку може бути саме нашим внутрішнім ?

[sassa_nf]

Ні, org.apache - це опенсорс

[sassa_nf]

Ok, I don't see dataframe.column in the docs, so it can't be helped.

But it looks like it is a Java library natively accessed from scala, so I wouldn't expect || to be defined for it.

[malyj_gorgan]

А в Джаві теж нема "АБО" як одного з базових логічних операндів поряд з "І" і "НЕ"?

[sassa_nf]

є, але то ж для булєвих виразів, а не SQL на різних конструкціях.

[malyj_gorgan]

А, ну хоч так :)

> ... на різних конструкціях....
Оскільки Скала позиціонується як найкраще знаряддя для роботи з великими даними, то основний формат табличних даних -- не просто якась собі різна конструкція, а чи не основна.

[sassa_nf]

Ну, я мав на увазі, що dataframe.column.when() має бути якимось об'єктом. На скалі об'єкти можуть мати свої "оператори" (насправді методи, але виглядають як оператори), наприклад ||, тому я й хотів глянути, що в документації про це. А там нічого такого якраз і не визначено.

[malyj_gorgan]

Ось десь на такому рівні я і розумію об'єктно-орієнтоване програмування :))
І про це і кажу: коли визначали оператори (хай вони і є насправді методами) для об'єкту dataframe.column.when , то хтось там зробив ментальне зусилля, щоби не дай бог не визначити логічне "або". Це як би хтось робив калькулятор без кнопки "помножити". Все інше є, а множення нема, бо нафіга воно вам, ось експонента, логарифм і додавання, чого вам ще треба. Ніби, і правда, можна без нього, але навіщо.
Якби ще вони йшли шляхом мінімізації операндів, то я б зрозумів, але нє, з колонкою в формагі часу/дати, можна робити і plusDays(), і minusDays(), бо написати plusDays(-2) у них рука відсохне. А визначити "||" - нє, навіщо, і так добре...

[ichthuss]

Є:
https://spark.apache.org/docs/latest/api/scala/org/apache/spark/sql/Column.html#||(other:Any):org.apache.spark.sql.Column (якщо анхор не працює, шукати за строкою "def ||(other: Any): Column").

[malyj_gorgan]

*&^%(&)!!!
Точно, є. З прикладом для filter()
А у when() не працює (ну я ж не придумав, що у мене код ламався на цьому кілька разів.
Вже не знаю, чи то помилка в чомусь локальному, чи в чомусь глобальному :(

[ichthuss]

З мого не дуже широкого досвіду, через хитровивернутий type inferring скала може видавати досить загадкові повідомлення про помилки в доволі простих випадках замість банального "type mismatch". Тоді допомагає явно розписати складний вираз зі вказанням всіх проміжних типів, приблизно так - замість
expr.when(A || B,...
написати:
val a: Column = A
val b: Column = B
val a_p_b: Column = a || b
expr.when(a_p_b,...
Тоді помилка найчастіше все одно вилізає, але уже з притомним поясненням.

[malyj_gorgan]

Дякую. Ну, десь такими способами я то все і ловив. Спочатку вилазив такий exception, що чорт ногу вломить, а потрохи-потрохи дійшло до "метод '|' не визначений для org.apache.blah.blah.blah".
Але дідько з ним, я вже давно написав інакше і забув :)
Ще раз дякую за пояснення

[ichthuss]

Ото підозрюю, що це саме blah.blah.blah було не Column, а мав бути Column. Можливо навіть, що достатньо було б поміняти операнди місцями (якщо другий з них таки був Column).

[malyj_gorgan]

Це цікава теорія. Можливо, навіть вірна. Тепер би запам'ятати її на наступний раз, коли щось таке побачу. Бо прямо зараз залазити назад в той код і пробувати відтворити помилку заради того, щоби зрозуміти, що це було, у мене нема ні натхнення, ні здоров'я, ні часу :)
Зате ще раз повторюся: дякую!

[sassa_nf]

А! Справді! Дякую

[ichthuss]

Якщо я правильно пам'ятаю, то в Скалі || (і інші) - це просто назва функції, а "x || y" є красивим записом "x.||(y)". Тому особисто я б спробував викликати логічне or як функцію (а документація підказує, що зветься вона

public static Column bool_or(Column e)

)

[malyj_gorgan]

Ну, десь так я і роблю. Там логічне твердження всередині оператора
when(condition, Y1).otherwise(Y2).
Відповідно, якщо мій condition можна записати як А or B, то можна все разом переписати як
when(А, Y1).otherwise(when(B, Y1).otherwise(Y2)).
Але це не відміняє мого потання "нафіга?" Якщо вже є більш-менш стандартна для різних мов булева алгебра, то чого її калічити, змушуючи людей писати досить банальні для інших мов умови набагато більш громіздким способом? Навіть в кожному першому варіанті SQL'а воно є...
Відповідно, таке враження, що операнд or не включений паралельно з and і not навмисно. Значить хтось мав якісь аргументи для того, щоби цього не робити. Я і бідкаюся, що не можу собі уявити таких аргументів.

[ichthuss]

Ні, я мав на увазі when(A.bool_or(B), Y1).otherwise(Y2).

Я майже впевнений, що якщо працюють інші логічні оператори, то і or можна змусити запрацювати в нормальному вигляді. Але це треба поекспериментувати, щоб з'ясувати, чого воно точно хоче і в якому вигляді; і при локальному сетапі це було б зовсім нескладно, а якщо треба сабмітити на гальмівний сайт - то це займе багатенько часу, і питання - чи варто?

[malyj_gorgan]

> ... при локальному сетапі це було б зовсім нескладно, а якщо треба сабмітити на гальмівний сайт - то це займе багатенько часу, і питання - чи варто?...
Десь так я само я і вирішив: зробив як-небудь, шоб не падало, і чорт з ним.
Але радості від цього я відчувати не буду

[zhiva]

а як виглядає ваш виклик when? бо я тут трохи пошукала про scala spark or conditions in when, і наче люди таке успішно роблять.

[malyj_gorgan]

Там вище приклади є
dataframe.withColumn("column_name", when(boolean_statement, answer_if_true).otherwise(answer_if_false))

[ichthuss]

А якого типу тут boolean_statement? Я до чого: в скалівських DSL завжди треба танцювати від типів даних.

[malyj_gorgan]

Хороше питання.
Отого типу, який DataFrame.column, яко не заглиблюватися :)

Off topic

[timelets]

Can you do me a favor and reply to this guy that the bet is still on. I'm banned in yakov's LJ and can't do it myself.
https://yakov-a-jerkov.livejournal.com/2117488.html

He should contact me here on DW.

Thank you and Happy New Year!

Re: Off topic

[malyj_gorgan]

> ... reply to this guy that the bet is still on...
"this guys" being Yakov? What do you mean by "reply" then? Reply to smth in that post from mid-summer?
Or did you mean some specific thread/comment, just didn't link to it?
Thank you for the NY wishes, same to you

Re: Off topic

[timelets]

Sorry, I posted a wrong link. I meant this guy pmbbmw here:

https://yakov-a-jerkov.livejournal.com/2117488.html?thread=86881392#t86881392

Thanks.

Re: Off topic

[malyj_gorgan]

Done

Re: Off topic

[timelets]

Thanks.