Малий Ґорґан

В купі розмов, що професійних, що філософських, що пустих балачок стикаюся з хибою... вірніше, навіть не хибою, бо це не формальна хиба, а з хибною звичкою. Звичка така: говорячи про групу людей (націю, расу, стать, покупців певного товару, споживачів певного сервісу, тощо), персоніфікують їх всіх як якусь одну узагальнену особу, і далі про неї говорять. Або, навпаки, чуючи розмову про групу (чоловіків, негрів, велосипедистів, пенсіонерів, американців), у себе в голові вибудовувати якогось одного шаблонного чоловіка/негра/велосипедиста, порівнювати з почутим і або радо погоджуватися, або затято не погоджуватися.
А всяка група -- це багато різних людей. Дуже часто середній (та хоч медіанний) представник групи -- це нонсенс. Але з жарту, що у середнього мешканця США одне яєчко і одна цицька, регочуть, а потім тим самим ротом розповідають "наш покупець користується телефоном пʼять днів щотижня і проводить по три години в трафіку." І будують стратегії і моделі під одного юзера, і дивуються, що щось пішло не так. Або, про тих, які чують щось про групу, а уявляють одного: регулярно ж на фрази "українці їдять сало", "дівчатка люблять гратися з ляльками", "республіканці люблять кантрі музику" чуєш відповідь: о, моя знайома Марджері Тейлор Зелененко їсть лише рибу, грається лише пістолетиками і слухає лише реп, шах і мат, тому це все брехня. При цьому майже кожен, коли сам говорить про групу, теж цілком собі розуміє, що месидж ніколи не "всі чоловіки такі" чи "кожен чоовік трохи такіший за жінку", але в повідомленнях інших цю картинку чують.

Слово, повертаючись до термінології: безумовна персоніфікація групи -- це хиба, не треба так робити, ні коли сам говориш про групу, ні коли слухаєш, що кажуть інші.

UPDATE: Дякую sassa_nf, він показав, що це я вкотре винайшов велосипед. Описане -- один з варіантів відомої логічної хиби, яка називається екологічна помилка.

Навіяло дописом шановного vak про те, як за нами слідкують через побутову техніку. Пилососи -- не єдине, за нами слідкує все, від холодильників до пральних машин, не кажучи вже про системи відеоспостереження. Я вважаю цифровий луддизм єдиним позитивним шляхом розвитку, а покупки "розумних" і підʼєднаних до мережі предметів ... скажімо так, дуже немудрим рішенням. Вже не кажучи про речі, які вас офіційно слухають, типу всяких Алекс. На жаль, навіть якщо ви в себе вдома з сучасної техніки будете тримати лише тепловізійний приціл для свого AR-15, за вами все-одно можна буде слідкувати. Це я не до того, щоби опускати руки, а до того, щоби не розслаблятися.

Власне, історія: Я якось пробував найнятися в одну контору, яка ставила невеличкий шматок коду на wifi модеми клієнтів і записувала всі телефони і інші девайси з включеним вайфаєм , які зʼявлялися в околицях. Не лише спроби підʼєднатися, а і банальний handshake. Ну і для сервісу вищого рівня вони ще мали доступ до логу покупок і непогано привʼязували девайси до емейлів, номерів телефонів, імен.. Вони себе позиціонували як Google Analytics for brick'n'mortar: ми вам розкажемо, як краще себе маркетувати, коли і хто до вас заходить і як довго там залишається, як краще щось продати і т. п. Але приватно самі ж визнавали, що вся ця "аналітика" толком навіть не окуповується, а основний бізнес план -- зібрати дані про всіх телефонізованих громадян з включеним вайфаєм, щоби потім комусь ті дані зручно продати. Ту фірмочку пізніше купив WeWork, ще поки сам був на коні, то є надія, що там все згнило, але ідея-то очевидна, і так само як google analytics прекрасно собі збирає інформацію про трафік з усіх адрес, з яких заходять на вебсайти, де той гугл аналітикс встановлений, так само і ваше пересування з телефоном і будь-яким іншим вай-фай-обладнаним девайсом відслідковується всіми, кому не лінь. Ок, ок, _може_ відслідковуватися. Але, будемо чесні самі з собою: якщо вони не полінувалися встановити слідкувалки на машини, пилосмокти і музичні плеєери, то ви і справді думаєте, що вони забули про роутери? Гггг...

Спряжена до попередньої задачi.

Дано: таблиця з повідомленнями, які юзери шлють комусь там. Нас хвилюють три колонки: юзер айді uid, номер контакта num, час t (ну і ще всякі, неважливо)
Написати такий запит в цю таблицю (SELECT *...) щоби порахувало, скільком різним номерам підряд пішло повідомлення від нашого юзера
Тобто, уявіть собі, що ви дивитися на повідомлення лише від одного юзера, уже відсортовані за часом. Повідомлення ідуть на такі номери:
10, 11, 12, 10, 13, 14, 15, 11, 16, 17, 16
Потрібні мені цифри будуть такі:
3, 6, 8, 8, 8, 8, 8, 8, 8, 8, 2
Фактично, задача: для кожного елементу впорядкованої послідовності порахувати ширину максимального вікна, в яке входить цей елемент, і в якому всі елементи різні.

Я поки що не знаю. В якійсь стандартній мові програмування -- хай неелеґантно і складно в плані computational complexity, але таке написати я зможу, а в сіквелі якось завис.

Нижченаписане -- це як табличка множення для всякої людини, яка хоч колись працювала близько до модної останні чверть століття теми "машинне навчання", ака, Machine Learning (ML). Якщо ви це все знаєте, пропустіть, але комусь може і цікаво буде.

( Як оцінювати якість класифікатора машинного навчання )

One of very frequently misinterpreted data science-related metrics is a likelihood "score". Most popular score classes: credit score, trust score, and automation score, respectively, estimating how likely a person is to return a certain loan, to be an honest user vs bad actor, and to be a script vs a live person. These days, such scores are computed as a prediction probability in a machine learning classifier trained on some past data mapping a bunch of environmental, metadata, and prior behaviour information about a person/user to known binary outcome.

The misinterpretation that makes me categorize this post as fac is the human tendency to treat statistical estimates as deterministic parameters. Humans are bad at probabilities. (Proof: gambling) Basically, most of us, when hearing "credit scores for John and Paul are 0.6 and 0.9 respectively" would perceive this Paul being 9/6 = is one and a half times more financially responsible than Paul.

But that is bullshit.

It's best understood with automation trust score. A person cannot be 90% bot or a 60% bot. You either are a human or you ain't; a human with 0.9 automation score is 100% more human than a bot with a 0.6 automation score. The same thing about credit score: a borrower with credit score of 600 returning a loan is 100% better than a 900-credit-score borrower who defaults. The only way a score can and should be treated is when dealing with populations and risks: "out of a thousand applicants with a credit score of .9, a hundred will not pay off properly".

The most obvious (and correct!) parallel here is profiling. Yes, treating people only by credit score is just that -- good old profiling. And just like with profiling, you have to know when not to use it and when yes use it. Declaring someone definitely good or bad just because they fit the profile is wrong. Planning your business or policy or any other large scale thing where you have to care about return of investment and cost-benefit analysis is right and the only way to go. That simple.

So, what's the takeaway? Don't stop computing scores but hnow when to use them. Don't stop profiling, but know why and where you do it.

Ну, не зовсім зло, але .... З мого досвіду кількох дуже різних компаній з дуже різними середовищами і продуктами, одним з основних джерел проблем є логи. Вірніше, logging код.
Пояснюю: запускаючи продукти в якихось специфічних середовищах, всяких Airflowʼах, Cradle'ax, контейнерах і навіть джупітер ноутбуках, добросовісні програмісти намагаються впхати якийсь код для того, щоби воно писало логи. Ну, очевидно, щоби знати, що стається. Так от, ці всі логгери завжди (завжди!) виявляються найідіотськішими бібліотеками з найідіотськішими вимогами і болючими точками, такими, що логгер -- це те, що ламається в першу чергу. Найчастіше, він яко-тако працює лише в продакшн середовищі (і то, навіть там ламається), а в хоч трохи іншому середовищі не встановлюється, не працює, ламається... Тобто, якщо продакшн середовище -- той самий Airflow, ти ніде, крім нього, свій код не віддестуєш, бо логгер дає помилку... а в самому Airflowʼі тестувати - не тойво.

Шкода, ніколи не зустрічав людини, яка писала ті логгери. СПробував би пояснити, що якщо логгер написаний не в fail-to-wire парадигмі, то за це треба пиздити ломом.

Переглядав якісь старі емейли і знайшов цікавий кусок коду десь десятилітньої давності. Це були часи, коли я ще був бона фіде вченим, жив в Матлабі, а продакшн код, типу статистичних алгоритмів томографічного відновлення гігантських 3D картинок писав на C. І раптом мені довелося шукати роботу в індустрії, і дали мені зробити домашнє завдання. Ну, є така фішка, особливо давніше була, при пошуках датазнавців дають програмувальний проект. Ну, там, прочитати дані з CSV файлів, пару перетворень, класифікатор, все таке. Зараз -- роботи на півгодини.

Який було би зробити просто, але одна засада - треба було використовувати Python, а я про нього тоді не знав приблизно нічого. Взагалі. Про бібліотеки, про саме існування якихось бібліотек. Відкрив сайт python.org, почав заглядати в документацію... І написав! Правда, тиждень грався, але навіть в час вклався, бо на ту домашку ліміту не було. В процесі щось вивчив, наприклад, з нуля на коліні написав naive Bayes класифікатор для змішаних числових і категорійних змінних (а от нема такого в їхніх бібліотеках, бо надто кастомізовано).

Послав в ту компанію. Чувак відповів -- data science aspects -- superb. Але взяти вони мене не візьмуть, бо у них трохи інший підхід до програмування.

І дивлячись на код нижче, я розумію, чому.... :)
Але, тим не менше, як на людину, яка вчора вперше відкрила документацію Пітону, і обчислює все в Сі, мені, знаєте, навіть не соромно.

( А, код -- прочитати CSV табличку. )
UPDATE:
Якщо неясно, то вищенаписаний код -- це спроба скопіювати логіку Сі там, де від неї лише шкода. Він ігнорує існування бібліотек, безпричинно перевизначає код помилки), і, найгірше, обчислює абсолютно непотрібні змінні, які там для того, щоби потім звертатися до даних в таблиці як до матриці, за числовими індексами. Словом, зараз я те ж саме пишу так:
import pandas
pandas.read_csv(filename,index=0).fillna(float('inf'))
( Ну, на крайняк... )

Яху підкинула допис про фаворитизм в сімʼях. Ну, про те, що, коли більше одної дитини, то хтось з дітей є фаворитом ("більше любимо", більше вибачаємо, надаємо перевагу і т. д.), а навіть якщо ні, то діти сприймають, що фаворитами є не вони, а брат/сестра. Але останнє то уже психологічні моменти, в реалі повної гомогенності не буває, так що, якщо у вас, скажімо, двоє дітей, то хтось один з них -- улюбленець. Я читав статтю в HuffPost, яка розповідає про статтю пари вчених з, of all places, Brigham Young University, яка, в свою чергу, є оглядовим мета-аналізом кількох десятків уже справжніх статей на тему. Сподіваюся, ніде з ідеологічних причин сильно не прибрехали, але не впевнений, в якому місці меседж втратив важливу компоненту. Я це до чого -- далі в статті наводяться дані про те, як буття фаворитом впливає на подальшу долю дитини. Кому цікаво, спробуйте вгадати: як відрізняється стан і майбутня доля дітей, які були фаворитами в родині? Щоби не було спойлерів, заховаю решту допису.
( Клацніть сюди, коли сформулюєте для себе відповідь і захочете читати далі )

Ну чому завжди ти щось робиш-робиш... і щось починає виходити в пʼятницю зранку. Ти цілий день тестуєш, ніби, все працює. І от всьо, думаєш, зробив і можна запускати. А інженери дивляться на твій PR і кажуть: чекаємо до понеділка, у нас полісі -- в пʼятницю ввечері ніяких змін на продакшн.

І хрін переконаєш, що нічого поганого не станеться. (Раз уже переконав -- погане сталося, дата інженер потім в суботу все ремонтував... але це була випадковість! правда-правда!)

Кажуть, якщо поділитися з іншими тим, що тебе дратує, стане легше. Good ol' rant, значицця, допомагає психічному здоровлю. (Не перевіряв, як там з психічним здоровлям слухачів... на всякий випадок і не буду.) Навіть нових теґів придумувати не треба, перетин "за це їх і не люблять" і "lament" якраз попаде, кути треба. Всі інші теґи -- про підтеми.

Отже, три випадкових речі, які мене серйозно дратують. З трьох зовсім різних аспектів життя.

1. Коли влітку кондиціонер охолоджує приміщення до температури нижчої (або навіть такої ж), як обігрівач нагріває те ж саме приміщення взимку. В кількох різних сценаріях таке спостерігав, особливо, в тих місцях, де є реальна зима. Коли надворі спека і всі, хто може, ходять напівголі, вони вистуджують офіс до 20-21 Цельсія. Зате взимку, коли ти прешся на роботу через мороз і пургу, в довгих штанях, сорочці-светрі під курткою, а чого доброго ще і всякій теплій спідній білизні, вони гріють до вище 22 градусів. (Я чого запамʼятав, памʼятаю ще з "Охорони Праці" зі студентських часів, що поза інтервалом 17-22 градуси вважається некомфортне виробництво.) І не лише офіси -- скільки народу, які влітку нормально сидять в хаті при 20 градусів, взимі нагрівають до 25 і більше, що ходять по хаті в трусах і майці і при цьому скаржаться, яке дороге опалення.

2. Коли теоретик (датазнавець, вчений і т. п.) надає всі розрахунки виключно в форматі матричного множення, але при цьому толком не розуміє, що там всередині робиться. Ну, наприклад, коли рахують стандартну регресію
argmin (A X_i - Y_i)²
де A , X_i, Y_i -- то масиви, тобі починають писати через добуток всяких матриць, транспонованих матриць і обернених матриць, а коли пробують порахувати довжину кроку в ґрадієнтному пошуку, або варіативність оцінки, то ця формула росте, росте.... А коли в будь-який момент кажеш людині, яка це все пише: а ти можеш це написати, як суму? ... То ця людина губиться і дивиться на тебе, як самі знаєте хто на нові ворота. І ці люди щиро думають, що вони щось знають, а не запамʼятали з використанням мнемонічного правила..

3. Коли українці за кордоном з одного боку скаржаться на війну і несправедливість, а з іншого не роблять і мінімального зусилля, щоби хоча б в очах сторонніх зберегти лице. ОК, говориш вдома російською -- твоя справа, але розповідати вголос, що "какая разніца", що про мову, що про культуру -- при цьому купувати російські продукти, ходити в московську церкву, тихцем обурюватися, що діяспора їм тут недостатньо помагає, поки діаспора продовжує купувати і відсилати речі в Україну, а вони самі ні цента не шлють, зате у відпустку зʼїздити або бʼюті процедури -- це запросто. Дуже хочеться вірити, що таких типів не аж так багато, це вони просто в очі кидаються, бо дратують особливо сильно.

Ну, все, поскаржився, хай воно тепер і вас теж дратує.