Малий Ґорґан

Яху підкинула допис про фаворитизм в сімʼях. Ну, про те, що, коли більше одної дитини, то хтось з дітей є фаворитом ("більше любимо", більше вибачаємо, надаємо перевагу і т. д.), а навіть якщо ні, то діти сприймають, що фаворитами є не вони, а брат/сестра. Але останнє то уже психологічні моменти, в реалі повної гомогенності не буває, так що, якщо у вас, скажімо, двоє дітей, то хтось один з них -- улюбленець. Я читав статтю в HuffPost, яка розповідає про статтю пари вчених з, of all places, Brigham Young University, яка, в свою чергу, є оглядовим мета-аналізом кількох десятків уже справжніх статей на тему. Сподіваюся, ніде з ідеологічних причин сильно не прибрехали, але не впевнений, в якому місці меседж втратив важливу компоненту. Я це до чого -- далі в статті наводяться дані про те, як буття фаворитом впливає на подальшу долю дитини. Кому цікаво, спробуйте вгадати: як відрізняється стан і майбутня доля дітей, які були фаворитами в родині? Щоби не було спойлерів, заховаю решту допису.
( Клацніть сюди, коли сформулюєте для себе відповідь і захочете читати далі )

В розмові з mprotsenko зачепили тему, яка з якоюсь частотою присутня в моєму житті з ... ну, може, не з народження, але точно з шкільних років. (А що ви хочете? Ріс в родині університетських викладачів. Потім передвступні страждання , навчання в різних вузах і країнах, аспірантура, викладання, академічне життя, свої діти... Як тут не думати на такі теми?)

Недавно в Каліфорнії університетам заборонили так звані legacy admissions -- офіційні преференції при вступі у вуз для дітей з родин донорів вузу, працівників вузу і навіть випускників вузу. Що з того вийде -- буде видно не скоро, але ось які очевидні питання зачіпає ідея вступу у вузи:

1. Наскільки, взагалі, реальна система вступу, яка реально оцінює знання абітурієнтів?
2. Наскільки важливо те, що рівень знань при вступі далеко не так добре корелює з рівнем знань при навчанні, а той, в свою чергу -- з рівнем знань і вмінь в реальному житті?
3. Як саме краще влаштувати вищу освіту, щоби було справедливіше, ніж зараз? Ефективніше ніж зараз? За якими критеріями міряємо ефективність?
3а. У вищезгаданому запитанні врахуйте тему падіння якості освіти. Це не старе бурчання, це про інфляцію оцінок -- ващє цікава тема, зараз за ту саму оцінку треба менше треба знати і робити, це тема стара і стабільна, уже кілька десятків років про це трублять, але поки що мало чого досягнули.

P.S. Мої гіпотези, коротко:
1. Реально лише в рамках одного університету шляхом банальних вступних екзаменів, проведених на місці цим університетом. Така система дискримінує тих, хто гірше вміє складати екзамени, плюс, є можливості для локальної корупції, але в цілому ок. Наступний -- система універсального тестування, ті ж мінуси, плюс менша гнучкість універсальних тестів, але хоч якась справедливість. Все інше -- фігня.
2. Якщо рішення є, воно мені невідоме. Це як зі співбесідою на роботу і продуктивністю. Є наявні дані з того ж Гарварду, які показують мінімальну залежність між оцінками при вступі і оцінками в універі.
3. Я думаю за критеріями справедливості стосовно знань і зусиль студентів і досягнення кваліфікації при випуску. Як на мене, єдина система, достатньо справедлива і ефективна -- високий але не надмірно високий поріг необхідних знань при вступі і можливість, навіть не можливість, а заохочення того, щоби відраховувати студентів під час навчання за недостатній рівень. Або, альтернативно, можливість розтягнути навчання за додаткові гроші, які платить студент. Така система заодно допускає в міру справедливий розподіл зовнішнього фінансування через стипендії і знижки.
3а. Імхо, єдине, що може щось поміняти -- періодичне зовнішнє оцінювання з штрафами на організаційному рівні, якщо внутрішні і зовнішні оцінки сильно різняться.

Знову повернуся до причинно-наслідковості. В попередніх дописах з цим теґом я намагався охопити загальну інтуїцію на тему, а зараз вже конкретика. Це статус кво галузі, як я його розумію, хоча, звичайно, воно все не записано в книжці стандартів, еталонів і аксіом. Тим не менше, я досить-таки твердо переконаний у всьому, що виклав нижче (мінус помарки або приступи дислексії), і якщо ви хочете зі мною поговорити про прикладні причини, спочатку варто погодитися з теорією.

В дописі три секції: формальне визначення причинності, метод подвійного машинного навчання і обговорення з прикладом.

A. Визначення: що таке причинний вплив бінарної дії A на результат Y?
Часто, особливо, коли Y бінарний, може виникнути спокуса визначати причинність як (знак оклику означає заперечення, !A еквівалентно не-A) еквівалент умови "якщо A, то Y, а якщо !A, то !Y". Це буде помилкою! Так визначається не причина, а єдина, необхідна і достатня причина; а такі за межами підручників зустрінеш рідко. Якщо поміркувати над стандартним вжитком, то погодитися можна лише про таке: "ʼA є причиною Yʼ означає, що позитивною є β, міра причинного впливу A на Y", і визначається ця бета так:
(1)   β = P(Y|A) − P(Y|!A) ≡ P(Y|A=1) − P(Y|A=0)

Це визначення правильне, але неповне. Ви помітили, що тут лише дві величини, дія і наслідок? Aле в житті-то є і всякі інші події, тому формула (1) завжди несе в собі імплікацію "everything else being equal", тобто, з двох боків знаку мінус міняється лише А, а все решта залишається незмінним. На жаль, неможливо спостерегти дві події, ідентичну у всьому, крім значення A. Це фундаментальна властивість реальності, поети її формулюють як "не можна двічі увійти в ту саму ріку", а математики як "!A ∩ A = ∅". В датазнавстві такі дані називають counterfactual data, а визначення причинності пишуть не для індивідуальних подій, а для розподілів. Тобто, якщо зовнішнє середовище і передісторія нашої події описуються багатомірним вектором Х з розподілом ρ, то бету пишуть як
(2)   β = P(Y|A, X) − P(Y|!A, X),
маючи на увазі
       β = P(Y|A, ρ(X)) − P(Y|!A, ρ(X)).

( Ну і так далі )

На самий кінець додам, що все вищесказане було для бінарних A лише тому, що так простіше і чіткіше все пояснювати. Точно так само працює модель і DML для скалярного A, хоч дискретного, хоч неперервного, хоч обмеженого, хоч ні. Більше того, так само все працює і для багатомірних A, але тоді розмивається концепція існування причинни взагалі, а залишається лише розрахунок багатомірного вектора бета.

В розмовах з коментаторами до попереднього допису у мене склалося враження, що часто, коли я не погоджуюся з опонентами, причина не в тому, що ми собі знаємо різні факти, а в тому, що ми по-різному інтерпретуємо ті самі факти з числового простору в простір потяттєвий. Тому оце вирішив показати пару речей, очевидних, якщо ти регулярно працюєш з статистичними даними, і далеко не таких очевидних, якщо ти з ними стикаєшся лише в опрацьованому форматі.
Насамперед дисклеймер: я не наполягаю, що враження, яке у мене склалося про когось з моїх співрозмовників, вірне. Це не персоніфіковане пояснення, а абстрактна мінілекція, дуже прошу не сприймати нічого особисто. Дві маленькі ілюстрації сценаріїв, де я не раз спостерігав нерозуміння представниками всіх можливих і неможливих професій.

Ілюстрація перша: середнє vs частотне. Часто люди з підозрою ставляться до ситуацій, коли помітна більшість вимірів виявляється більшою (або меншою), ніж середнє значення. Як жартував мій улюблений радіоавтор про своє уявне містечко Лейк Вобегон, там "all the children are above average". Так от, всі діти вище середнього бути не можуть, але значна більшість - запросто. Наприклад, якщо у нас якась величина, хоч оцінка з математики, хоч кількість дрінків на місяць, хоч продажі за рік мають ось такий, цілком реальний, розподіл:

то три з чотирьох учасників цього розподілу будуть мати значення вище середнього! А якщо взяти не менш реальний розподіл, дзеркально відбитий навколо вертикальної вісі, то 3/4 учасників будуть мати значення нижче середнього. І це ще компактний розподіл, між нулем і одиницею, а якщо значення не мають обмеження, то асиметрія може асимптотично наближатися до ста відсотків.

Ілюстрація друга: кореляції. Кореляція не означає очевидної лінійної залежності. Більшість всяких кореляцій в більшості галузей людської діяльності, які гордо називають статистично значними кореляціями, вони можуть на перший погляд виглядати як повна відсутність залежності. Що в медицині, що в бізнесі, що в соціології всякій... Коли ми чуємо, що А корелює з Б, але знаємо приклади існування "А and not Б" або "Б and not А", навіть, приклади на рівні субдемографій, то є спокуса сказати, що ні, ніякої кореляції нема. Боріться з цією спокусою! Єдиним способом показати, що кореляції нема, є поміряти кореляцію і показати, що її нема. Тому що розбіжності.... Ну ось, подивіться наприклад на цей розподіл з семидесяти пʼяти пар (x, y):

Це дані, які досить добре корелюють. Коефіцієнт Пірсона -- 42%, в бізнесі постійно таке оголошують успіхом. Коефіцієнт детермінації (R-квадрат) 18%, не фонтан... але, повірте, у світі купа людей, які 4-5% оголошують нормальною залежністю, особливо в обчисленнях причинності, там більше 10% -- за щастя. І це цілком нормально, якщо ви рахуєте не ML передбачення, а модель причинності. Зокрема, при даних такого ж рівня "шумності", як оце на картинці, імовірність помилки першого роду у спробі поміряти середнє значення ігрека для 75 точок на симетричних і рівномірних іксах з точністю вимірювання (precision) до половини справжнього середнього буде десь 25-30%. Це ще називають p-value. Це багато, така статистика нічого не доказує... Але якщо взяти не 75 точок, а 150, то p-value буде вже 12%, забагато в серйозній статистиці, але уже на межі для найгрубших оцінок. А якщо кількість самплів збільшити до 750, то p-value буде менше півпроцента, всі щасливі. Точність вимірювання замала? На десяти тисячах точок ми матимемо p-value один відсоток для точності вимірювання 0.1 від правди. Це я все до чого: позитивна кореляція може бути слабкою, але для достатньої кількості семплів вона буде статистично важливою. Всі вищенаведені виміри взяті не зі стелі, а перераховані ось цими от руками.

Бонус до другої ілюстрації. Взагалі, вміння розуміти кореляції -- дуже корисне вміння. Дуже раджу вбити 5-10 хвилин часу і погратися в цікавущу гру: "угадай кореляцію". Мені вона у свій час серйозно допомогла виробити певну інтуїцію.

Почну потрохи писати лекцію з причинності і всякого такого. Наперед дякую за коментарі і запитання -- воно мені допоможе... а вас, можливо, зацікавить. Тих же, хто все це прекрасно знає і без мене, і краще за мене (боюся, таких тут більшість) перепрошую за зайвий шум. :)

Вступ

Перше, ніж повести мови про каузальність і всяке таке, давайте подивимося на кілька базових понять статистики і теорії імовірності. Вони не викарбувані в граніті, різні джерела вживають речі трохи по–різному, тому заодно просто звіримо термінологію. Дисклеймер: це не курс статистики, а розмова "на хлопський розум", тому деякі речі я навмисне спрощуватиму. Зате важливі поняття даватиму ще і англійською.

Імовірність (Probability). Одне з найбазовіших понять в нашому житті, і при цьому до смішного неінтуітивне. Хоча найпростіший випадок ще Ок: якщо ви знаєте, що може статися кілька подій, якщо уявити безліч світів, де ці події сталися, то ймовіність події A буде писатися P(A) і дорівнюватиме частці всіх світів, де сталася подія A, а не якісь альтернативні події. Аби не сперечатися на тему чи хоч щось станеться, давайте напишу це все контексті причинно-наслідковості: у кожної дії (причини), є якісь можливі насліди A, B, C і т. д., і кожен з них має свою імовірність, так що сума всіх імовірностей
P(A) + P(B) + P(A) + ... = 1. Причинно насліддковий звʼязок можна описати ось так:



Правдоподібність (Likelihood). Різниця з імовірністю в тому, що ми починаємо з якогось спостереження, тобто, ми бачимо наслідок, який може статися в результаті кількох різних причин. Нехай, у нас знову є безліч світів, у яких у всіх стався наш наслідок. Так от, правдоподібність події A, позначається L(A), -- це частка цеї безлічі світів, у якій причиною цього насліду була саме дія A:


Давайте проілюструємо це на прикладі. Чи не найкласичнішим засобом ілюстрацій після монет є гральні кубики, а.к.а. кості. Нехай у нас є три чесних кубики (чесних -- це таких, де сторони рівноімовірні, визначення виходить рекурсивним, але вдаватися в деталі облом), і ми граємо у гру, де ми міряєму суму, яка випала на цих трьох кубиках. Розподіл імовірностей для усіх можливих сум можна побачити нижче. Імовірність викинути суму, ну, наприклад, 14, буде P(14) = 15/216 ≅ 7%, це частка комбінацій, які додаються до чотирнадцяти , з усіх можливих комбінацій, ось картинка:

З імовірністю чотирнадцяти все ясно. А для того, щоби ввести правдоподібність, треба задати додаткове запитання. Нехай ви знаєте, що випала сума 14, тоді додатковим запитанням буде "а яка правдоподібність того, що на всіх трьох кубиках були різні цифри?" (Відповідь -- 40%, звідки вона взялася, сподіваюся, ви побачите самі.) Або ще: знаючи, що сума трьох кубиків різних кольорів, жовтого, білого і сірого, складає 14, скажіть, з якою імовірністю жовтий кубик показує чотири? (Порахуйте це самі, в якості домашнього завдання.)

Одною з цілей вищенаписаного було показати вам, що навіть в найпростіших випадках, коли ми знаємо, що діється, ми не можемо точно передбачити, що в результаті станеться, лише надати якісь імовірності. І навпаки, навіть коли ми якось поміряли, що в результаті сталося, ми не обовʼязково знаємо, як воно прийшло до такого результату, і можемо лише оцінити правдоподібність різних комбінацій причин. Весь цей цурес і неконкретика називаються "стохастичність".

Причинно-наслідковість / каузальність (Causality) стосується ближчого до реальності стану речей, а цей стан навіть в найпростіших прикладах є набагато складнішим, ніж перші дві картинки зі стрілочками. Почну з кінця: по-перше, у всякій життєвій ситуації наслідок рідко є чимось однозначним, а найчастіше є якийсь багатомірний простір наслідків. Який ми любимо проектувати на одну або більше лінійних числових метрик, як то "продажі товару", "сума крапочок на костях", "добре/погано", "оцінка на тесті" і ще мільйон інших. Найчастіше люблять вибрати якусь одну метрику ... що часто-густо веде до підміни усього багатства наслідків одною кількісною величиною, через що стається сама лише шкода і дуже небагато користі, бо ця одна метрика і надмірно спрощує, і неясно, чи ми правильно розуміємо механізм звʼязку цеї метрики з власне подіями. (Див. помилка Макнамари і закон Ґудгарта) По-друге, на відміну від задачок на ідеальні шестигранні кості або чесні монетки, ми майже ніколи точно не знаємо, як саме та чи інша причина впливає на наш наслідок. Власне, встановлення цього механізму і є основною задачею каузального моделювання. По–третє, крім відомих причин A, B, C з різними правдоподібностями і механізмами впливу, завжди є ще і невідомі причини. Ну і, нарешті, причини між собою ні разу не незалежні, тому, намагаючись зі спостережень встановити, як A впливає на Y, треба памʼятати, що розподіли спостережених A і Y дуже сильно розмиті всякими невідомими нам подіями і явищами, а, по–друге, що частина подій є конфаундерами, або сплутуючими факторами, такими, які одночасно впливають на A і Y, вносячи байаси і іншу статистични не-незалежність в наші спостереження.
Базова картинка причинно наслідкового, наприклад, ось:

Типова задача буде, ну, наприклад, така: нехай A -- якийсь педагогічний прийом на заняттях з англійської мови. Ну, наприклад, заміна одного із програмних творів на уроках англійської зі звичайного твору на комікс. А Y -- стандартизований тест з англійської, який учні пишуть в кінці року. Відомі причини -- всякі інші оцінки і кількості годин учнів перед тестом. Невідомі причини -- все решта, від особи вчителя до того, що того року в телевізорі показують.

Як це робиться -- я буду писати в наступних розділах, а поки що, для лінивих, розкажу основну ідею і висновок:

1. Основна ідея: першим ділом в таких задачах доводиться допускати функціональну форму механізму залежності. Найчастіше, вибирають лінійну залежність:
   Y|_A=1 = Y| _A=0 + β,
   де A-нуль відповідає звичайному твору, а одиниця -- коміксу... або навпаки, суть в тому, що ми перетворюємо причину на бінарну величину (можна небінарну, підхід аналогічний).


2. Тоді, використовуючи всякі наближення і допущення, можна порахувати значення β, його і називають причинним впливом A→Y


3. Ця бета -- вона завжди і тільки описує середній ефект


4. Будь-які спроби прикинутися, ніби ви таким статистичним способом можете порахувати індивідуальний вплив, тобто, як A вплине на Y для одного конкретного учня (як причина вплине на наслідок в конкретному семплі), майже завжди -- відверта брехня і шахрайство.

Давненько нічо не було під теґом "шкільне життя", але то лише тому, що мене всякі професійні проблеми відволікали. Аби ви часом не подумали, що тут зі школами все раптом стало добре, підкину пару прикладів. А то є у нас тенденція (у мене теж, часом) вважати, що, звичайно бувають перегиби, але ан мас ми рухаємося в правильному напрямку, а перегиби -- то тимчасові недоліки, а так каліфорнійська школа -- нічо так, а всі воук-страшилки -- то виключно страшилки. Отже, старша дитина почала вивчати курс географії і світової культури.
Епізод 1. Вчитель розповідає дітям, про що буде курс. "Ми будемо вчити про те, як люди різних культур прибували в Штати, які у них тут були культурні і економічні виклики, звʼязані з такою значною зміною в їх житті" Моя дитина: "О, а ми будемо говорити про еміґрацію зі Східної Європи і виклики, звʼязані зі зміною з пост-комуністичних суспільств?" Вчитель: "Ні, звичайно, ні. У нас же ethnic studies (тому про білих не будемо)."
Епізод 2 Сьогодні будемо вчити про боротьбу з расизмом. Діти, напишіть про визначного борця з расизмом Каньє Веста, як він виступає за все хороше проти всього поганого. Моя дитина, здається, не втрималася і таки написала щось, вставивши слова "... how ironic that Kanye West, a known anti-racist activist and antisemite..." Чекаю, що з того вийде :)

І так у них все. 100% почутого з найрізноманітніших джерел про місцеву школу підтверджує думку, що природньою реакцією нормальної недурної людини на антирасистьке виховання в тутешній школі є... скажімо так, щось подібне до того, якою була природня реакція нормальної недурної людини на виховання в пізньорадянській школі (підказка: ця реакція не була підсиленням любові і поваги до радянської влади).

Передостання історія, де мені знадобилося, щоби мене носом ткнули в очевидне, вкотре нагадала, що ми часом не бачимо тривіальних речей. Вміння знайти просте і гарне рішення складної задачі -- це особливий скіл, напевне, половина олімпіадних і "Квантівських" всяких штучок колись давно була саме про це. Може, не половина, але чверть точно. Я ніколи не вмів легко знаходити красиві прості рішення. Але не я один, як показує досвід, вперше побачити щось просте -- нелегко. Причому, "прості рішення складних задач" -- це неправильно я сказав, бо, як тільки складне рішення стає відомим, воно стає очевидним, і задачка переходить в розряд тривіальних. Як ото об'єм корони поміряти до і після Архімеда... Словом, два приклади простих задач з очевидними розв'язками, які до якогось моменту були не очевидними.

Перший -- рентгенівська анґіографія. Себто, отримання картинок кров'яних судин з допомогою ренгтенівських променів (потім аналогічно робили з МРТ і ультразвуком). Кров трохи краще поглинає не надто високоенергетичні рентгенівські промені, ніж сусідні тканини, але цього не досить, на картинках видно не дуже, плюс, на нижких енергіях там розсіяння. Придумали колоти спеціальні контрастні агенти -- речовини з більшим перерізом розсіяння, щось важче, там, ґадоліній, або, принаймні йод. Стало краще, але не дуже, бо фон все-одно майже все забиває. І в якийсь момент один медичний фізик придумав очевидний хід: зробити ДВІ знимки: до того, як людині вкололи контраст і одразу після того, поки людина не встигла порухатися. І відняти першу знимку від другої, отримавши красиві картинки власне судин, з усіма їх потовщеннями, розривами і корками... Очевидно ж. Елементарно! Але хтось це придумав перший раз, написав статтю, отримав патент. Цей патент був другий за кількістю грошей, які він приніс універу з 1980 до 2005, далі я не слідкував. Отака проста-простецька думка: фото раз, фото два, віднімаємо -- вуаля, перед нами те, чим два фото відрізняється. Пишаюся, що я працював під началом цього чоловіка пару років дві декади тому.

Другий приклад -- з нашої практики в Берклійській Нац. Лабораторії. Був у нас великий проект, в якому треба було отримати ядерну картинку (SPECT -- single photon emission computed tomogrphy) зразка, у формі вертикальної труби 15 см шириною і півметра висотою. Прилад для міряння людей, які лежать горизонтально на спеціальному столі, але ми придумали, як, замість крутити кільце (gantry) сканера навколо зразка ми зупиняємо сканер в одному хитрому положенні, а крутиться сам зразок в полі зору детекторів. І ще, важлива деталь: нам треба було отримувати картинку, вірніше, послідовність з 60 картинок, синхронізованих з крутінням зразка, кожних 8 хвилин протягом майже двох діб. Півтори доби мінімум. Крутіння зразка і всяке інше (там ще було качання насосом через нього грунтових вод, бо проект з гідрології і біогеохімії) контролював скрипт на Лабв'ю з лаптопчика, а от сканер доводилося запускати вручну. Він був спеціально так зроблений -- концепція, що запускатися така штука може лише живим технологом була закладена в саму систему. Це ж медицина, діагностика, скандер думає, що там всередині в ньому живий пацієнт, якого не приведи господь вдарить, притисне, чи забуде. Тому все може запускатися лише наживо, клацанням по кнопочках їхнього ЮаЙ. Ніяку програму, де можна написати скрипт, туди не вставиш -- закрита архітектура, компутер жорстко інтегрований з рештою всього, FDA схвалює лише все разом, тому комп все той самий, старий, на нього нічого нового записати не можна в принципі (Зате ще в 2020-му я останній раз реально щось робив на компі 1998 року з живою OS/2... ех, кайф!) Вже що ми не придумували... Перший великий експеримент довелося робити наживо, ми з колегами втрьох чергувалися і з ранку п'ятниці до полудня суботи реально що вісім хвилин проклацували запуск протоколу считки даних. Задовбалися -- не то слово. Але альтернатив придумати не могли -- ну, не піддається система втручанню, принаймні, щоби її не ламати, а ламати не можна, бо на тому сканері ще людей, кроликів і щурів треба міряти... Почали шукати інші сканери. Я обдзвонив все Західне узбережжя. Один варіант був -- сканер для коней: кастом-геометрія (бо коні стоять), але там роздільна здатність була не та. Плюс ціна пару сот тисяч, а у нас максимум тисяч тридцять на це можна було бюджету виділити. Нарешті, знайшов варіант, якогось українця в другому поколінні, який в околицях Лос Анжелеса тортував вживаною медтехнікою. Полетіли туди з начальником і ще одним інженером дивитися. Робочий прилад тої ж моделі у них стояв на лізинґу в якомусь госпіталі. Виробництво року восьмидесятого, як не раніше, древня панель оператора, я таких клавіш з часів студентської молодості і комп'ютерного кабінету ЄС-100 не бачив. Архітектура так само закрита, але оскільки 1980-й рік, то вся операція без мишки. Тут один зі співробітників сказав: о, з цим ми впораємося, можна зробити роботизовану руку, яка натискатиме правильні кнопки, всього кілька тисяч, помістимо в бюджет... Далі я на нього дивлюся, як на дурного: а якщо робити робо-руку, то нафіга нам купувати додатковий сканер, сканер у нас уже є! (Я тоді ще пам'ятав, як навігувати між віндовсівськими компонентами без мишки) Зраділи, покупку відмінили, повернулися в лабораторію, на наступному ж засіданні говоримо про нашу геніальну ідею, після чого ще один наш колега, який не їздив, як почув про це, подивився на нас як на дурних: а нашо робити роборуку, якщо можна просто перехопити сигнал з клавіатури
Словом, замість сканера за $30К або роборуки за кілька тисяч (навіть не знаю, скільки), купили PS/2 keyboard spoofer за двадцятку і все запустили з того ж ЛабВ'ю скрипта.
Очевидно, банально, тривіально. Але, якби хтось не подумав про це вчасно, мого би бути набагато складніше, дорожче і гірше.

Питання: а скільки навколо нас ще отаких задач, які ми вважаємо складними лише тому, що хтось перший не придумав тривіально просте рішення?

Вибачте, якщо щось таке колись писав, і виглядає, ніби повторююся. Просто, вкотре спостеріг досить масове нерозуміння того, що таке датазнавство. Нерозуміння, з якого ростуть ноги нецільового і неправильного використання датазнавців компаніями, коли наймають такого, в першу чергу, тому що модно, а потім не знають, що з ним робити.
Отже всяка робота, де, між іншим, генеруються макроскопічно великі кількості даних (без останнього про датазнавців говорити просто нема сенсу), має три підходи мотивацій для прийняття рішень

1. Спеціалісти галузі. Domain-driven approach. Тут навіть не точка зору, а ціла пляма бо тут буде і точка зору ринку, і технології, і маркетерів і т. п. Але, якщо максимально грубо, то основною мотивациєю для цих людей є "якого результату вони хочуть досягнути", все інше -- вторинне.
2. Інженери: оптимізують процес. Інженер працює між існуючими даними, початковим станом, і бажаним результатом, шукаючи найкоротший (найбезпечніший, найдешевший, найгарніший) шлях від першого до другого.
3. Датазнавці: працюють від даних. Як ці дані добуваються, якого результату хотіли досягнути -- цікаво, але вторинно, основа основ -- факти про те, що ми знаємо тут і зараз.

Згадується запханий мені в голову вчителькою російської літератури віршик: "отєчєство славлю, котороє єсть, но тріжди -- котороє будєт. Так от, "котороє єсть" -- це data science, "котороє будєт" –– domain-based approach, a шлях від одного до другого -- engineering.

За моїми спостереженнями, в багатьох компаніях, особливо досить великих, воно нікому нафіг не всралося -- знати, що ж у нас насправді стається. У них є план на майбутнє, є інженери, які це майбутнє збудують, а якщо реалії сьогоднення в цю структуру не вписуються, тим гірше для реалій, потім знайдемо, на кого звалити вину за невиконаний план. Ми ще рік тому запланували саме так, начальство підписалося, ти що, хочеш сказати, що начальство помилялося?!? Такі компанії часом наймають датазнавців, бо це стильно-модно-маладьожно, але з часом або роблять з них інженерів, або роблять з них пустобрехів, або виганяють їх нафіг.

Навздогін до попереднього посту, про окопний РЕБ. Знайшов людину, яка продає для ЗСУ, зараз утрясаємо деталі. (Дякую тим з вас, хто запропонував трохи долучитися, я пам'ятаю і напишу, коли знатиму точно ціну -- воно трохи перевищує мій місячний бюджет, а у мене тим часом ще й інші витрати заплановані, хай і дрібні.) Кому цікаво, поділюся з вами тим, що сам взнав, що це таке, з чим його їдять і т. п. Ну і, якщо хто захоче ще такого докупити, дам (в приваті) координати, де взяти, бо штука корисна.

Словом, станція радіоелектронної боротьби (РЕБ) -- це така антена, яка дає пульс на частотах, якими спілкуються з базою основні дрони. Частот кілька діапазонів, від 900 МГц до п'яти з гаком ГГц, точно не пам'ятаю. Захист, в термінах спеціалістів, "псевдокупол"(насправді, українською не "купол" а "баня", але що досі багато хто не достатньо комфортно володіє лексикою, щоби не сміятися з "бляхи" і "лазні" і неправилъно вживати слова "шар" і "луна", то залишимо псевдорусизм). ТОбто, це не щось, що ви поставили коло себе, клацнули вимикачем, і всьо, дрони не прилетять, а щось трохи неоднозначніше. Мені прислали огляд основних помилок і місконцепцій:
1. Чому "окопний" РЕБ -- того, що ним треба користуватися з окопу, тобто, він бачить лише дрони високо в повітрі і досить близько до окопу.
2. ... а найбільшою помилкою серед тих, хто пробує його використовувати, є спроба користуватися ним не з окопу, а з бруствера -- станція пеленгується ворожими засобами за пару десятків км, і до вас прилітає міна, снаряд, а то і ракета.
3. А ще народ часом хоче його використовувати в режимі 24/7, що теж категорично неправильно, бо пеленгують. Кажуть, що якщо пеленгують щось достатньо потужнє, той самий "Буковель", то і з ГРАДа можуть вгатити.
4. Тому правильно використовувати РЕБ так: сидить чувак і добре дивиться, чи не летить якась холера. Оптика, термооптика, власні вуха і очі -- використовуємо виключно пасивні засоби спостереження. Потім бачимо -- летит. Цілимося, пускаємо сигнал і -- міняємо позицію. БО вороги не сплять, холєра, у москалів датчиків і радарів дофіга понатикано :(
5. Працює воно досить недалеко, метрів 200-250 максимум, а якщо у ворогів база з RC PRO (whatever it is), що ще вдвічі менше. Але це не аж така проблема -- бо див. інформацію про "працювати з окопа" і "включати лише коли і так побачили"

Отаке взнав. Сподіваюся, скоро викуплю, щоби друзям там у себе було трохи безпечніше.

UPDATE: ЗНову не те. Бійці хочуть такого (відео), а виробник, з яким я говорив, каже, що на відео то версія антидрон-рушниці, а не РЕБ-псевдокупола. А де знайти таку рушницю, і по чому -- ніхто не каже. Блін :(

В попередньому пості зайшла мова про те, чи то справді діти стали менше знати, чи то ми бурчимо, як старше покоління споконвіку бурчить про молодших. А ось оце сьогодні рано по радіо почув, що діти в США стали сильно гірше знати не лише математику і базове читання, а і історію і суспільствознавство. Про природничі науки посилання не маю, але з усього, що я чув сам, в жодній з природничих наук рівень знань школярів за останнє десятиліття-півтора не покращився, а судячи з відгуків преставників коледжів -- упав.
З фізкультури і спорту рівень точно впав, без варіантів. Навіть якщо не враховувати рівень ожиріння (Останній раз, коли я цю тему піднімав, мені кілька відвідувачів розповідали, що це генетика і нічо з цим не зробиш. Оскільки це прямо означає, що генофонд американців за одне покоління помінявся в рази,... ну, значить, не лише нове покоління не знає біології.)
Незрозуміло, що з програмуванням, але щось я маю сумніви, що покоління тачскрінів уміє в це діло краще, ніж покоління, де, щоби погратися в комп'ютерну іграшку, треба було натискати всякі клавіші. Тим більше, толку з того програмування дітям, які математики не знають.

Відповідно, питання: є якісь невідомі мені пласти знань і вмінь, в яких нове покоління настільки випереджує папєрєдніків, що може собі дозволити відставання в нудних читаннях/писаннях/рахуваннях, чи ми, нарешті-таки умудрилися досягнути тої межі, коли, вперше в історії, скарги на дурну молодь стають таки правдою?

P.S. Не сприйміть за позицію "ми кращі", ні, це позиція "нам ще пощастило". Я впевнений, що наше покоління, якби йому випало жити в таких водночас тепличний і крейзі умовах засилля технологій і комунікацій, було би настільки ж само fuck up. В кінці кінців, якщо світ таки валиться в яму, то цю яму йому викопали ми.