Древнее золото, говоришь?

А у меня сразу возник вопрос. Если обработка XML требовала затянуть в память все, и там разбирать («проблема была в сильной связанности») — то почему загрузка в CSV этого же не требовала?

Видимо, связность была не такая уж сильная. А для парсинга использовался не потоковый парсер, а пример с третьей страницы учебника.

Я вот совсем недавно исправлял проблему — нельзя было загружать XML'и больше определенного размера. Памяти не хватало. Оказалось, там парсер грузит всю структуру в память целиком и только потом обрабатывает. Заменил на потоковый. Потребление памяти константное, скорость работы возросла.

А обмен через файлы — это большая коллекция граблей с автоподзаводом. Возможно, уже пришла пора открыть для себя что-нибудь более новое?

Работаю в дизайнерской фирме админом. Имеется парк довольно приличных компьютеров и древний широкоформатный плоттер. Плоттер печатает цвета не совсем точно и довольно темно. Дизайнеры на него жалуются постоянно. Уже сколько раз его калибровали — все без толку. Со временем все как-то смирились.

И вот пришел я к рабочей станции одного сотрудника поделать кое-какие дела. Загружаюсь, и выпадаю в осадок. Все цвета на экране набекрень, даже родную офисную заставку не узнал, яркость очень низкая и белые поля в окнах явно отдают желтым.

Первый импульс, разумеется, посмотреть настройки на мониторе. Весь монитор был обклеен напоминалками по периметру. Найдя, угол, в котором, по идее, должна быть панель настроек, я нашел записку, приклеенную поперек всех кнопок.

«ЦВЕТА НА ТРОГАТЬ!!! Они как на говноплоттере!»

Кажется, пора с начальство по поводу нового плоттера поговорить…

Однажды я писал утилиту для анализа большого объёма сильно связанных данных на XML + C# — заказчик хотел модные (в 2007 году) технологии. Ничего сложного — XML-документ загружался в память, последовательно обрабатывался, результаты складывались в базу. Проблема была в сильной связанности — при обработке почти каждого узла приходилось подгружать целые секции из разных концов этого же документа.

Когда соотношение объёма входных данных и объёма ОЗУ машины пересекло критическую отметку, программа сошла с ума. Показатель Time in GC достиг значения 98%, а значит, программа не работала, вместо этого среда выполнения занималась очисткой и дефрагментацией памяти. Проведённое расследование показало — при нехватки памяти и попытке подгрузить дополнительные данные для обработки текущего узла ОС скидывала обрабатываемые данные в своп, а затем доставала их обратно. И сборщик мусора работал над свопом, что в тысячи раз медленнее работы с ОЗУ.

Решением был файловый ввод-вывод. Я переписал программу, используя свой велосипедный страничный ввод-вывод и формат CSV вместо громоздкого XML. После этого она могла обрабатывать любой объём данных, независимо от ограничений ОЗУ машины, с постоянной скоростью, не отвлекаясь на дефрагментацию своп-файла и вообще его не используя.

К чему я всё это. Файловый обмен — замечательная вещь, и мало форматов лучше, чем CSV. Он легко читается машиной и человеком, его поддерживают большинство программ — от офисных до научных пакетов. Используя магию bash, его можно бить на части (подзадачи для вычислительной фермы, например) или объединять (результаты вычислений), записывать в сеть, в устройства, в другие процессы, выложить в облачное хранилище или отправить по email, перезапросить в случае отказа сети, создать резервную копию, принять и обработать тысячей и одним способом.

Если технология существует давно, это не значит, что она плохая. Это значит, что она уже пережила пару поколений желающих использовать только новейшие технологии. Они ушли или перегорели, а технология осталась.

Наткнулся сегодня на историю «Аутсорсинг грязной работы»:

Ещё на втором курсе мы писали прогу управления LPT-портом на Паскале. Суть была простой: на определённые пины подавать пять вольт. Но как её запустить на маке? На виндовую тачку ставим прогу, к LPT цепляем реле, через реле пускаем питание вайфай-точки. Создаём bat-файл, «слушающий» текстовик в расшаренной папке. На маке пишем командный файл для консоли, который записывает в текстовик строку «wifi-off». Когда виндокомп, сработав, отключает точку, командник на маке реагирует на «wifi-off-ok» в файле и выплёвывает окошко: «Wi-Fi погашен».

Так вот. Часть 1С-ников таким же образом реализуют обмен между системами, c учётом того, что 1С поддерживает все современные протоколы обмена. Этот вывод я сделал из недавнего опыта.

Понадобилось мне как-то связать 1С и Asterisk. Суть связки проста: из 1С берём список компаний с номерами телефонов и передаём его на сервер Asterisk по HTTP. А Asterisk, в свою очередь, сохранив этот список в базе, в будущем при входящем звонке показывает менеджеру на экране телефона, что ему звонит не какой-то там номер, а, например, компания «Рога и Копыта».

Обратился я с просьбой к знакомому 1С-нику, который, как я считал, разбирался в предмете. Он, выслушав мои хотелки, сказал, что по HTTP 1С не умеет и вообще нужно список сохранять ручками в файл excel/csv на сетевую шару, а Asterisk пускай мониторит эту шару на предмет наличия файла и при появлении затягивает его в базу. И попросил за это 100500 денег.

Опечаленный, но не сдавшийся, я вечерком сел за комп, скачал 1С и демо базу с данными и, не имея никаких знаний по языку 1С, начал пробовать силы. Итог: 3 часа плюс Гугл, и готово решение, которое делает то, чего хотелось — обмен на автомате и по HTTP.

В итоге все этой истории я сильно усомнился в квалификации знакомого и оправданности стоимости услуг подобных людей.

P.S. Рассказал знакомому о правильном решении моей проблемы, а он отмазывается: «Ну, 10 лет назад файловый обмен работал и сейчас работает…»

Прочитав историю про самое слабое звено, я внезапно узнал себя. Не конкретного человека с ФИО и паспортом, а технического специалиста с техническим же взглядом на вещи, дальше технологий до поры до времени не простиравшегося.

Дядя идиот, потому что не пользуется антивирусом? Возможно.

Дядя идиот, потому что в банке отказался от аутентификации через SMS на телефон? Возможно.

А теперь важный вопрос: откуда у такого идиота может взяться 25 миллионов рублей? Один-два понятно, но не 25.

И тут я вспомнил известную в нашем городе историю с ограблением автосалона. На новогодних праздниках фирма продала несколько десятков выставленных на комиссию автомобилей, не успела ни передать деньги хозяевам, ни сдать в банк — как их ограбили. Тоже на пару десятков миллионов. Правда, хвала сотрудникам полиции — учредителей фирмы поймали. С наличкой и даже парой якобы проданных автомобилей.

Так что я уверен на 99% — деньги у «незадачливого» дядечки пропали со счёта, но не из кармана. И даже крайние нашлись: одни плохой ноутбук продали, другие вероломно воспользовались, а сам дядя белый и перед партнёрами/государством ваще не виноват.

Коллеги, не все проблемы человечества лежат в технической плоскости. Когда начальник-идиот просит сделать прибор в Большом Железном Корпусе, не стоит настаивать на компактном пластиковом варианте. Он на самом деле не идиот: он своих заказчиков знает и понимает, что условный Сергей Петрович скорее заплатит N тысяч рублей за Большую Железку, чем в два раза меньше за удобную пластиковую коробку с той же функциональностью.

Когда мы проектируем светодиодные светильники, перед коллегами-конкурентами мы можем заниматься сравнительной фаллометрией на тему эффективности, показаний фотоколориметра, интересности вторичной оптики и применения твердотельных конденсаторов. На практике же ни один из конечных потребителей продукции не осознал цепочку от ватта электрической энергии, пришедшей в светильник, до величины освещённости в нужной точке пространства. Чтобы не вникать в тонкости, они придумали тянущий на Нобелевку термин «светодиодный ватт» и пользуются им. Для этих ребят прибор, дающий 12000 Лм света при 100 Вт потребления, выглядит менее привлекательно, чем прибор, дающий 10000 Лм при 120 Вт. Потому что у второго светодиодных ватт больше.

Все эти «восемь ядер шестнадцать гигов» на дохлом чипсете, «инструменты 36-в-1» из консервных банок и прочее имеют в основе невежество конечного потребителя. Вы можете просветить своего начальника, его начальника и при большой удаче даже весь отдел продаж разом — но дальше ваш заряд мудрости не пройдёт. Конечный заказчик от терминов устанет, не будет разбираться и купит у конкурентов нужное ему количество светодиодных ватт. Или «ваттов», если в школу не ходил.

Поэтому давайте иногда подниматься над техническим уровнем проблемы и видеть ситуацию целиком — нам ведь надо кормить свои семьи. Деньгами заказчиков, разумеется. А девелоперские дела будем обсуждать тесным кругом, среди своих, под настроение. У нас тут закрытая вечеринка: интеллект-код и майнд-контроль, неподготовленным душам нечего делать. Наслушаются ещё разных глупостей, а потом не смогут план по продаже гигов с ядрами выполнить.

Думаю, тут есть не только айтишники, но и такие, как я — с уровнем «выше продвинутого пользователя», но не работающий в айти. Поведаю вам одну историю про то, как вредно сначала делать, а потом думать.

Купил я недавно большой монитор на замену старому 5:4, и приспичило мне поиграться в автосимулятор про грузовики. На ютубе я встречал видео, на которых играют с несколькими мониторами. Естественно, я загорелся желанием повторить примерно то же. Извлёк из шкафа второй квадратный монитор, расположил все три на столе, проверил количество разъёмов на видеоплате — три штуки, mini-HDMI, DVI-D, VGA. И тут-то и выяснилось, что не всё так просто…

В комплекте к новому монитору был только VGA-кабель. Переходник с DVI на VGA, как я выяснил у Гугла, является аналогово-цифровым и к моей видеокарте не подойдёт. В наличии 3 монитора с VGA подключением. Что делать?

На следующий день я купил кабель mini-HDMI, а также выяснил, что переходник с DVI-D на VGA мне никто не родит, так как их якобы не существует. Я успел огорчиться, но Гугл опять помог мне: существуют переходники с преобразователем цифрового сигнала в аналоговый. Не вопрос, поехал — купил. Всё работает, но тут возник очередной вопрос: как вывести изображение из игры на все три монитора, да ещё так, чтобы всё отображалось, как мне надо?

И Гугл снова помог — не получится сделать то, что мне нужно, без SLI (технология Nvidia Surround, необходимая для вывода разного изображения на мониторы в одном 3D-приложении, работает, как я понял, только с ним). Огорчение, но мы не сдаёмся! Гуглим дальше. Решение было настолько простым, что даже смешно: установка одной маленькой программы и подмена одной DLL-ки, после чего все мониторы объединяются в один суперширокий, а в конфигурации игры появляется новое разрешение, равное суммарной ширине трёх мониторов, что, собственно, и решает поставленную изначально задачу — увеличение угла обзора.

За эти дни я узнал много интересного, получил некоторые новые навыки и ещё на шаг отдалился от звания тупого юзверя.

Мораль для неспециалистов: прежде чем модифицировать свой ПК, узнавайте все нюансы, это может обойтись дороже ожидаемого. А если что-то не получается, не бойтесь гуглить, и тогда, возможно, одним юзверем станет меньше.

А я завтра пойду на собеседование на помощника сисадмина, достало быть гуманитарием.

Расскажу вам ещё одну историю про вежливые железки

Они настолько вежливы, что своей встроенной управляющей платой умеют следить за состоянием сервера. Если воткнуты фирменные утилиты — то ещё много за чем, например, за местом на диске. Умницы какие. Но иногда капризничают, прямо как дети.

Предыстория. Так получилось, что в паре устройств нельзя было развернуть поток горячего воздуха, пришлось дуть прямо в холодный коридор. Как назло — места в стойке в обрез, пришлось прямо под пару таких горячих американских парней поставить пару серверов. Горячим воздухом им задувало прямо во входные дырки, нагревали воздух до 40 градусов, управлялки исправно ругались, но что делать? Как-то жили. Рано или поздно всему приходит конец, и управлялки по достижении пороговой температуры стали перегружать этих два сервера прямо посреди дня… В общем, выкрутились, воткнули дополнительные вентиляторы, трубами, гнутыми листами отвели поток горячего воздуха и вздохнули спокойно. Ровно на полгода.

Наступила осень. Температура воздуха упала, все стали забывать уже, что такое было. И тут бац — перегрузился сервер. Ну, думаю, остановились вентиляторы, трубы забились, младшие админчики чё-то сдвинули, будем смотреть. Да нет, те два, которые летом перезагружались — вполне себя сносно чувствуют, температура на входе далека от предельной, жить можно. Начал перегружаться сервер в соседней, полупустой стойке, сверху и снизу от которого места — завались! Мало того, серверам снизу и сверху — даже холодно! Смотрим температуру, да, высоко, два градуса вверх и перегрузимся, но терпим. Только отвернулся — бац, опять в перезагрузку.

Ну, делать нечего, пишем в саппорт, мол, подойдите, посмотрите, что там, никто телогрейку на стойку не повесил (бывали, знаете ли, случаи)? Сервер перегружается ещё раз. Лезем ещё раз смотреть, а сколько теперь-то? Увиденное повергло в шок — 25 градусов на входе. Как не бывало жары, визга мониторилки. Кого-то он там сдул, прокашлялся. Надо ли говорить — больше никаких проблем не было. Добежавшие до стойки с тепловизором наперевес инженеры, естественно, ничего не нашли, мол, отлично всё.

Так и живём. Что это было — так и не выяснили. «Я устала, я капризничаю», восстание машин и т. п.

Подрабатываю приходящим админом в маленькой, но очень гордой фирмочке. В числе прочих её достоинств — предоставление интернета арендаторам, что в свою очередь даёт работу и мне: протянуть кабель, добавить пользователя в UserGate, прописать на клиенте прокси и, собственно, выдать статистику.

Обычно клиенты попадаются непритязательные, и всё заканчивается быстро. Но вот осчастливил нас региональный банк своим представительством. Сразу выдали листок с перечнем ресурсов, куда и как надо ходить с установленной точки. Всё бы ничего, пожелания были воплощены в правила, дело посчиталось сделанным, но… ничего не работало! То есть интернет был, а банковские ресурсы не виделись. Загадка, блин!

Приехал представитель банка, и мы уже вдвоём начали ломать головы. Причём осложняло весь процесс расположение кабинетов — клиенты обитали на третьем этаже, а серверная — на втором. Приходилось носиться туда-сюда (вечер, охота домой) почти бегом, пока голова была забита правилами, NAT’ами, назначениями портов и мануалом, в котором эта же ситуация расписана как самая заурядная. Час забегов по кабинетам и лестницам результатов не дал.

Закрались смутные сомнения в собственной компетенции и способности мыслить адекватно. Клиенты, ожидающие, когда ж, наконец, можно будет работать, стали откровенно хмуро поглядывать и на меня, и на представителя банка. Идеи кончились, осталась одна спасительная мысль: наверняка всё дело в какой-то незамеченной мелочи. Я начал внимательно вглядываться в комп клиентов, изучая все значки запущенных программ. Внимание привлёк значок, уж очень похожий на «кирпич». Открываю его — так и есть. Суровые правила банковской дисциплины или неловкое движение банкира — неважно, но свеженький Outpost со значками непривычного моему глазу дизайна был выставлен на «Блокировать всё».

После разблокировки всё заработало, как положено. Воистину — жизнь состоит из мелочей!

В своей работе всё чаще вижу людей, предпочитающих технику одной известной компании. Они просто открывают крышку ноутбука и делают то, что им нужно: пишут, читают, рисуют в графическом редакторе, а при желании сделанное отправляется по почте другому человеку или выкладывается куда-нибудь на сайт.

Они не парятся с дефрагментацией, драйверами, вирусами, антивирусами, доменами, политиками, утилитами и прочим подобным.

Возможно, система их в чём-то ограничивает, вот только им оно и без ограничений не нужно было.

Желающие «поковыряться с системой» тоже не в обиде: у них есть другие программы, которые, с одной стороны, сильно напоминают в последнее время ту самую компанию как простотой установки, так и логикой использования, а с другой стороны — всегда оставляют возможность залезть внутрь как угодно глубоко, вплоть до ассемблерного кода железоспецифичных драйверов. Те самые «рога альтернативы», где можно перепрыгивать с рога на рог.

А вот то, что в середине — когда-то такое расположение принесло потрясающий успех, но сейчас выходит так, что в середине ни то ни сё: недостаточно красиво для любителей «просто пользоваться» и недостаточно ковырябельно для любителей покопаться.

Времена изменились?

Люди, приравнивающие линукс к одному конкретному напитку, подразумевающим один-единственный сорт оного для народа, явно не пили ничего крепче кефира.

Линукс — самое настоящее пиво.

Изобретено в попытке получить «воду, которую можно вскипятить дома, а выпить в походе».

Философия та же — быстро можно придумать альтернативу чему-то тупиковому: добавляемые для ускорения опьянения грюйт и вереск, если запретят, спокойно меняются на ныне незыблемый хмель, сам по себе являющийся седативом.

И таки да, порождает быдлокодеров… в стане любителей подработки (пиво, сваренное в первый раз по чьему-то рецепту, может без нормального рва и впитать в себя шумы — ой, землю).

Оно можеть быть каким угодно: тут и стандартные 4,7 градусов, и безалкогольное «КонСоль», и крепкое 8,5, и стаут под винные 11 градусов (которое даже называется W.I.N.E.).

Но что самое важное, пиво — напиток одного лица, но разного набора составляющих. Тот же квас, по своей сути — продолжение идеи «пива как напитка без инфекций», только крепость уже 1,2 градуса, даже можно давать детям. А если вы оказались в тёмной сети (ой, глуши бамбукового леса), пиво можно сварить даже из листьев и цветов, лишь бы был справочник по ботанике, топор/колун/мачете/фальшион/фламберг etc.

Быдлоботаник (ну и слово) справится и даже сможет менять пиво на рис и обменять бамбуковый шалаш на домик с картинки.

А Windows — это ещё не водка. Вкратце: перегонку не изобрели, ИИ в ОС пока нет. «Форточки» — это самое настоящее шампанское. Всё началось с 16-градусного вина в бутылках для 8-градусного за ту же цену 8-градусного. Потом выяснилось, что половина уцелевших бутылок идеальны: они вкуснее чего бы то ни было. А потом провинция Шампань (ой, Редмонд) стала поставлять все виды шампанского: игристые, сухие, сладкие. Бывает, правда, что в погоне за дизайном новые бутылки лопаются, как во времена начала своего пути. Или партия сварилась сивушная: дегустатор сказал: «Не успеем менять, сойдёт», и так пошла в свет партия 1695-го, которой травились до 1698-го.

А ещё мастера игристых вин стремятся к совершенству: меняют пробку, оборачивают её проволокой, подбирают другую форму и толщину бутылки. В 1706-м сделали, например, «стекло стеклянное», а оно от любой кочки стало трескаться. А его тут же начали оборачивать чем придётся: мешковиной, холстом, бумагой, всем вместе.

А бывает, старые бутылки перестают выдувать, да и шампанское новых сортов занимает все ресурсы, что заставляет задуматься, не перестать ли варить старый сорт. А иногда и клеймо на бутылки начнут ставить. У кого бутылка в городе попалась без клейма — клеймо на руку поставят, чтобы неповадно было: налог платит провинция солидный, ей порочащие репутацию любители напихать в шампанское бумажного конфетти «Випиа» или «Влитте» не нужны!

Вместо эпилога. Стакан портвейна — это для фрау, которая Берклийская С. Д. Как-то мы её забыли. Она подаёт свой портвейн, забулдыги любят у неё засидеться, юнкеры называют за глаза её старой чертовкой, но всегда известно, что в её баре пить — это искусство.