Древнее золото, говоришь?

А у меня сразу возник вопрос. Если обработка XML требовала затянуть в память все, и там разбирать («проблема была в сильной связанности») — то почему загрузка в CSV этого же не требовала?

Видимо, связность была не такая уж сильная. А для парсинга использовался не потоковый парсер, а пример с третьей страницы учебника.

Я вот совсем недавно исправлял проблему — нельзя было загружать XML'и больше определенного размера. Памяти не хватало. Оказалось, там парсер грузит всю структуру в память целиком и только потом обрабатывает. Заменил на потоковый. Потребление памяти константное, скорость работы возросла.

А обмен через файлы — это большая коллекция граблей с автоподзаводом. Возможно, уже пришла пора открыть для себя что-нибудь более новое?

Работаю в дизайнерской фирме админом. Имеется парк довольно приличных компьютеров и древний широкоформатный плоттер. Плоттер печатает цвета не совсем точно и довольно темно. Дизайнеры на него жалуются постоянно. Уже сколько раз его калибровали — все без толку. Со временем все как-то смирились.

И вот пришел я к рабочей станции одного сотрудника поделать кое-какие дела. Загружаюсь, и выпадаю в осадок. Все цвета на экране набекрень, даже родную офисную заставку не узнал, яркость очень низкая и белые поля в окнах явно отдают желтым.

Первый импульс, разумеется, посмотреть настройки на мониторе. Весь монитор был обклеен напоминалками по периметру. Найдя, угол, в котором, по идее, должна быть панель настроек, я нашел записку, приклеенную поперек всех кнопок.

«ЦВЕТА НА ТРОГАТЬ!!! Они как на говноплоттере!»

Кажется, пора с начальство по поводу нового плоттера поговорить…

Раньше у меня не было чёткой точки зрения в холиварах «проприетарное ПО vs. открытое ПО». А сейчас — есть.

У нас на работе, к IT отношения не имеющей ни грамма, достаточно суровые правила информационной безопасности — ибо работаем с приборами ценой в столичную квартиру. Настройки сети — не подкопаешься, домен, разграничение прав, закрытые USB, лицензионный софт. А где лицензий не хватило — бесплатный. О нём речь и пойдёт.

Итак, на моей машине стоит открытый офисный пакет имени индейцев. Год сборки — 2014. На первый взгляд всё нормально. Документы открывает, править можно, сохранять тоже. Интерфейс — один в один, как у очень популярного пакета 2003 года выпуска. А вот удобство работы под большим вопросом.

При попытке сохранить в формат, отличный от .odf, начинается паника — «Вы уверены? Вы точно этого хотите?». Нет, что вы — я совершенно случайно сменил тип документа!

Проверка правописания не работает, невзирая на то, что всё вроде бы включено. Не смертельно, конечно, но неприятно — с моим стилем набора опечатки случаются чаще, чем хотелось бы. А потом объясняйся, что за «уважаемый диаректор» в деловой переписке.

Картинки живут своей жизнью. Скриншоты, вставленные в документ (разумеется, каждый в отдельном абзаце), то скромненько становятся слева, то гордо скачут по всей странице. От чего зависит комплекс настроек у каждого свежесделанного скриншота, я за две недели подготовки инструкции понять так и не смог.

Кстати о картинках. В качестве фона для ряда бланков стоит изображение. И если ты случайно щёлкнул где-то мимо текста, фокус переходит на фон и убрать его оттуда можно только через Ctrl+Z. С потерей недавно набранного текста, разумеется.

Выделение мышкой работает в зависимости от третьей чакры и созвездия Стрельца. И дело не в мышке — специально для эксперимента притащил личного зверька из дому.

Общая скорость работы. Двухстраничный документ сохраняется всего лишь пару секунд, конвертация в .pdf занимает секунд пять. Угу. На новеньком мультимедийном ноутбуке.

Сторонники открытого программного обеспечения! Я восхищён вашей верностью идее и желанием освободить неразумных от гнёта копирайта, но не могу понять одного: как, чёрт возьми, вы ухитряетесь получать удовольствие от пользования таким софтом?!

Однажды я писал утилиту для анализа большого объёма сильно связанных данных на XML + C# — заказчик хотел модные (в 2007 году) технологии. Ничего сложного — XML-документ загружался в память, последовательно обрабатывался, результаты складывались в базу. Проблема была в сильной связанности — при обработке почти каждого узла приходилось подгружать целые секции из разных концов этого же документа.

Когда соотношение объёма входных данных и объёма ОЗУ машины пересекло критическую отметку, программа сошла с ума. Показатель Time in GC достиг значения 98%, а значит, программа не работала, вместо этого среда выполнения занималась очисткой и дефрагментацией памяти. Проведённое расследование показало — при нехватки памяти и попытке подгрузить дополнительные данные для обработки текущего узла ОС скидывала обрабатываемые данные в своп, а затем доставала их обратно. И сборщик мусора работал над свопом, что в тысячи раз медленнее работы с ОЗУ.

Решением был файловый ввод-вывод. Я переписал программу, используя свой велосипедный страничный ввод-вывод и формат CSV вместо громоздкого XML. После этого она могла обрабатывать любой объём данных, независимо от ограничений ОЗУ машины, с постоянной скоростью, не отвлекаясь на дефрагментацию своп-файла и вообще его не используя.

К чему я всё это. Файловый обмен — замечательная вещь, и мало форматов лучше, чем CSV. Он легко читается машиной и человеком, его поддерживают большинство программ — от офисных до научных пакетов. Используя магию bash, его можно бить на части (подзадачи для вычислительной фермы, например) или объединять (результаты вычислений), записывать в сеть, в устройства, в другие процессы, выложить в облачное хранилище или отправить по email, перезапросить в случае отказа сети, создать резервную копию, принять и обработать тысячей и одним способом.

Если технология существует давно, это не значит, что она плохая. Это значит, что она уже пережила пару поколений желающих использовать только новейшие технологии. Они ушли или перегорели, а технология осталась.

Подходит зять и спрашивает, как ему получить NAT второго уровня на бытовом роутере! Я, премного офигевший, спрашиваю, зачем ему, спортивному тренеру и по образованию, и по профессии, потребовалось рулить сетью на канальном уровне? Мне, админу, ещё ни разу не требовался столь низкий уровень управления, да и не понадобится, я думаю.

На что он отвечает, что его игровая, блин, приставка (PlayStation 4, если не ошибаюсь) требует NAT второго уровня! Долго не въезжаю, чего же эта тупая железка хочет — лезу разбираться, роюсь в интернете… Оказывается, Sony придумала свою собственную классификацию уровней NAT и никому об этом не сказала!

Мне одно интересно, почему только NAT? Скажите им, кто-нибудь, что в коммуникациях ещё много чего можно переименовать и переклассифицировать! Пусть работают! Придурки, блин.

Наткнулся сегодня на историю «Аутсорсинг грязной работы»:

Ещё на втором курсе мы писали прогу управления LPT-портом на Паскале. Суть была простой: на определённые пины подавать пять вольт. Но как её запустить на маке? На виндовую тачку ставим прогу, к LPT цепляем реле, через реле пускаем питание вайфай-точки. Создаём bat-файл, «слушающий» текстовик в расшаренной папке. На маке пишем командный файл для консоли, который записывает в текстовик строку «wifi-off». Когда виндокомп, сработав, отключает точку, командник на маке реагирует на «wifi-off-ok» в файле и выплёвывает окошко: «Wi-Fi погашен».

Так вот. Часть 1С-ников таким же образом реализуют обмен между системами, c учётом того, что 1С поддерживает все современные протоколы обмена. Этот вывод я сделал из недавнего опыта.

Понадобилось мне как-то связать 1С и Asterisk. Суть связки проста: из 1С берём список компаний с номерами телефонов и передаём его на сервер Asterisk по HTTP. А Asterisk, в свою очередь, сохранив этот список в базе, в будущем при входящем звонке показывает менеджеру на экране телефона, что ему звонит не какой-то там номер, а, например, компания «Рога и Копыта».

Обратился я с просьбой к знакомому 1С-нику, который, как я считал, разбирался в предмете. Он, выслушав мои хотелки, сказал, что по HTTP 1С не умеет и вообще нужно список сохранять ручками в файл excel/csv на сетевую шару, а Asterisk пускай мониторит эту шару на предмет наличия файла и при появлении затягивает его в базу. И попросил за это 100500 денег.

Опечаленный, но не сдавшийся, я вечерком сел за комп, скачал 1С и демо базу с данными и, не имея никаких знаний по языку 1С, начал пробовать силы. Итог: 3 часа плюс Гугл, и готово решение, которое делает то, чего хотелось — обмен на автомате и по HTTP.

В итоге все этой истории я сильно усомнился в квалификации знакомого и оправданности стоимости услуг подобных людей.

P.S. Рассказал знакомому о правильном решении моей проблемы, а он отмазывается: «Ну, 10 лет назад файловый обмен работал и сейчас работает…»

Прочитав историю про самое слабое звено, я внезапно узнал себя. Не конкретного человека с ФИО и паспортом, а технического специалиста с техническим же взглядом на вещи, дальше технологий до поры до времени не простиравшегося.

Дядя идиот, потому что не пользуется антивирусом? Возможно.

Дядя идиот, потому что в банке отказался от аутентификации через SMS на телефон? Возможно.

А теперь важный вопрос: откуда у такого идиота может взяться 25 миллионов рублей? Один-два понятно, но не 25.

И тут я вспомнил известную в нашем городе историю с ограблением автосалона. На новогодних праздниках фирма продала несколько десятков выставленных на комиссию автомобилей, не успела ни передать деньги хозяевам, ни сдать в банк — как их ограбили. Тоже на пару десятков миллионов. Правда, хвала сотрудникам полиции — учредителей фирмы поймали. С наличкой и даже парой якобы проданных автомобилей.

Так что я уверен на 99% — деньги у «незадачливого» дядечки пропали со счёта, но не из кармана. И даже крайние нашлись: одни плохой ноутбук продали, другие вероломно воспользовались, а сам дядя белый и перед партнёрами/государством ваще не виноват.

Коллеги, не все проблемы человечества лежат в технической плоскости. Когда начальник-идиот просит сделать прибор в Большом Железном Корпусе, не стоит настаивать на компактном пластиковом варианте. Он на самом деле не идиот: он своих заказчиков знает и понимает, что условный Сергей Петрович скорее заплатит N тысяч рублей за Большую Железку, чем в два раза меньше за удобную пластиковую коробку с той же функциональностью.

Когда мы проектируем светодиодные светильники, перед коллегами-конкурентами мы можем заниматься сравнительной фаллометрией на тему эффективности, показаний фотоколориметра, интересности вторичной оптики и применения твердотельных конденсаторов. На практике же ни один из конечных потребителей продукции не осознал цепочку от ватта электрической энергии, пришедшей в светильник, до величины освещённости в нужной точке пространства. Чтобы не вникать в тонкости, они придумали тянущий на Нобелевку термин «светодиодный ватт» и пользуются им. Для этих ребят прибор, дающий 12000 Лм света при 100 Вт потребления, выглядит менее привлекательно, чем прибор, дающий 10000 Лм при 120 Вт. Потому что у второго светодиодных ватт больше.

Все эти «восемь ядер шестнадцать гигов» на дохлом чипсете, «инструменты 36-в-1» из консервных банок и прочее имеют в основе невежество конечного потребителя. Вы можете просветить своего начальника, его начальника и при большой удаче даже весь отдел продаж разом — но дальше ваш заряд мудрости не пройдёт. Конечный заказчик от терминов устанет, не будет разбираться и купит у конкурентов нужное ему количество светодиодных ватт. Или «ваттов», если в школу не ходил.

Поэтому давайте иногда подниматься над техническим уровнем проблемы и видеть ситуацию целиком — нам ведь надо кормить свои семьи. Деньгами заказчиков, разумеется. А девелоперские дела будем обсуждать тесным кругом, среди своих, под настроение. У нас тут закрытая вечеринка: интеллект-код и майнд-контроль, неподготовленным душам нечего делать. Наслушаются ещё разных глупостей, а потом не смогут план по продаже гигов с ядрами выполнить.

Думаю, тут есть не только айтишники, но и такие, как я — с уровнем «выше продвинутого пользователя», но не работающий в айти. Поведаю вам одну историю про то, как вредно сначала делать, а потом думать.

Купил я недавно большой монитор на замену старому 5:4, и приспичило мне поиграться в автосимулятор про грузовики. На ютубе я встречал видео, на которых играют с несколькими мониторами. Естественно, я загорелся желанием повторить примерно то же. Извлёк из шкафа второй квадратный монитор, расположил все три на столе, проверил количество разъёмов на видеоплате — три штуки, mini-HDMI, DVI-D, VGA. И тут-то и выяснилось, что не всё так просто…

В комплекте к новому монитору был только VGA-кабель. Переходник с DVI на VGA, как я выяснил у Гугла, является аналогово-цифровым и к моей видеокарте не подойдёт. В наличии 3 монитора с VGA подключением. Что делать?

На следующий день я купил кабель mini-HDMI, а также выяснил, что переходник с DVI-D на VGA мне никто не родит, так как их якобы не существует. Я успел огорчиться, но Гугл опять помог мне: существуют переходники с преобразователем цифрового сигнала в аналоговый. Не вопрос, поехал — купил. Всё работает, но тут возник очередной вопрос: как вывести изображение из игры на все три монитора, да ещё так, чтобы всё отображалось, как мне надо?

И Гугл снова помог — не получится сделать то, что мне нужно, без SLI (технология Nvidia Surround, необходимая для вывода разного изображения на мониторы в одном 3D-приложении, работает, как я понял, только с ним). Огорчение, но мы не сдаёмся! Гуглим дальше. Решение было настолько простым, что даже смешно: установка одной маленькой программы и подмена одной DLL-ки, после чего все мониторы объединяются в один суперширокий, а в конфигурации игры появляется новое разрешение, равное суммарной ширине трёх мониторов, что, собственно, и решает поставленную изначально задачу — увеличение угла обзора.

За эти дни я узнал много интересного, получил некоторые новые навыки и ещё на шаг отдалился от звания тупого юзверя.

Мораль для неспециалистов: прежде чем модифицировать свой ПК, узнавайте все нюансы, это может обойтись дороже ожидаемого. А если что-то не получается, не бойтесь гуглить, и тогда, возможно, одним юзверем станет меньше.

А я завтра пойду на собеседование на помощника сисадмина, достало быть гуманитарием.

Расскажу вам ещё одну историю про вежливые железки

Они настолько вежливы, что своей встроенной управляющей платой умеют следить за состоянием сервера. Если воткнуты фирменные утилиты — то ещё много за чем, например, за местом на диске. Умницы какие. Но иногда капризничают, прямо как дети.

Предыстория. Так получилось, что в паре устройств нельзя было развернуть поток горячего воздуха, пришлось дуть прямо в холодный коридор. Как назло — места в стойке в обрез, пришлось прямо под пару таких горячих американских парней поставить пару серверов. Горячим воздухом им задувало прямо во входные дырки, нагревали воздух до 40 градусов, управлялки исправно ругались, но что делать? Как-то жили. Рано или поздно всему приходит конец, и управлялки по достижении пороговой температуры стали перегружать этих два сервера прямо посреди дня… В общем, выкрутились, воткнули дополнительные вентиляторы, трубами, гнутыми листами отвели поток горячего воздуха и вздохнули спокойно. Ровно на полгода.

Наступила осень. Температура воздуха упала, все стали забывать уже, что такое было. И тут бац — перегрузился сервер. Ну, думаю, остановились вентиляторы, трубы забились, младшие админчики чё-то сдвинули, будем смотреть. Да нет, те два, которые летом перезагружались — вполне себя сносно чувствуют, температура на входе далека от предельной, жить можно. Начал перегружаться сервер в соседней, полупустой стойке, сверху и снизу от которого места — завались! Мало того, серверам снизу и сверху — даже холодно! Смотрим температуру, да, высоко, два градуса вверх и перегрузимся, но терпим. Только отвернулся — бац, опять в перезагрузку.

Ну, делать нечего, пишем в саппорт, мол, подойдите, посмотрите, что там, никто телогрейку на стойку не повесил (бывали, знаете ли, случаи)? Сервер перегружается ещё раз. Лезем ещё раз смотреть, а сколько теперь-то? Увиденное повергло в шок — 25 градусов на входе. Как не бывало жары, визга мониторилки. Кого-то он там сдул, прокашлялся. Надо ли говорить — больше никаких проблем не было. Добежавшие до стойки с тепловизором наперевес инженеры, естественно, ничего не нашли, мол, отлично всё.

Так и живём. Что это было — так и не выяснили. «Я устала, я капризничаю», восстание машин и т. п.

Подрабатываю приходящим админом в маленькой, но очень гордой фирмочке. В числе прочих её достоинств — предоставление интернета арендаторам, что в свою очередь даёт работу и мне: протянуть кабель, добавить пользователя в UserGate, прописать на клиенте прокси и, собственно, выдать статистику.

Обычно клиенты попадаются непритязательные, и всё заканчивается быстро. Но вот осчастливил нас региональный банк своим представительством. Сразу выдали листок с перечнем ресурсов, куда и как надо ходить с установленной точки. Всё бы ничего, пожелания были воплощены в правила, дело посчиталось сделанным, но… ничего не работало! То есть интернет был, а банковские ресурсы не виделись. Загадка, блин!

Приехал представитель банка, и мы уже вдвоём начали ломать головы. Причём осложняло весь процесс расположение кабинетов — клиенты обитали на третьем этаже, а серверная — на втором. Приходилось носиться туда-сюда (вечер, охота домой) почти бегом, пока голова была забита правилами, NAT’ами, назначениями портов и мануалом, в котором эта же ситуация расписана как самая заурядная. Час забегов по кабинетам и лестницам результатов не дал.

Закрались смутные сомнения в собственной компетенции и способности мыслить адекватно. Клиенты, ожидающие, когда ж, наконец, можно будет работать, стали откровенно хмуро поглядывать и на меня, и на представителя банка. Идеи кончились, осталась одна спасительная мысль: наверняка всё дело в какой-то незамеченной мелочи. Я начал внимательно вглядываться в комп клиентов, изучая все значки запущенных программ. Внимание привлёк значок, уж очень похожий на «кирпич». Открываю его — так и есть. Суровые правила банковской дисциплины или неловкое движение банкира — неважно, но свеженький Outpost со значками непривычного моему глазу дизайна был выставлен на «Блокировать всё».

После разблокировки всё заработало, как положено. Воистину — жизнь состоит из мелочей!