<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Корчагин Станислав</title>
	<atom:link href="http://korchasa.ru/index.php/feed/" rel="self" type="application/rss+xml" />
	<link>http://korchasa.ru</link>
	<description>Разработка, тестирование, запуск</description>
	<lastBuildDate>Mon, 15 Feb 2010 14:34:33 +0000</lastBuildDate>
	<generator>http://wordpress.org/?v=2.8.5</generator>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
			<item>
		<title>Bulk update в MySQL</title>
		<link>http://korchasa.ru/index.php/2009/11/bulk-update-%d0%b2-mysql/</link>
		<comments>http://korchasa.ru/index.php/2009/11/bulk-update-%d0%b2-mysql/#comments</comments>
		<pubDate>Sun, 01 Nov 2009 02:28:57 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Мелочи]]></category>
		<category><![CDATA[базы данных]]></category>
		<category><![CDATA[производительность]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=251</guid>
		<description><![CDATA[Ревизия #2
В порыве пятничного отлынивания от работы, совместно с коллегой, родили нечто.
Нечто позволяет одним запросом обновлять неограниченное количество записей. Причем разные столбцы, на разные данные, в зависимости от уникального ключа.
Нечто имеет следующие недостатки:

требует уникального ключа
если строки с подходящим ключом нет, то она добавится
для построения требует знаний о типах полей таблицы
мускл на него ругается ворнингами
NULL таким [...]]]></description>
			<content:encoded><![CDATA[<p><span style="color: #c0c0c0;">Ревизия #2</span></p>
<p>В порыве пятничного отлынивания от работы, совместно с <a href="http://didyk.moikrug.ru/" target="_self">коллегой</a>, родили нечто.</p>
<p>Нечто позволяет одним запросом обновлять неограниченное количество записей. Причем разные столбцы, на разные данные, в зависимости от уникального ключа.</p>
<p>Нечто имеет следующие недостатки:</p>
<ul>
<li>требует уникального ключа</li>
<li>если строки с подходящим ключом нет, то она добавится</li>
<li>для построения требует знаний о типах полей таблицы</li>
<li>мускл на него ругается ворнингами</li>
<li>NULL таким образом вставить невозможно</li>
</ul>
<p><span id="more-251"></span></p>
<p>SQL:</p>
<pre><code class="SQL">CREATE TABLE  `bulk_update` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `int` int(11) NOT NULL DEFAULT '7',
  `str` varchar(5) NOT NULL DEFAULT 'def',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

INSERT INTO `bulk_update` (`id`, `int`, `str`)
  VALUES (1, 1, 'a'), (2, 2, 'b'), (3, 3, 'c');

INSERT INTO `bulk_update` (`id`, `int`, `str`)
  VALUES (1, 22, null), (2, null, 'bb')
  ON DUPLICATE KEY UPDATE
    `int` = IFNULL(NULLIF(VALUES(`int`), 0), `int`),
    `str` = IFNULL(NULLIF(VALUES(`str`), ''), `str`);

SELECT * FROM bulk_update;
+----+-----+-----+
| id |   int | str |
+----+-----+-----+
|  1 |   22 | a   |
|  2 |   2  | bb  |
|  3 |   3  | c   |
+----+-----+-----+</code></pre>
<p>Тесты скорости показали следующие результаты:</p>
<table border="0">
<tbody>
<tr>
<th>Обновляемых записей</th>
<th>По одному (qps)</th>
<th>Кучкой (qps)</th>
</tr>
<tr>
<td>10</td>
<td>2296</td>
<td>3620</td>
</tr>
<tr>
<td>100</td>
<td>3480</td>
<td>11097</td>
</tr>
<tr>
<td>1000</td>
<td>3959</td>
<td>18804</td>
</tr>
</tbody>
</table>
<p>Во время теста параллельно пускались три скрипта, делающие разнообразные селекты к таблице.</p>
<p>Тест, как всегда, <a href="http://korchasa.googlepages.com/multiple_updates.php">прилагается</a>.</p>
<p>В общем штука получилась интересная, но какая-то костылеподобная.</p>
<p>UPD: Теперь работает и для столбцов с NOT NULL и без оного.</p>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2009/11/bulk-update-%d0%b2-mysql/feed/</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Презентация от старого доклада о кэшировании</title>
		<link>http://korchasa.ru/index.php/2009/05/%d0%bf%d1%80%d0%b5%d0%b7%d0%b5%d0%bd%d1%82%d0%b0%d1%86%d0%b8%d1%8f-%d0%be%d1%82-%d1%81%d1%82%d0%b0%d1%80%d0%be%d0%b3%d0%be-%d0%b4%d0%be%d0%ba%d0%bb%d0%b0%d0%b4%d0%b0-%d0%be-%d0%ba%d1%8d%d1%88%d0%b8/</link>
		<comments>http://korchasa.ru/index.php/2009/05/%d0%bf%d1%80%d0%b5%d0%b7%d0%b5%d0%bd%d1%82%d0%b0%d1%86%d0%b8%d1%8f-%d0%be%d1%82-%d1%81%d1%82%d0%b0%d1%80%d0%be%d0%b3%d0%be-%d0%b4%d0%be%d0%ba%d0%bb%d0%b0%d0%b4%d0%b0-%d0%be-%d0%ba%d1%8d%d1%88%d0%b8/#comments</comments>
		<pubDate>Sat, 16 May 2009 22:09:35 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Без рубрики]]></category>
		<category><![CDATA[кэширование]]></category>
		<category><![CDATA[производительность]]></category>
		<category><![CDATA[разработка]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=249</guid>
		<description><![CDATA[Видео со скончавшегося secon&#8217;а видимо не будет никогда, поэтому выкладываю только презентацию.
Cache in web (Secon 2008)

]]></description>
			<content:encoded><![CDATA[<p>Видео со скончавшегося <a href="http://www.secon.ru/">secon&#8217;а</a> видимо не будет никогда, поэтому выкладываю только презентацию.</p>
<div id="__ss_988908" style="width: 425px; text-align: left;"><a style="font:14px Helvetica,Arial,Sans-serif;display:block;margin:12px 0 3px 0;text-decoration:underline;" title="Cache in web (Secon 2008)" href="http://www.slideshare.net/korchasa/cache-in-web-secon-2008?type=presentation">Cache in web (Secon 2008)</a><object width="425" height="355" data="http://static.slidesharecdn.com/swf/ssplayer2.swf?doc=my-1233767974539817-1&amp;stripped_title=cache-in-web-secon-2008" type="application/x-shockwave-flash"><param name="allowFullScreen" value="true" /><param name="allowScriptAccess" value="always" /><param name="src" value="http://static.slidesharecdn.com/swf/ssplayer2.swf?doc=my-1233767974539817-1&amp;stripped_title=cache-in-web-secon-2008" /><param name="allowfullscreen" value="true" /></object></div>
<p><img src="http://bs.yandex.ru/resource/spacer.gif?sign=25368431.4908262.1244038590.04e67eb813a8ee36e21abadd633caff9" width="1" height="1" /></p>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2009/05/%d0%bf%d1%80%d0%b5%d0%b7%d0%b5%d0%bd%d1%82%d0%b0%d1%86%d0%b8%d1%8f-%d0%be%d1%82-%d1%81%d1%82%d0%b0%d1%80%d0%be%d0%b3%d0%be-%d0%b4%d0%be%d0%ba%d0%bb%d0%b0%d0%b4%d0%b0-%d0%be-%d0%ba%d1%8d%d1%88%d0%b8/feed/</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
		<item>
		<title>Денормализация связей многие-ко-многим, через битовые маски</title>
		<link>http://korchasa.ru/index.php/2009/05/%d0%b4%d0%b5%d0%bd%d0%be%d1%80%d0%bc%d0%b0%d0%bb%d0%b8%d0%b7%d0%b0%d1%86%d0%b8%d1%8f-%d1%81%d0%b2%d1%8f%d0%b7%d0%b5%d0%b9-%d0%bc%d0%bd%d0%be%d0%b3%d0%b8%d0%b5-%d0%ba%d0%be-%d0%bc%d0%bd%d0%be%d0%b3/</link>
		<comments>http://korchasa.ru/index.php/2009/05/%d0%b4%d0%b5%d0%bd%d0%be%d1%80%d0%bc%d0%b0%d0%bb%d0%b8%d0%b7%d0%b0%d1%86%d0%b8%d1%8f-%d1%81%d0%b2%d1%8f%d0%b7%d0%b5%d0%b9-%d0%bc%d0%bd%d0%be%d0%b3%d0%b8%d0%b5-%d0%ba%d0%be-%d0%bc%d0%bd%d0%be%d0%b3/#comments</comments>
		<pubDate>Mon, 04 May 2009 02:28:02 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Без рубрики]]></category>
		<category><![CDATA[базы данных]]></category>
		<category><![CDATA[Добавить метку]]></category>
		<category><![CDATA[производительность]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=240</guid>
		<description><![CDATA[Ситуация довольно банальная: есть, например, статьи и тэги, связанные многие-ко-многим, и необходимо быстро находить статьи с определенным тэгом или несколькими тэгами.]]></description>
			<content:encoded><![CDATA[<p>Ситуация довольно банальная: есть статьи и тэги, связанные многие-ко-многим, и необходимо быстро находить статьи с определенным тэгом или несколькими тэгами. Необходимо обойтись без JOIN и одним простым запросом.</p>
<p>В mysql есть <a href="http://dev.mysql.com/tech-resources/articles/mysql-set-datatype.html">тип данных set</a>, который вполне для этого подходит. Но можно и ручками</p>
<p>Посмотрим взлетит оно или нет:</p>
<pre lang="mysql">CREATE TABLE  `tests`.`article` (
  `id` int(10) unsigned NOT NULL auto_increment,
  `mask` int(10) unsigned default NULL,
  `cset` set('1','2','3','4','5','6','7','8','9','10','11','12','13','14','15','16','17','18','19','20') default NULL,
  PRIMARY KEY  (`id`),
  KEY `mask` (`mask`),
  KEY `cset` (`cset`)
) ENGINE=InnoDB;</pre>
<p>Добавление записей:</p>
<pre lang="mysql">INSERT INTO article VALUES(NULL, 3, '1,2');</pre>
<p>Выбор по одному тэгу:</p>
<pre lang="mysql">select count(*) from article where mask & 1; //помеченные тэгом #1
select count(*) from article where cset & 1;</pre>
<p>Выбор по нескольким тэгам &#8211; объединение:</p>
<pre lang="mysql">select count(*) from article where mask & 3; //помеченные тэгом #1 ИЛИ #2
select count(*) from article where cset & 3;</pre>
<p>Выбор по нескольким тэгам  &#8211; пересечение:</p>
<pre lang="mysql">select count(*) from article where mask &#038; 1 AND mask & 2; //помеченные и  тэгом #1 И тэгом #2
select count(*) from article where cset &#038; 1 AND cset & 2;</pre>
<p>По скорости варианты равноценны, и на табличке с 500К записей (20 разных тэгов, по 1-20 тэгов на статью) все запросы обрабатывались за, примерно, 0.3 секунды, на средненькой домашней машинке.</p>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2009/05/%d0%b4%d0%b5%d0%bd%d0%be%d1%80%d0%bc%d0%b0%d0%bb%d0%b8%d0%b7%d0%b0%d1%86%d0%b8%d1%8f-%d1%81%d0%b2%d1%8f%d0%b7%d0%b5%d0%b9-%d0%bc%d0%bd%d0%be%d0%b3%d0%b8%d0%b5-%d0%ba%d0%be-%d0%bc%d0%bd%d0%be%d0%b3/feed/</wfw:commentRss>
		<slash:comments>2</slash:comments>
		</item>
		<item>
		<title>Как сократить количество правил в ACL (Access Control List)?</title>
		<link>http://korchasa.ru/index.php/2009/02/acl-access-control-list/</link>
		<comments>http://korchasa.ru/index.php/2009/02/acl-access-control-list/#comments</comments>
		<pubDate>Wed, 18 Feb 2009 21:55:44 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Статьи]]></category>
		<category><![CDATA[limb]]></category>
		<category><![CDATA[php]]></category>
		<category><![CDATA[разработка]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=208</guid>
		<description><![CDATA[Главная проблема ACL &#8211; ее размер
Из этой проблемы формируются две гадости: во-первых правила долго писать, во-вторых по ним искать сложно. Попробуем пойти нестандартным путем и решить проблему, сделав роли более селективными.

Стандартные способы борьбы
Для уменьшения количества правил, обычно применяют наследование ролей и ресурсов, а так же множественные роли на один инстанс объекта. В итоге имеем дерево, [...]]]></description>
			<content:encoded><![CDATA[<h3>Главная проблема ACL &#8211; ее размер</h3>
<p>Из этой проблемы формируются две гадости: во-первых правила долго писать, во-вторых по ним искать сложно. Попробуем пойти нестандартным путем и решить проблему, сделав роли более селективными.<br />
<span id="more-208"></span></p>
<h3>Стандартные способы борьбы</h3>
<p>Для уменьшения количества правил, обычно применяют наследование ролей и ресурсов, а так же множественные роли на один инстанс объекта. В итоге имеем дерево, нелинейный алгоритм, и количество проходов по нему отличное от нуля <img src='http://korchasa.ru/wp-includes/images/smilies/icon_sad.gif' alt=':(' class='wp-smiley' /> </p>
<p>Обратная сторона &#8211; использование масок доступа. Проверка по маске это быстро, но маска не бесконечная. А как же &#8220;показывать только друзьям&#8221;?</p>
<p>В общем надо решать как-то иначе.</p>
<h3>Как же?</h3>
<p>Кто лучше всех знает кем для статьи является конкретный пользователь?</p>
<p>Правильно, сама статья.</p>
<p>На практике оказывается, что информация, которая необходима для определения роли конкретного объекта, в рамках конкретного субъекта, лежит либо в самом субъекте, либо &#8220;близко&#8221; к нему. Так пусть он и определяет, кто в данный момент перед ним.</p>
<p>В <a href="http://wiki.limb-project.com/">LIMB&#8217;е</a> это выглядит так:</p>
<pre lang="php">class Article implements lmbRolesResolverInterface, lmbResourceProviderInterface
{
  function getRoleFor(Member $member)
  {
    if($this->getOwnerId() === $member->getId())
      return 'owner';
    if($this->getCategory()->getModeratorId() === $member->getId())
      return 'moderator';
  }

  function getResource()
  {
    return 'article';
  }
}

class Member implements lmbRoleProviderInterface
{
  function getRole()
  {
    return 'member';
  }
}

//простой пользователь сайта
$this->acl->addRole('member');

//наш контенто-писака, жаждущий кармы
$this->acl->addRole('owner', 'member');

//модер, уныло бдящий за порядком на сайте
$this->acl->addRole('moderator', 'owner');

//а я статья. Просто статья
$this->acl->addResource('article');

//простой пользователь может статью комментировать
$this->acl->allow('member', 'article', 'comment');
//автор ее редактировать
$this->acl->allow('owner', 'article', 'edit');
// модератор акцептировать
$this->acl->allow('moderator', 'article', 'accept');

/* создадим по объектику на каждую роль */
$just_member = new Member();
$just_member->save();
$owner = new Member();
$owner->save();
$moderator = new Member();
$moderator->save();

$category = new ArticleCategory();
$category->setTitle('About LIMB');
$category->setModerator($moderator);
$category->save();

$article = new Article();
$article->setCategory($category);
$article->setOwnerId($owner->getId());
$article->save();

/* проверим нашу "магию" */
var_dump($this->acl->isAllowed($member, $article, 'comment')); //bool(true)
var_dump($this->acl->isAllowed($member, $article, 'edit')); //bool(false)
var_dump($this->acl->isAllowed($member, $article, 'approve')); //bool(false)

var_dump($this->acl->isAllowed($owner, $article, 'comment')); //bool(true)
var_dump($this->acl->isAllowed($owner, $article, 'edit')); //bool(true)
var_dump($this->acl->isAllowed($owner, $article, 'approve')); //bool(false)

var_dump($this->acl->isAllowed($moderator, $article, 'comment')); //bool(true)
var_dump($this->acl->isAllowed($moderator, $article, 'edit')); //bool(false)
var_dump($this->acl->isAllowed($moderator, $article, 'accept')); //bool(true)
</pre>
<p>Данный подход впервые пришлось использовать при создании acl, для фреймворка <a href="http://adept-project.ru/">Adept</a>, а теперь <a href="http://wiki.limb-project.com/doku.php?id=limb3:ru:packages:acl#%D0%BE%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D1%80%D0%BE%D0%BB%D0%B8_%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%B0_%D0%B2_%D0%BA%D0%BE%D0%BD%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%B5_%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%B0-%D1%80%D0%B5%D1%81%D1%83%D1%80%D1%81%D0%B0">подобная штука</a> есть и в LIMB&#8217;е.</p>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2009/02/acl-access-control-list/feed/</wfw:commentRss>
		<slash:comments>4</slash:comments>
		</item>
		<item>
		<title>Лебедь, рак и щука: огранизация работы нескольких программистов на малых и средних проектах</title>
		<link>http://korchasa.ru/index.php/2008/11/%d0%bb%d0%b5%d0%b1%d0%b5%d0%b4%d1%8c-%d1%80%d0%b0%d0%ba-%d0%b8-%d1%89%d1%83%d0%ba%d0%b0-%d0%be%d0%b3%d1%80%d0%b0%d0%bd%d0%b8%d0%b7%d0%b0%d1%86%d0%b8%d1%8f-%d1%80%d0%b0%d0%b1%d0%be%d1%82%d1%8b-%d0%bd/</link>
		<comments>http://korchasa.ru/index.php/2008/11/%d0%bb%d0%b5%d0%b1%d0%b5%d0%b4%d1%8c-%d1%80%d0%b0%d0%ba-%d0%b8-%d1%89%d1%83%d0%ba%d0%b0-%d0%be%d0%b3%d1%80%d0%b0%d0%bd%d0%b8%d0%b7%d0%b0%d1%86%d0%b8%d1%8f-%d1%80%d0%b0%d0%b1%d0%be%d1%82%d1%8b-%d0%bd/#comments</comments>
		<pubDate>Fri, 21 Nov 2008 09:00:00 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Статьи]]></category>
		<category><![CDATA[базы данных]]></category>
		<category><![CDATA[разработка]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=3</guid>
		<description><![CDATA[Для начала определимся с тем, что мы делаем. Обычно наш продукт состоит из:

сервера или нескольких серверов
настроек сторонних приложений (http-сервера, СУБД, прочие хранилища данных и утилиты)
нашей схемы размещения файлов (фото, видео, и прочий хлам контент)
наших кэшей
нашей структуры БД
нашего кода
бессоных ночей

Начнем с конца, пропустив бессоные ночи.

Обычно все начинают с одного и того же&#8230;
Коммунизм
Один сервер, одна база, один [...]]]></description>
			<content:encoded><![CDATA[<p>Для начала определимся с тем, что мы делаем. Обычно наш продукт состоит из:</p>
<ul>
<li>сервера или нескольких серверов</li>
<li>настроек сторонних приложений (http-сервера, СУБД, прочие хранилища данных и утилиты)</li>
<li>нашей схемы размещения файлов (фото, видео, и прочий хлам контент)</li>
<li>наших кэшей</li>
<li>нашей структуры БД</li>
<li>нашего кода</li>
<li>бессоных ночей</li>
</ul>
<p>Начнем с конца, пропустив бессоные ночи.</p>
<p><span id="more-66"></span></p>
<p><span style="font-style: italic;">Обычно все начинают с одного и того же&#8230;</span></p>
<h3>Коммунизм</h3>
<p>Один сервер, одна база, один код. Правим по очереди или по алфавиту. Правки то и дело сопровождаются криками «Не трогайте пока User.php. Мне надо выборки поправить». Версионность кода поддерживается ежедневным архивированием папочки с кодом и дампом БД.</p>
<p><span style="font-style: italic;">И надоело им материться, и явился им <a href="http://ru.wikipedia.org/wiki/Subversion">SVN</a> (<a href="http://ru.wikipedia.org/wiki/CVS">CVS</a>, <a href="http://ru.wikipedia.org/wiki/Git">Git</a>, <a href="http://en.wikipedia.org/wiki/Bazaar_%28software%29">Bazaar</a>, нужное подчеркнуть). И поняли они, что это хорошо&#8230;</span></p>
<h3>База на то и база, чтобы одна была</h3>
<p>Стало лучше, но все равно то и дело слышаться возгласы «Ёп! Кто поле is_hidden у статьи убрал? Оно же во всех выборках! Давай коммить (новые выборки) быстрей!».</p>
<p>Призадумались ребята. Подумали, поспали, еще подумали. И поняли, что схему БД надо «привязывать» к коду, который с ней работает. Погуглили, и нашли:</p>
<ul>
<li><a href="http://www.google.com/search?q=mysql+diff">кучу утилит</a>, которые умеют делать «diff» между двумя базами</li>
<li>для ROR на Ruby &#8211; <a href="http://www.railsforum.com/viewtopic.php?id=1011">миграции</a> на SQL DDL</li>
<li>для Django на Python &#8211; <a href="http://www.aswmc.com/dbmigration/">DbMigration</a></li>
<li>а для РНР — всю туже кучу утилит типа mysql diff, ну еще и <a href="http://www.doctrine-project.org/documentation/manual/1_0?chapter=migration">Doctrine Migration</a> для <a href="http://ru.wikipedia.org/wiki/ORM">ORM</a> <a href="http://www.doctrine-project.org/">Doctrine</a>.</li>
</ul>
<p>А отдельные храбрецы, разрабатывающие на <a href="http://limb-project.com/">LIMB</a>&#8216;е используют <a href="https://svn.limb-project.com/limb/misc/migration/">вот эту радость</a>. Радость представляет из себя набор консольных утилит для автоматического создания, тестирования и применения миграций, а так же для создания дампов БД. Подробности <a href="http://forum.limb-project.com/viewtopic.php?t=2315">можно прочитать</a> на нашем <a href="http://forum.limb-project.com/">форуме</a>.<br />
Все вроде бы хорошо, но вот беда — на продакшене кэши решили хранить в <a href="http://ru.wikipedia.org/wiki/Memcached">memcached</a>, а на машинах разработчиков толи памяти мало, толи им на содержимое кэша часто смотреть приходится.</p>
<h3>Делим cash, то есть cache</h3>
<p>Что у нас есть такое куда смотреть легко, и где место не жалко. Эврика! Файлы на диске. Теперь дело за малым — нужна библиотечка, которая позволит простым изменением настройки переключаться между разными хранилищами.</p>
<p>ИМХО, каждый, уважающий себя, фреймворк должен иметь такую штуку. Хотя бы для того, чтобы мерятся с другими. У <a href="http://framework.zend.com/">Zend Framework</a> есть Zend_Cache. В <a href="http://limb-project.com/">LIMB</a> таких штук целых две. Пакет сache — нормально работает и вполне стабилен (по API), и второй писал я, со всеми вытекающими. Пакет <a href="https://svn.limb-project.com/limb/3.x/trunk/limb/cache2/">cache2</a>:</p>
<ul>
<li>6 хранилищ: память скрипта, APC, memcached, БД, файлы, сессия, фейк для тестов, (и еще, как минимум, добавится кэш в РНР-файл)</li>
<li>хранилища будут иметь абсолютно одинаковый интерфейс и потокобезопасность:
<ul>
<li>add</li>
<li>get</li>
<li>set</li>
<li>delete</li>
<li>flush</li>
<li>increment/decrement</li>
<li>safeIncrement/safeDecrement</li>
<li>lock/unlock</li>
</ul>
</li>
<li>логгер, позволяющий отслеживать операции с кэшом</li>
<li>утилитка для проведения микротестов</li>
<li>полустабильное состояние</li>
</ul>
<p>Вся информация о хранилище задается с помощью <a href="http://en.wikipedia.org/wiki/Database_Source_Name">DSN</a>. Например:</p>
<pre lang="PHP">file:///tmp/cache //кэш на файлах
apc:///?prefix=foo //кэш в APC, ключи префиксуются строкой foo.</pre>
<p><span style="font-style: italic;">Ну совсем все радостно, но файлы на продакшене на отдельном сервере лежат, а у разработчиков локально надо. Или настройкой sphinx занимается только один человек, и поднимать его у остальных — бессмысленно.</span></p>
<h3>Абстракция. Как много в этом слове</h3>
<p>Как известно любая проблема, кроме одной, решается введением абстракции. Решим и нашу.</p>
<p>Для начала разделим каждый наш файл конфигурации на две части: общую и специфичную для конкретной машины. У нас это, например, <code>avatar.conf.php</code> и <code>avatar.conf.override.php</code>. Специфичные штуки игнорируем в нашей системе контроля версий. Общие кладем рядом с кодом. Желательно, чтобы в файле с общими настройками задавались настройки для продакшена. Тогда вы во-первых их(настройки продакшена) не потеряете, а во-вторых проще будет продакшен обновлять.</p>
<p>Разница при работе с медиа-файлами обычно сводится к двум задачам:</p>
<ul>
<li>куда-то положить</li>
<li>откуда-то запросить</li>
</ul>
<p>Для указания размещения файлов мы, используем URL и обычную функцию copy(). Например на продакшене</p>
<pre lang="PHP">'scp://storage_user@storage_host1/'
.'?rsa_pub='.urlencode('/home/php-fpm/.ssh/id_rsa.pub')
.'&amp;rsa;=' .urlencode('/home/php-fpm/.ssh/id_rsa').'/media'</pre>
<p>, а на машине разработчика просто</p>
<pre lang="PHP">'/www/somesite/www/media/'</pre>
<p>Ну а с тем откуда запрашивать еще проще. Для продакшена <code>'img-1.somesite.ru/media/'</code>, а у разработчика <code>somesite.pupkin.local/media/'</code>. Это базовые пути и URL&#8217;ы для медиа-файлов. Остальное определяется, исходя из id файла.</p>
<p>Со Sphinx&#8217;ом поступим схожим образом. Добавим в конфигурационный файл директиву fake_search, которая будет определять тип поискового сервиса. Используя фабричный метод, наподобие такого:</p>
<pre lang="PHP">static function createSearchService($config)
{
  if(!isset($config['fake_search']) || !$config['fake_search'])
    return SphinxClient();
  else
    return FakeSphinxClient();
}</pre>
<p>, т.к.  SphinxClient и  FakeSphinxClient реализуют общий интерфейс, то для остальной программы такая замена пройдет незаметно.  FakeSphinxClient будет просто отдавать первые  подходящие объекты, а следовательно верстальщик сможет застилить страницу с результатами поиска, не занимаясь такими «магическими» штуками, как установка Sphinx.</p>
<p><span style="font-style: italic;">Разработчики рады, и поют песни, восхваляющие абстракции. Осталась одна маленькая проблемка — разница в версиях ПО третих сторон, и их настройках.</span></p>
<h3>Может хватит, а?</h3>
<p>Вот на этом шаге мы остановились и находимся в данный момент. Следующий этап эволюции   это работа в среде, максимально приближенной к «боевой». Т.е. работа на общем сервере, где с помощью виртуализации поддерживается среда, в которой нам придется работать на продакшене. У каждого свой код, своя база(и не одна), в общей СУБД, свои хосты. Все межсерверные взаимодействия отлаживаются еще на этапе разработки. И проблем с разными версиями ПО не возникает.</p>
<p>Коммит.</p>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2008/11/%d0%bb%d0%b5%d0%b1%d0%b5%d0%b4%d1%8c-%d1%80%d0%b0%d0%ba-%d0%b8-%d1%89%d1%83%d0%ba%d0%b0-%d0%be%d0%b3%d1%80%d0%b0%d0%bd%d0%b8%d0%b7%d0%b0%d1%86%d0%b8%d1%8f-%d1%80%d0%b0%d0%b1%d0%be%d1%82%d1%8b-%d0%bd/feed/</wfw:commentRss>
		<slash:comments>2</slash:comments>
		</item>
		<item>
		<title>Сеанс консольной магии: анализ access логов nginx&#039;а.</title>
		<link>http://korchasa.ru/index.php/2008/11/%d1%81%d0%b5%d0%b0%d0%bd%d1%81-%d0%ba%d0%be%d0%bd%d1%81%d0%be%d0%bb%d1%8c%d0%bd%d0%be%d0%b9-%d0%bc%d0%b0%d0%b3%d0%b8%d0%b8-%d0%b0%d0%bd%d0%b0%d0%bb%d0%b8%d0%b7-access-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-n/</link>
		<comments>http://korchasa.ru/index.php/2008/11/%d1%81%d0%b5%d0%b0%d0%bd%d1%81-%d0%ba%d0%be%d0%bd%d1%81%d0%be%d0%bb%d1%8c%d0%bd%d0%be%d0%b9-%d0%bc%d0%b0%d0%b3%d0%b8%d0%b8-%d0%b0%d0%bd%d0%b0%d0%bb%d0%b8%d0%b7-access-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-n/#comments</comments>
		<pubDate>Fri, 07 Nov 2008 04:29:00 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Статьи]]></category>
		<category><![CDATA[linux]]></category>
		<category><![CDATA[мониторинг]]></category>
		<category><![CDATA[производительность]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=31</guid>
		<description><![CDATA[О том, что где-то рядом живут sed, grep, awk и pipelines, я узнал еще года 4 назад, но  использовать (с толком) их не приходилось. Пока не захотелось странного&#8230;

Странное заключалось в поиске запросов от парсеров в логе nginx&#8217;а, и в поиске &#8220;дорогих&#8221; страниц.
Оказалось все просто:


sed &#8211; потоковый редактор текста. Т.е. ты ему поток текста, а [...]]]></description>
			<content:encoded><![CDATA[<p>О том, что где-то рядом живут sed, grep, awk и pipelines, я узнал еще года 4 назад, но  использовать (с толком) их не приходилось. Пока не захотелось странного&#8230;</p>
<p><span id="more-31"></span></p>
<p>Странное заключалось в поиске запросов от парсеров в логе nginx&#8217;а, и в поиске &#8220;дорогих&#8221; страниц.<br />
Оказалось все просто:<span style="font-weight: bold;"><br />
</span>
<ul>
<li><a href="http://en.wikipedia.org/wiki/Sed"><span style="font-style: italic;">sed</span></a> &#8211; потоковый редактор текста. Т.е. ты ему поток текста, а он его преобразует по данным тобою правилам.</li>
<li><a href="http://en.wikipedia.org/wiki/Grep"><span style="font-style: italic;">grep</span></a>- потоковый фильтр. Ты ему критерий, он тебе данные, отфильтрованные по этому критерию.
</li>
<li><a href="http://en.wikipedia.org/wiki/Awk"><span style="font-style: italic;">awk</span></a> &#8211; скриптовый язык для обработки потоков. Мощная штука. Очень мощная штука.
</li>
</ul>
<h3>А теперь хором</h3>
<p>   Задача номер один &#8211; поиск парсеров. Парсеры отличаются тем, что делают много запросов с одного IP. Понеслась&#8230;</p>
<p>Файл <span style="font-weight:bold;">group_by_ips.sh</span>:</p>
<pre lang="PHP">awk '
{
  requests_count_from_ips[$1]++
}
END
{
  for (ip in requests_count_from_ips)
  {
    print requests_count_from_ips[ip] ": " ip;
  }
}' | \
sort -nr</pre>
<p>Создаем массив, в котором в качестве ключей используем IP, а в качестве значений &#8211; количество запросов с него. Т.к. IP в access логе у нас стоит первым, то соответственно его значение попадет в скрипт, как $1. По окончанию обработки потока бежим по массиву и выводим первым &#8211; количество запросов, а потом IP. Ну и сортируем вывод sort&#8217;ом.</p>
<pre lang="PHP">#cat ./access.log | ./group_by_ips.sh | head
81015: 66.249.72.83
11740: 69.80.244.163
6527: 82.193.155.236
2456: 88.212.197.90
1833: 195.131.145.226
1770: 67.202.41.3
1584: 195.208.157.26
1544: 89.239.140.106
1235: 89.252.9.34
1208: 72.26.227.114
</pre>
<h3>Мы для кого работаем?</h3>
<p>   Задача #2 состоит в определении &#8220;стоимости&#8221; различных url. Стоимостью мы будем считать время работы backend&#8217;а. Для того, чтобы он попал в access лог будем использовать переменную &#8220;upstream_response_time&#8221;. Формат моих логов:</p>
<pre lang="PHP">log_format fastcgi_log '$remote_addr $request $status $body_bytes_sent'
' $http_referer $upstream_response_time $request_time $time_local $host [$http_user_agent]';</pre>
<p>Файл <span style="font-weight: bold;">calc_weights_by_urls.sh</span>:
<pre lang="PHP">awk '{
  gsub(/[0-9]+/, "X", $3);
  urls[$2" "$3] += $8;
}
END
{
  for(i in urls)
  {
    print urls[i]":"i;
  }
}' | \
sort -nr</pre>
<pre lang="PHP">#cat ./access.log | ./calc_weight_by_urls.sh | head
88160.2:GET /users/X/
85643.6:GET /photos/X/
84629.4:GET /photos/category/X/?pager=X
45453.2:GET /photos/X/?from_member
25910:GET /users/X/?pager=X
9275.3:GET /photos/category/X/
8299.5:GET /
8298.21:GET /users/X/photos/?category=X
4309.97:GET /my/favorite_authors_photos/
4304.44:GET /new_on_site/photos/?pager=X</pre>
<h3>Коль пошла такая пьянка</h3>
<p>Раз уж у нас есть данные по стоимости каждого запроса, то можно улучшить решение первой задачи, и считать стоимость IP не по количеству запросов, а как сумму стоимостей запросов с этого IP.<br />
Файл <span style="font-weight: bold;">calc_weights_by_ips.sh</span>:</p>
<pre lang="PHP">awk '
{
  ips[$1] += $8;
}
END
{
  for(i in ips)
  {
    print ips[i]":"i;
  }
}' | \
sort -nr
</pre>
<pre lang="PHP">
cat ./access.log | ./calc_weight_by_ips.sh | head
42533.1:66.249.72.83
12886.8:69.80.244.163
5272.19:82.193.155.236
3892.73:93.189.148.97
1678.77:88.212.197.90
1424.76:67.202.41.3
1327.53:82.207.122.195
1318.4:81.19.66.89
1199.44:67.195.45.213
1114.04:80.72.18.82
</pre>
<p>В итоге три первых IP сохранились, а дальше уже картина немного другая.</p>
<h3>Немного о скорости</h3>
<p>Несмотря на то, что я, мягко говоря, не айс в этих утилитах, и скорее всего написал все криво и неоптимально, но скорость все равно радует:</p>
<ul>
<li>размер анализируемого лога &#8211; 160Mb (650К строк)</li>
<li>время работы подсчета стоимости по IP &#8211; 2 секунды</li>
<li>время работы подсчета стоимости по урлам &#8211; 4 секунды</li>
</ul>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2008/11/%d1%81%d0%b5%d0%b0%d0%bd%d1%81-%d0%ba%d0%be%d0%bd%d1%81%d0%be%d0%bb%d1%8c%d0%bd%d0%be%d0%b9-%d0%bc%d0%b0%d0%b3%d0%b8%d0%b8-%d0%b0%d0%bd%d0%b0%d0%bb%d0%b8%d0%b7-access-%d0%bb%d0%be%d0%b3%d0%be%d0%b2-n/feed/</wfw:commentRss>
		<slash:comments>11</slash:comments>
		</item>
		<item>
		<title>Dog-pile эффект. Как отгонять стаи собак.</title>
		<link>http://korchasa.ru/index.php/2008/04/dog-pile-%d1%8d%d1%84%d1%84%d0%b5%d0%ba%d1%82-%d0%ba%d0%b0%d0%ba-%d0%be%d1%82%d0%b3%d0%be%d0%bd%d1%8f%d1%82%d1%8c-%d1%81%d1%82%d0%b0%d0%b8-%d1%81%d0%be%d0%b1%d0%b0%d0%ba/</link>
		<comments>http://korchasa.ru/index.php/2008/04/dog-pile-%d1%8d%d1%84%d1%84%d0%b5%d0%ba%d1%82-%d0%ba%d0%b0%d0%ba-%d0%be%d1%82%d0%b3%d0%be%d0%bd%d1%8f%d1%82%d1%8c-%d1%81%d1%82%d0%b0%d0%b8-%d1%81%d0%be%d0%b1%d0%b0%d0%ba/#comments</comments>
		<pubDate>Fri, 18 Apr 2008 02:16:00 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Статьи]]></category>
		<category><![CDATA[кэширование]]></category>
		<category><![CDATA[производительность]]></category>
		<category><![CDATA[разработка]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=32</guid>
		<description><![CDATA[Dog-pile эффект — ситуация когда кэш протухает, а большое количество запросов генерирует высокую нагрузку на источник данных, из которых строиться кэш.  Представьте, что вы кэшируете результат какого то тяжёлого запроса, например, список популярных статей. В какой-то момент времени кэш протухает, и его кто-то должен построить заново. В общем то пока все хорошо. Кроме случаев [...]]]></description>
			<content:encoded><![CDATA[<p><dfn>Dog-pile эффект</dfn> — ситуация когда кэш протухает, а большое количество запросов генерирует высокую нагрузку на источник данных, из которых строиться кэш.  <span id="more-32"></span>Представьте, что вы кэшируете результат какого то тяжёлого запроса, например, список популярных статей. В какой-то момент времени кэш протухает, и его кто-то должен построить заново. В общем то пока все хорошо. Кроме случаев когда построение кэша тяжёлая операция, а запросов на него много. Например, запрос для генерации кэша занимает 1 секунду, а пользователи ломятся по 10 штуков в секунду. Соответственно, 9 пользователей (кроме первого) будут только зря нагружать базу. А при большом количестве запросов могут и полностью ее положить.</p>
<h3>И пусть весь мир подождёт</h3>
<p>Первое, что нужно решить — может ли пользователь ждать генерации кэша. Пример с популярными статьями это цветочки, ибо есть еще сложно рассчитываемые рейтинги, которые могут считаться оооочень долго.  Предположим, что у нас простой случай и пользователь не сломается, если подождёт секунду-другую.</p>
<h4>Честные блокировки на генерацию</h4>
<p>Решение в лоб. Первый пришедший лочит кэш на генерацию, и отправляется генерировать кэш. Остальные, увидев лок, понимают, что не успели, чешут репы и думают, что делать.  Как именно делать лок зависит только от вашей фантазии и имеющихся средств. Это может быть, что угодно:</p>
<dl>
<dt>Лок файловой системы</dt>
<dd>есть косяки, но иногда работает <img src='http://korchasa.ru/wp-includes/images/smilies/icon_smile.gif' alt=':)' class='wp-smiley' /> . Подробности в описании функции <a href="http://ru2.php.net/manual/en/function.flock.php">flock()</a>.</dd>
<dt>Мьютекс в хранилище</dt>
<dd>Если мы используем memcache и генерируемый кэш имеет ключ «popular_articles», тогда наличие данных с ключем «popular_articles_lock», говорит о том, что наш кэш уже кто-то генерирует. Тоже самое справедливо и для других хранилищ.</dd>
<dt>IPC семафоры</dt>
<dd>Настоящие пацанские <a href="http://ru2.php.net/manual/en/ref.sem.php">семафоры</a> <img src='http://korchasa.ru/wp-includes/images/smilies/icon_wink.gif' alt=';)' class='wp-smiley' />  Ни разу не использовал — руки не доходят.</dd>
</dl>
<p>Плюсы локов в том, что клиент сам решает, что делать в ситуации, когда ему нужны данные, а их кто-то генерирует. Например, если есть старые данные, то мы можем их отдать, а если данных нет, то либо подождать, либо честно вывести пользователю, что данных нет. На самом деле висящие в течении секунды пользователи совсем не есть гуд, но иногда можно допустить и такое.  Так же не стоит забывать, что при генерации может возникнуть ошибка, и в этом случае лок может остаться висеть(в случае memcache можно ставить ttl на лок).</p>
<h4>Организация «окна» для генерации</h4>
<p>Способ был подсмотрен в исходниках какого-то фреймворка <img src='http://korchasa.ru/wp-includes/images/smilies/icon_smile.gif' alt=':)' class='wp-smiley' />   Суть его в том, что ttl поддерживается не самим хранилищем, а клиентом, в виде отдельного ключа, и при истечение данные не удаляются. Т.е. приходит первый запрос,   видит что ttl истек, и начинает генерировать новое значение. Чтобы остальные запросы подумали, что все нормально, он продлевает ttl существующего кэша на какую-то заранее определённую величину. Если писатель умирает, то кэш быстро снова протухнет и кто-нибудь подхватит знамя генерации с трупа павшего товарища. Если же все нормально, то будет записан новое значение кэша и установлен новый ttl.  Основным минусом такого подхода является то, что ttl нельзя хранить средствами самого кэш-storage, т.к. во всех самых известных хранилищах невозможно получить значение ttl и сами данные с истекшим ttl.</p>
<h3>Я хочу вас всех, я хочу вас сразу!</h3>
<p>Случай у нас тяжёлый, и пользователю будет скучно коротать 20 секунд рисуя матом надписи на пыльном столе. Я знаю про кого будут эти надписи.  Главное откровение: чтобы избавиться от последствий многопоточности надо свести ее к одному потоку. Просто и со вкусом. Убираем всю генерацию кэша в оффлайн. ttl-ем в данном случае будет время перезапуска генерирующих кэш скриптов. Помимо быстрого ответа пользователю тут есть еще один плюс — наборы кэшей часто генерировать быстрее, чем каждый из них по отдельности, ибо можно хранить какие-то промежуточные данные.  UPD: Вот <a href="http://www.smira.ru/2008/10/28/web-caching-memcached-4/">ещё статья</a> по теме.</p>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2008/04/dog-pile-%d1%8d%d1%84%d1%84%d0%b5%d0%ba%d1%82-%d0%ba%d0%b0%d0%ba-%d0%be%d1%82%d0%b3%d0%be%d0%bd%d1%8f%d1%82%d1%8c-%d1%81%d1%82%d0%b0%d0%b8-%d1%81%d0%be%d0%b1%d0%b0%d0%ba/feed/</wfw:commentRss>
		<slash:comments>3</slash:comments>
		</item>
		<item>
		<title>Организация &quot;кусочкового&quot; кеширование HTML</title>
		<link>http://korchasa.ru/index.php/2008/04/%d0%be%d1%80%d0%b3%d0%b0%d0%bd%d0%b8%d0%b7%d0%b0%d1%86%d0%b8%d1%8f-%d0%ba%d1%83%d1%81%d0%be%d1%87%d0%ba%d0%be%d0%b2%d0%be%d0%b3%d0%be-%d0%ba%d0%b5%d1%88%d0%b8%d1%80%d0%be%d0%b2%d0%b0%d0%bd%d0%b8/</link>
		<comments>http://korchasa.ru/index.php/2008/04/%d0%be%d1%80%d0%b3%d0%b0%d0%bd%d0%b8%d0%b7%d0%b0%d1%86%d0%b8%d1%8f-%d0%ba%d1%83%d1%81%d0%be%d1%87%d0%ba%d0%be%d0%b2%d0%be%d0%b3%d0%be-%d0%ba%d0%b5%d1%88%d0%b8%d1%80%d0%be%d0%b2%d0%b0%d0%bd%d0%b8/#comments</comments>
		<pubDate>Tue, 08 Apr 2008 18:15:00 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Статьи]]></category>
		<category><![CDATA[limb]]></category>
		<category><![CDATA[php]]></category>
		<category><![CDATA[кэширование]]></category>
		<category><![CDATA[производительность]]></category>
		<category><![CDATA[разработка]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=33</guid>
		<description><![CDATA[Навеяно парой статей на Хабре, и тем, что вчера сделал cache тег для Macro.

Зачем?
Хочется убить двух зайцев: избавиться от запросов за редко изменяемыми данными, и их отрисовки. Вообще это смахивает на попытку минимальным количеством движений сделать глобальное счастье. Можно потом перед другими фрэймворками меряться, ага.
На самом деле задача избавиться от отрисовки куска страницы вообще какая-то [...]]]></description>
			<content:encoded><![CDATA[<p>Навеяно <a href="http://habrahabr.ru/blog/php/38628.html">парой</a> <a href="http://habrahabr.ru/blog/django/39423.html">статей</a> на Хабре, и тем, что вчера сделал cache тег для <a href="http://wiki.limb-project.com/doku.php?id=limb3:ru:packages:macro">Macro</a>.<br />
<span id="more-33"></span></p>
<h3>Зачем?</h3>
<p>Хочется убить двух зайцев: избавиться от запросов за редко изменяемыми данными, и их отрисовки. Вообще это смахивает на попытку минимальным количеством движений сделать глобальное счастье. Можно потом перед другими фрэймворками меряться, ага.</p>
<p>На самом деле задача избавиться от отрисовки куска страницы вообще какая-то странная, если мы используем быстрый шаблонизатор. Application-сервера, при нормальной  арихитектуре, масштабируются легко и непринужденно, а APC, сам закэширует скомпилированный шаблон, если он компилируется в РНР-код, как это сделано в Smarty,  <a href="http://wiki.limb-project.com/doku.php?id=limb3:ru:packages:macro">Macro</a> и многих других.</p>
<p>С другой стороны, если есть простой способ закэшировать, то почему бы и нет.</p>
<h3>Откуда данные, и как заставить протухнуть кэш.</h3>
<p>Данные в шаблоне могут получаться двумя способами. Первый и традиционный это push-подход, когда контроллер заполняет какой-то <a href="http://martinfowler.com/eaaCatalog/dataTransferObject.html">data-transfer-object</a>, или в сам шаблон. Такой подход используется чаще всего, ибо это &#8220;тру MVC&#8221;! <img src='http://korchasa.ru/wp-includes/images/smilies/icon_wink.gif' alt=';)' class='wp-smiley' /> </p>
<p>Второй подход &#8211; pull. При pull подходе в шаблоне расставляются инструкции по получению данных, в обход контроллера, напрямую от моделей, сервисов и прочих провайдеров данных. Этот способ позволяет избавиться от повторяющихся set&#8217;ов в контроллере, но не позволяет ограничить, из контроллера, их получение, и усложняет поддержку шаблонов, ибо иногда трудно понять откуда получены данные.</p>
<p>Теперь об определении развалидации кэша. Тут тоже два основных подхода. Первый &#8211; ttl(time-to-live &#8211; время жизни). Мы определяем, что список новостей, например, валиден в течении 15 минут. Основной плюс &#8211; мы уверены, что за данными скрипт будет обращаться не чаще чем раз в 15 минут, и зная частоту обращений можем точно расчитать эффективность такого кеша. Второй плюс &#8211; простота реализации. Главный же минус в том, что наш список на самом деле может измениться через секунду после построения кэша, а пользователь увидит изменения только через 15 минут.</p>
<p>Второй вариант сброса кэша &#8211; по действию. Например, тот контроллер(экшн), который отвечает за публикацию новостей, сам убивает кеш, и формирует новый (тут тоже много разных камней, типа lost updates, и прочих порождений многопоточности, но все они решаемы). Плюс &#8211; кэш всегда валиден. Первый минус это сложность реализации (нам нужно добавлять код для работы с кэшем во все места, где идет работа с данными кэша &#8211; публикация новостей, их удаление, и т.д.). Второй минус в том, что эффективность такого кэша сильно зависит от частоты изменения данных.</p>
<p>А теперь тоже самое, но в свете кэширования частей страницы.</p>
<h3>Push me. And then just touch me&#8230;</h3>
<p>Кэшировать части страницы, при push-данных хуже, чем кэшировать эти самые данные. Почему? Потому что мы &#8220;загадим&#8221; кодом работы с кэшем и шаблон, и контроллер, а из плюсов только экономия на отрисовке.</p>
<h3>Pull-данные и развалидация по действию</h3>
<p>Что мы получаем? Логика работы с кешем в шаблоне и тех контроллерах, которые отвечают за действия. Опять не тру, и лучше опять кэшировать данные, через какой-нибудь LastNewsService.</p>
<h3>Pull-данные и ttl</h3>
<p>Вот то ради чего собственно и делаются теги cache, блоки django, компоненты и т.д. Вся логика только в шаблоне (или настройках компонента). Красотища!</p>
<h3>Вывод:</h3>
<p>Кэширование части HTML имеет смысл только для pull данных с устареванием по времени. Во всех остальных случаях его плюсы, по сравнению с кэшированием данных, сводятся к экономии работы шаблонизатора.</p>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2008/04/%d0%be%d1%80%d0%b3%d0%b0%d0%bd%d0%b8%d0%b7%d0%b0%d1%86%d0%b8%d1%8f-%d0%ba%d1%83%d1%81%d0%be%d1%87%d0%ba%d0%be%d0%b2%d0%be%d0%b3%d0%be-%d0%ba%d0%b5%d1%88%d0%b8%d1%80%d0%be%d0%b2%d0%b0%d0%bd%d0%b8/feed/</wfw:commentRss>
		<slash:comments>3</slash:comments>
		</item>
		<item>
		<title>Тесты производительности различных cache storage</title>
		<link>http://korchasa.ru/index.php/2008/03/%d1%82%d0%b5%d1%81%d1%82%d1%8b-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d1%80%d0%b0%d0%b7%d0%bb%d0%b8%d1%87%d0%bd%d1%8b%d1%85-cache/</link>
		<comments>http://korchasa.ru/index.php/2008/03/%d1%82%d0%b5%d1%81%d1%82%d1%8b-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d1%80%d0%b0%d0%b7%d0%bb%d0%b8%d1%87%d0%bd%d1%8b%d1%85-cache/#comments</comments>
		<pubDate>Thu, 20 Mar 2008 03:50:00 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Статьи]]></category>
		<category><![CDATA[php]]></category>
		<category><![CDATA[кэширование]]></category>
		<category><![CDATA[производительность]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=2</guid>
		<description><![CDATA[
Version 0.4
Ну вот опять!
Передо мной в данный момент стоит задача сравнить популярные бытрые хранилища данных, основанные на использовании оперативной памяти. Найденные сравнения(например, вот это) не совсем подходят, так как необходима информация не только о скорости get/set операций, но и о add/delete (их предполагается использовать для создания мьютексов).

На самом деле целей тестирования две:

Найти самый быстрый и [...]]]></description>
			<content:encoded><![CDATA[<p><img style="margin: 0pt 0pt 10px 10px; float: right; cursor: pointer;" src="http://korchasa.ru/wp-content/uploads/2009/01/cache.jpg" border="0" alt="" /></a><br />
Version 0.4</p>
<h3>Ну вот опять!</h3>
<p>Передо мной в данный момент стоит задача сравнить популярные бытрые хранилища данных, основанные на использовании оперативной памяти. Найденные сравнения(например, вот <a href="http://www.mysqlperformanceblog.com/2006/08/09/cache-performance-comparison/"><span style="color: #000080;"><span style="text-decoration: underline;">это</span></span></a>) не совсем подходят, так как необходима информация не только о скорости get/set операций, но и о add/delete (их предполагается использовать для создания мьютексов).<br />
<span id="more-65"></span><br />
На самом деле целей тестирования две:</p>
<ol>
<li>Найти самый быстрый и удобный cache  storage, с которым можно взаимодействовать  из PHP-шного расширения напрямую, а не  через сокеты, как у memcached.</li>
<li>Оценить разницу в скорости, между  хранилищем из пункта 1 и memcached.</li>
</ol>
<p>Итак в тестировании участвуют:</p>
<ul>
<li><a href="http://ru2.php.net/apc">APC</a> [3.0.16]</li>
<li><a>Memcached</a> [1.2.1]</li>
<li><a href="http://xcache.lighttpd.net/">XCache</a> [1.2.1]</li>
</ul>
<p>Идут лесом:</p>
<ul>
<li>
<p style="margin-bottom: 0cm;"><span style="color: #000080;"><span style="text-decoration: underline;"><a href="http://dev.mysql.com/doc/refman/5.0/en/memory-storage-engine.html">MySQL  memory (heap) storage</a><a href="http://www.sqlite.org/cvstrac/wiki?p=InMemoryDatabase">SQLite  database in memory</a><a href="http://dev.mysql.com/doc/refman/5.0/en/memory-storage-engine.html">MySQL  memory (heap) storage</a><a href="http://dev.mysql.com/doc/refman/5.0/en/memory-storage-engine.html">MySQL  memory (heap) storage и </a><a href="http://dev.mysql.com/doc/refman/5.0/en/memory-storage-engine.html">MySQL  memory (heap) storage</a></span></span></p>
</li>
<li>
<p style="margin-bottom: 0cm;"><a href="http://ru2.php.net/manual/ru/ref.shmop.php"><span style="color: #000080;"><span style="text-decoration: underline;">shmop</span></span></a></p>
</li>
<li>eAccelerator. За то, что не умеет работать  в cli-режиме.</li>
</ul>
<p>Тестирование проводилось с помощью немного измененного пакета limb/cache. Этот пакет позволит (я надеюсь <img src='http://korchasa.ru/wp-includes/images/smilies/icon_wink.gif' alt=';)' class='wp-smiley' />  в случае нехватки  памяти на application-сервере, легко и непринуждённо (всего одна бессоная ночь) перейти на memcached.</p>
<h3>Кто на свете всех быстрее, и румяней, и милее.</h3>
<p>В этой номинации сравнивались APC и XCache, как самые известные, и исходя из других моих сексуальных предпочтений: я больше люблю заниматься им с девушками, чем с библиотеками, которые вдруг перестали поддерживаться или начали конфликтовать с другим софтом. В общем APC и XCache я больше доверяю.</p>
<p><img src="http://lh4.google.ru/korchasa/R-GyG0gbuDI/AAAAAAAAAfQ/fPfa_nSQ6gM/s800/asdasda_html_m7e9cc6b5.jpg" alt="" /></p>
<p>Загадочные цифры &#8211; это количество совершаемых операций в секунду.</p>
<table border="1" cellspacing="0">
<tbody>
<tr style="text-align: center;">
<th></th>
<th>add</th>
<th>get</th>
<th>set</th>
<th>delete</th>
</tr>
<tr>
<td>APC / integer</td>
<td>111231</td>
<td>150792</td>
<td>96590</td>
<td>154379</td>
</tr>
<tr>
<td>XCache / integer</td>
<td>40342</td>
<td>99218</td>
<td>56146</td>
<td>114956</td>
</tr>
<tr>
<td><span style="color: #0084d1;">diff</span></td>
<td><span style="color: #00ae00;">176%</span></td>
<td><span style="color: #00ae00;">52%</span></td>
<td><span style="color: #00ae00;">72%</span></td>
<td><span style="color: #00ae00;">34%</span></td>
</tr>
<tr>
<td>APC / array</td>
<td>51547</td>
<td>90296</td>
<td>42422</td>
<td>92647</td>
</tr>
<tr>
<td>XCache / array</td>
<td>23091</td>
<td>68078</td>
<td>43226</td>
<td>84848</td>
</tr>
<tr>
<td><span style="color: #0084d1;">diff</span></td>
<td><span style="color: #00ae00;">123%</span></td>
<td><span style="color: #00ae00;">33%</span></td>
<td><span style="color: #c5000b;">-2%</span></td>
<td><span style="color: #00ae00;">9%</span></td>
</tr>
<tr>
<td>APC / object</td>
<td>20373</td>
<td>20743</td>
<td>19542</td>
<td>122401</td>
</tr>
<tr>
<td>XCache / object<a href="#note1">*</a></td>
<td>10598</td>
<td>14100</td>
<td>15355</td>
<td>75741</td>
</tr>
<tr>
<td><span style="color: #0084d1;">diff</span></td>
<td><span style="color: #00ae00;">92%</span></td>
<td><span style="color: #00ae00;">47%</span></td>
<td><span style="color: #00ae00;">27%</span></td>
<td><span style="color: #00ae00;">62%</span></td>
</tr>
</tbody>
</table>
<p><dfn id="note1">* &#8211; В ходе тестирования выяснилось, что XCache не умеет работать с объектами, и их ему приходится отдавать в уже сериализованном виде. Это, конечно решается с помощью собственного драйвера, но &#8220;осадок остался&#8221; (с).</dfn></p>
<p>APC рулит! Поэтому и <a href="http://wiki.php.net/todo/php60#todo_items">войдет в PHP6</a> <img src='http://korchasa.ru/wp-includes/images/smilies/icon_wink.gif' alt=';)' class='wp-smiley' /> </p>
<h3>Выходи memcached &#8211; биться будем!</h3>
<p><img src="http://lh4.google.ru/korchasa/R-GyG0gbuCI/AAAAAAAAAfI/MZFcx4fC78E/s800/asdasda_html_5d095d6a.jpg" alt="" /></p>
<table border="1" cellspacing="0">
<tbody>
<tr style="text-align: center;">
<th></th>
<th>add</th>
<th>get</th>
<th>set</th>
<th>delete</th>
</tr>
<tr>
<td>APC / integer</td>
<td>111231</td>
<td>150792</td>
<td>96590</td>
<td>154379</td>
</tr>
<tr>
<td>Memcached / integer</td>
<td>6679</td>
<td>8436</td>
<td>6667</td>
<td>9304</td>
</tr>
<tr>
<td><span style="color: #0084d1;">diff</span></td>
<td><span style="color: #00ae00;">1565%</span></td>
<td><span style="color: #00ae00;">1687%</span></td>
<td><span style="color: #00ae00;">1349%</span></td>
<td><span style="color: #00ae00;">1559%</span></td>
</tr>
<tr>
<td>APC / array</td>
<td>51547</td>
<td>90296</td>
<td>42422</td>
<td>92647</td>
</tr>
<tr>
<td>Memcached / array</td>
<td>6783</td>
<td>8319</td>
<td>6854</td>
<td>9142</td>
</tr>
<tr>
<td><span style="color: #0084d1;">diff</span></td>
<td><span style="color: #00ae00;">660%</span></td>
<td><span style="color: #00ae00;">985%</span></td>
<td><span style="color: #00ae00;">519%</span></td>
<td><span style="color: #00ae00;">913%</span></td>
</tr>
<tr>
<td>APC / object</td>
<td>20373</td>
<td>20743</td>
<td>19542</td>
<td>122401</td>
</tr>
<tr>
<td>Memcached / object</td>
<td>5088</td>
<td>5648</td>
<td>5143</td>
<td>9081</td>
</tr>
<tr>
<td><span style="color: #0084d1;">diff</span></td>
<td><span style="color: #00ae00;">300%</span></td>
<td><span style="color: #00ae00;">267%</span></td>
<td><span style="color: #00ae00;">280%</span></td>
<td><span style="color: #00ae00;">1248%</span></td>
</tr>
</tbody>
</table>
<p>Выводы делаейте сами, а я спать пойду.</p>
<p>Исходники тестов можно <a href="http://korchasa.googlepages.com/cache_storages_bench.tar.bz2">скачать</a> и поправить <img src='http://korchasa.ru/wp-includes/images/smilies/icon_wink.gif' alt=';)' class='wp-smiley' /> </p>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2008/03/%d1%82%d0%b5%d1%81%d1%82%d1%8b-%d0%bf%d1%80%d0%be%d0%b8%d0%b7%d0%b2%d0%be%d0%b4%d0%b8%d1%82%d0%b5%d0%bb%d1%8c%d0%bd%d0%be%d1%81%d1%82%d0%b8-%d1%80%d0%b0%d0%b7%d0%bb%d0%b8%d1%87%d0%bd%d1%8b%d1%85-cache/feed/</wfw:commentRss>
		<slash:comments>9</slash:comments>
		</item>
		<item>
		<title>PHP 5.3: что пых грядущий нам готовит?</title>
		<link>http://korchasa.ru/index.php/2008/02/php-53-%d1%87%d1%82%d0%be-%d0%bf%d1%8b%d1%85-%d0%b3%d1%80%d1%8f%d0%b4%d1%83%d1%89%d0%b8%d0%b9-%d0%bd%d0%b0%d0%bc-%d0%b3%d0%be%d1%82%d0%be%d0%b2%d0%b8%d1%82/</link>
		<comments>http://korchasa.ru/index.php/2008/02/php-53-%d1%87%d1%82%d0%be-%d0%bf%d1%8b%d1%85-%d0%b3%d1%80%d1%8f%d0%b4%d1%83%d1%89%d0%b8%d0%b9-%d0%bd%d0%b0%d0%bc-%d0%b3%d0%be%d1%82%d0%be%d0%b2%d0%b8%d1%82/#comments</comments>
		<pubDate>Fri, 22 Feb 2008 00:00:00 +0000</pubDate>
		<dc:creator>korchasa</dc:creator>
				<category><![CDATA[Статьи]]></category>
		<category><![CDATA[php]]></category>
		<category><![CDATA[базы данных]]></category>
		<category><![CDATA[производительность]]></category>
		<category><![CDATA[разработка]]></category>

		<guid isPermaLink="false">http://korchasa.ru/?p=36</guid>
		<description><![CDATA[То о чем так долго говорили большевики&#8230;
Кратенько:

пространства имен
mysqlnd
позднее статическое связывание
динамические вызовы статических методов
Прочие изменения

А теперь подробно&#8230;

Пространства имен
/* Серое и унылое настоящее */
class MyAclSimpleRole {}
$a = new MyAclSimpleRole;

/* или (Zend FW) */
class My_Acl_Simple_Role {}
$a = new My_Acl_Simple_Role;

/* А теперь так */
namespace My::Acl::Simple;
class Role {}

/* По прежнему можем использовать полное имя */
$a = new My::Acl::Simple::Role;

/* А если [...]]]></description>
			<content:encoded><![CDATA[<blockquote><p>То о чем так долго говорили большевики&#8230;</p></blockquote>
<p>Кратенько:</p>
<ul>
<li>пространства имен</li>
<li>mysqlnd</li>
<li>позднее статическое связывание</li>
<li>динамические вызовы статических методов</li>
<li>Прочие изменения</li>
</ul>
<p>А теперь подробно&#8230;<br />
<span id="more-36"></span></p>
<h3>Пространства имен</h3>
<pre><code class="php">/* Серое и унылое настоящее */
class MyAclSimpleRole {}
$a = new MyAclSimpleRole;

/* или (Zend FW) */
class My_Acl_Simple_Role {}
$a = new My_Acl_Simple_Role;

/* А теперь так */
namespace My::Acl::Simple;
class Role {}

/* По прежнему можем использовать полное имя */
$a = new My::Acl::Simple::Role;

/* А если use добавить... */
use My;
$a = new Acl::Simple::Role;

use My::Acl;
$a = new Simple::Role;

use My::Acl::Simple;
$a = new Role;

/* А если alias добавить, то вообще красота */
use My::Acl::Simple as defaultAcl;
$a = new defaultAcl::Role;

use My as default;
$a = new default::Acl::Role;</pre>
<p>Помимо этого введена константа __NAMESPACE__, добавки в рефлексии, глобальное пространство "::".</p>
<p>Людям, использующим в названии классов идеологию, схожую с идеологией Zend Framework, данная фича очень понравится. Возможно она "под него" и вводилась <img src='http://korchasa.ru/wp-includes/images/smilies/icon_wink.gif' alt=';)' class='wp-smiley' /> </p>
<p>К сожалению не смог найти информацию о том, можно ли будет повесить обработчик на команду use, а следовательно анализировать и всячески инициализировать пространства.</p>
<h3><a href="http://blog.ulf-wendel.de/?p=149">mysqlnd</a> (MySQL native driver)</h3>
<p>Наконец то в РНР появится замена для libmysql, причем "заточенная" под PHP на C-шном уровне. Напомню, что в самом начале 5-ой ветки libmysqli пришлось убрать из ядра по лицензионным соображениям. mysqlnd же выпускается под <a href="http://www.php.net/license">лицензией PHP</a>. Вы наверное уже обрадовались, что из-за нового API, сможете выбить из начальства время на review всего кода, работающего с БД?</p>
<p>К сожалению я не знаю код символа изображающего фигу, сейчас бы пригодился.</p>
<p>mysqlnd это низкоуровневая С-шная библиотека для работы с базой данных, а не новое расширение для PHP. mysqlnd уже "понимает" API ext/mysqli, поддержка PDO/MySQL сейчас пишеться, а поддержки ext/mysql не будет.</p>
<p><a href="http://www.hristov.com/andrey/projects/php_stuff/pres/mysqlnd_vikinger.pdf"><img src="http://blog.ulf-wendel.de/images/mysqlnd2.gif" alt="#########" /></a></p>
<p>Уже приведены <a href="http://blog.ulf-wendel.de/?p=136">бенчмарки</a>, и их результаты мягко говоря радуют.</p>
<h3>Позднее статическое связывание</h3>
<p>Проще всего текущее бедственное состояние будет пояснить на примере:</p>
<pre lang="php">class Foo {
  public static function whoIsItDrinkins() {
      return __CLASS__;
  }
}

class Bar extends Foo {}

echo Bar::whoIsItDrinkins(); //Foo</pre>
<p>Проблема в том, что переменная указывающая на текущий класс (__CLASS__ или self) указывает на тот класс, в котором метод объявляется, а не тот, у которого он вызван.</p>
<p>Острее всего эта проблема проявляется при попытке реализовать в РНР паттерн <a href="http://wiki.limb-project.com/doku.php?id=limb3:ru:packages:active_record">ActiveRecord</a>, и приводит к <a href="http://forum.agiledev.ru/index.php?t=msg&amp;goto=5540">использованию грязноватых хаков</a> <img src='http://korchasa.ru/wp-includes/images/smilies/icon_wink.gif' alt=';)' class='wp-smiley' /> </p>
<p>В версии 5.3 появится метод get_called_class(), который будет указывать на класс, у которого этот метод вызван.</p>
<pre lang="php">class Foo {
  public static function whoIsItDrinkins() {
      return get_called_class();
  }
}

class Bar extends Foo {}

echo Bar::whoIsItDrinkins(); //та-да!</pre>
<h3>__callstatic()</h3>
<pre lang="php">class FooFactory {
  static function call() {
    echo 'Простите все операторы сейчас заняты';
  }
  static function __callStatic( $methodname, $args ) {
    echo '

Добрый день! Вы только вызвали статический метод ' . $methodname . '

';
    echo '

С параметрами:

';
    echo '</pre>
<pre>' . print_r( $args, true ) . '</pre>
<p>';<br />
echo '</p>
<p>Спасибо. Ваш вызов для нас очень важен.</p>
<p>';<br />
}<br />
}</p>
<p>FooFactory :: call();<br />
FooFactory :: callAnotherTime('А ну отозвались!');</p>
<p>Давно пора. Это же какие красоты открываются. Можно например автоматом маппить поиски в, уже упомянутый, <a href="http://wiki.limb-project.com/doku.php?id=limb3:ru:packages:active_record">ActiveRecord</a>:</p>
<pre lang="php">$posted_articles = Articles::findByIsPosted(true);

$new_members = Member::findByRegistrationDateLessWhat($today);</pre>
<p>И все это без единой дополнительной строчки в классах Article и Member!</p>
<p><small>Когда же появиться нативная функция для преобразования camel case в underlines <img src='http://korchasa.ru/wp-includes/images/smilies/icon_sad.gif' alt=':(' class='wp-smiley' /> </small></p>
<h3>Динамические вызовы статических методов</h3>
<pre lang="php">$method = 'callAnotherTime';
FooFactory :: $method('Я вас каждый день вызывать буду!');</pre>
<p>Практического применения я вот так сходу найти не смог, но но думаю оно как суслик, я его не вижу, а оно есть</p>
<h3>Новый уровень ошибок E_DEPRECATED</h3>
<p>Новый уровень позволит заранее начать избавляться от функционала, который впоследствии не будет поддерживаться</p>
<h3>Конфигурационные файлы</h3>
<ul>
<li>конфиги теперь можно делать для конкретной директории, а не использовать для этого .htaccess и php_value/php_admin_valie</li>
<li>в php.ini добавлены секции для конкретных директорий. Их опции не могут переопределяться ни в скриптах, ни в конфигурационных файлах директорий</li>
<li>сообщения об ошибках в конфигурационных файлах теперь более "говорящие"</li>
<li>добавлена поддержка ключей для массивов</li>
</ul>
<h3>Прочие изменения</h3>
<ul>
<li>в расширение openSSL добавленна поддержка алгоритма <a href="http://ru.wikipedia.org/wiki/%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%94%D0%B8%D1%84%D1%84%D0%B8_%E2%80%94_%D0%A5%D0%B5%D0%BB%D0%BB%D0%BC%D0%B0%D0%BD%D0%B0">Диффи-Хеллмана</a>, который необходим для тех, кто работает с OpenID.</li>
<li>функция <a href="http://php.net/getopt">get_opt()</a> теперь кроссплатформенная</li>
<li>в расширение sqlite добавленна поддержка Sqlite3</li>
<li>сделано несколько улучшений в SPL</li>
<li>добавлена константа __DIR__, которая заменит dirname(__FILE__)</li>
</ul>
<p><strong>UPD</strong>: добавлена информация о __DIR__</p>
]]></content:encoded>
			<wfw:commentRss>http://korchasa.ru/index.php/2008/02/php-53-%d1%87%d1%82%d0%be-%d0%bf%d1%8b%d1%85-%d0%b3%d1%80%d1%8f%d0%b4%d1%83%d1%89%d0%b8%d0%b9-%d0%bd%d0%b0%d0%bc-%d0%b3%d0%be%d1%82%d0%be%d0%b2%d0%b8%d1%82/feed/</wfw:commentRss>
		<slash:comments>4</slash:comments>
		</item>
	</channel>
</rss>
