Кэширование данных: путь к повышению производительности. Кэширование
Кэширование — это один из способов оптимизации Web приложений. В любом приложении встречаются медленные операции (SQL запросы или запросы к внешним API), результаты которых можно сохранить на некоторое время. Это позволит выполнять меньше таких операций, а большинству пользователей показывать заранее сохраненные данные.
Наиболее популярная технология кеширования для Web приложений — Memcache .
Когда нужно кэшировать
Старайтесь избегать кэширования, пока в этом не будет прямой необходимости. Это простая техника, но это снижает гибкость приложения. Не делайте лишнюю работу заранее, но закладывайте возможность использования кэширования в будущем:
- Используйте классы или функции, для работы с данными. Не используйте повторяющихся SQL выборок в основном приложении.
- Используйте обертки для работы с внешними API.
Что кэшировать?
Кэшировать нужно данные, которые медленно генерируются и часто запрашиваются. На практике это обычно:
- Результаты запросов к внешним сервисам (RSS, SOAP, REST и т.п.).
- Результаты медленных выборок из базы данных.
- Сгенерированные html блоки либо целые страницы.
Кэширование выборок из баз данных
Запросы к базе данных — наиболее распространенный пример. На основе Мemcache реализуется очень просто:
!$list = memcache_get("online_users") ) { $sql = "SELECT * FROM users WHERE last_visit > UNIX_TIMESTAMP() - 60*10"; $q = mysql_query($sql); while ($row = mysql_fetch_assoc($q)) $list = $row; memcache_set("online_users", $list, 60*60); } return $list; } $list = get_online_users(); ...
# Запрос на получение пользователей кэшируется на 1 час
Обновление данных
Если Вы кэшируете данные, которые могут обновляться, необходимо очищать кэш после каждого обновления:
memcache_delete("user" . $id); }
Кэширование списков
Допустим, Вы кэшируете данные каждого пользователя, как в примере, а также их списки (например, список online пользователей). При обновлении данных пользователя, Вы удаляете данные из кэша только для указанного пользователя. Но его данные могут также присутствовать в списке online пользователей, которые тоже лежат в кэше. Сбрасывать списки при каждом обновлении данных любого пользователя не эффективно. Поэтому обычно используют такой подход:
- Кэшируют списки, которые состоят только из ID пользователей.
- Для вывода списка отправляют отдельный запрос для получения данных каждого пользователя.
Реализация выглядит так:
id FROM users WHERE last_visit > UNIX_TIMESTAMP() - 60*10"; $q = mysql_query($sql); while ($row = mysql_fetch_assoc($q)) $list = $row["id"] ; memcache_set("online_users", $list, 60*60); } return $list; } $list = get_online_users(); foreach ($list as $id) { $user = get_user($id); ... }
# Получим список ID пользователей и для каждого из них получим актуальные данные
Для получения данных сразу нескольких объектов можно использовать Multiget .
Повторные запросы
Некоторые данные могут запрашиваться несколько раз в рамках одной страницы, например:
get_user($_SESSION["id"])["name"] )?>
... Email: get_user($_SESSION["id"])["email"] ?> ... get_user($_SESSION["id"])["nick"] ?>">Моя страница ...Каждый вызов get_user()
будет получать данные из кэша. Если Memcache стоит на отдельном сервере, это вызовет большой сетевой трафик и задержки.
Чтобы этого избежать, можно использовать дополнительный кэш внутри самого приложения:
global $app_cache; if ($app_cache["user" . $id]) return $app_cache["user" . $id]; if (!$data = memcache_get("user" . $id)) { $sql = "SELECT * FROM users WHERE id= " . intval($id); $q = mysql_query($sql); $data = mysql_fetch_assoc($q); memcache_set("user" . $id, $data, 60*60); $app_cache["user" . $id] = $data; } return $data; } function save_user($id, $data) { global $app_cache; mysql_query("UPDATE users SET ... WHERE id = " . intval($id)); memcache_delete("user" . $id); unset($app_cache["user" . $id]); }
В реальных приложениях, имеет смысл иметь обертку для Memcache с дополнительным кэшом:
inner_cache)) return $this->inner_cache[$key]; $data = memcache_get($this->resource, $key); $this->inner_cache[$key] = $data; return $data["value"]; } public static function set($key, $value, $ttl) { memcache_set($key, $value, $ttl); $this->inner_cache[$key] = $value; } public static function del($key) { memcache_delete($key); unset($this->inner_cache[$key]); } }
# $inner_cache хранит дополнительный кэш
Внимание. Использование этого подхода может приводить к утечкам памяти в случаях, когда идет работа с большим количеством данных в кэше. Например, в cron-задачах (допустим, мы перебираем всех пользователей для отправки рассылки). Тогда лучше добавить отключение внутреннего кэша:
public static $inner_cache_enabled = true; public static function get($key) { if (self::$inner_cache_enabled && array_key_exists($key, $this->inner_cache)) return $this->inner_cache[$key]; $data = memcache_get($this->resource, $key); $this->inner_cache[$key] = $data; return $data["value"]; } public static function set($key, $value, $ttl) { memcache_set($key, $value, $ttl); if (self::$inner_cache_enabled) $this->inner_cache[$key] = $value; } public static function del($key) { memcache_delete($key); unset($this->inner_cache[$key]); } } ... mem_cache::$inner_cache_enabled = false;
# Отключаем внутренний кэш
Подогревание
При обновлении особенно тяжелых данных следует использовать не сброс кэша, а прямое обновление данных в нем:
# операции по обновлению внешних ресурсов $data = file_get_contents("http://rss.com/rss"); memcache_set("rss", $data, 60*60); }
Это позволит избежать дополнительной нагрузки при выполнении тяжелых выборок, когда ключ удаляется. Такую методику обычно используют в cron задачах, чтобы периодически обновлять результаты очень тяжелых выборок.
Время жизни (ttl)
ttl (время жизни) — это время, после которого, данные будут удалены из кэша. В Memcache устанавливается в секундах:
60*60 );
# Установка ttl на 1 час
Чаще всего ttl ставят от нескольких минут до нескольких дней. Не используйте значение 0 (бесконечное хранение), это может засорить память.
LRU
Любой кэш работает по принципу вытеснения если ему не хватает памяти. Т.е. если Memcache может использовать максимум 1G памяти, а Вы пытаетесь сохранить ключей на 2G, то половину из этих данных Memcache удалит. Для определения, какие именно ключи удалять, используется алгоритм LRU (Least Recently Used):
Memcache постарается удалить прежде всего те данные, которые запрашивались очень давно (т.е. менее популярные удалит, а более популярные оставит).
Кэширование очень медленных запросов
Представьте, что у Вас есть запрос, который выполняется 10 секунд. Вы сохраняете его в кэш на 1 час. Когда проходит это время, данные в кэше удаляются. В первые 10 секунд после этого Вы сталкиваетесь с ситуацией, когда несколько пользователей одновременно вызывают этот тяжелейший запрос. Это может привести к катастрофическим последствиям, т.к. в течение 10 секунд может быть несколько сотен или тысяч таких вызовов.
Чтобы этого избежать, необходимо использовать специальную методику дублирования .
Атомарные операции
Иногда в кэше хранятся счетчики (например, количество пользователей). При добавлении новых пользователей, вместо сброса счетчика и повторной выборки, можно просто увеличить значение кэша на единицу. Но сделать это через приложение нельзя, т.к. это приведет к потере данных от двух одновременно выполненных запросов:
Memcache поддерживает две атомарные операции увеличения и уменьшения чисел:
# Увеличит счетчик на 1, функция memcache_decrement() уменьшает счетчик
Самое важное
Кэширование в приложениях на основе Memcache — это очень сильный инструмент. Не забывайте, что Memcache не гарантирует Вам сохранности данных. Это значит, что нельзя рассчитывать на то, что сохраненные на 60 минут данные будут находиться в кэше именно 60 минут.
Схема работы кэша
Кэш – это специально отведенный небольшой участок памяти с большей скоростью обмена данными, чем у традиционной. Существует он ввиду несоответствия между вычислительными мощностями процессоров и скоростью считывания информации со стандартных накопителей памяти.
Прогресс требовал увеличения объемов для хранения данных , в то время как быстрота их обработки отставала с самого зарождения компьютеров. Именно из-за этого и был разработан такой «мост». Процесс занесения информации в кэш-память получил название «кэширование ». Собственно, поэтому и важно её своевременно очищать – для сохранения эффективности считывания.
Кэширование в браузерах
Алгоритм кэширования в браузерах
Зачастую, говоря о кэшировании, многие вспоминают о cache -файлах в браузерах. И неудивительно, так как их очистка – один из основных советов, который дают пользователям при возникновении ошибок.
Накапливаются они вместе с числом просмотренных сайтов – с них часть сведений загружается в кэш-память, преследуя этим две цели : ускорить общее время загрузки и уменьшить нагрузку на сетевой трафик. При повторном заходе на сайт, происходит проверка на актуальность данных между сервером и клиентом. Что должно быть сохранено, а что нет, решает создатель веб-страницы.
Кэш в Windows
В операционных системах Windows, файлы кэш-памяти занимают приличное пространство. Сохраняются разнообразные временные файлы , созданные после запуска или изменения какой-либо программы, превью изображений и музыкальных композиций, точки восстановления ОС.
Контролирует данный процесс, так называемый кэш-менеджер
, который периодически избавляется
от неактуальных ресурсов. Причем, именно эта периодичность и является ключевым фактором эффективной
работы: если файлы удалять слишком часто, то система будет тратить время, считывая их вновь, а если слишком редко – попросту не останется места для новых сведений.
Кэш на андройде
На смартфонах с операционной системой Android ситуация выглядит похожим образом, за одним существенным «но» — объем предоставленной памяти значительно ниже
, чем на персональном компьютере. Помимо этого, программы после запуска хранятся в трей-листе, откуда их потом можно заново развернуть
, со всеми сохраненными изменениями, совершенными в последней сессии.
К сожалению, ОС не очень хорошо справляется с очисткой лишних файлов, из-за чего, при длительном пользовании, приложения могут работать некорректно , а само быстродействие телефона значительно снизится . Для предотвращения этого, рекомендуется использовать сторонние программы , которые производят очистку, например, Clean Master.
В процессе работы с Android-устройствами (да и не только с ними) пользователи часто встречаются с таким термином как «кэш». Интернет переполнен программами и рекомендациями, предлагающими очистить кэш, удалить Cache, скачать игровой кэш и так далее. При этом многие пользователи часто даже не понимают, с чем имеют дело, механически выполняя требуемые от них операции. В этом материале я расскажу, что это такое кэшированные данные телефонах Андроид, каковы принципы работы с кэшом и как его удалить.
Каждый раз, когда вы используете ваше Android-устройство для игр, работы с интернет-сайтами и так далее, ваш смартфон сохраняет определённую информацию о них у себя в памяти (настройки, копии страниц и так далее). Эти сохранённые данные позволяют ускорить работу с данным сайтом, приложением и так далее, ведь теперь нет необходимости всякий раз загружать их заново, а можно воспользоваться данными о них, уже находящимися в памяти телефона. Такие данные называются «кэшированными данными», и расположены они в промежуточном буфере с быстрым доступом, который и называется «кэшем».
Соответственно, кэшированные данные – это информация, полученная из какого-либо сайта или приложения, находящаяся в памяти вашего мобильного устройства Андроид. Эти данные будут востребованы при входе на сайт, настройки и страницы которого были кэшированы прежде, при запуске приложения, данные о котором были кэшированы ранее и так далее.
При этом, если мы имеем дело с «кэшем» какой-либо игры, то в данном случае имеется ввиду игровой архив, содержащий текстуры, графику, аудио, видео, настройки игры и прочее подобное. Причём в большинстве случаев без такого «кэша» игра просто не запустится, потому необходимо не только иметь кэш игры, но и установить его по нужному адресу, описанному в инструкции к игре.
Для корректного запуска игры не забудьте установить кэш
Зачем нужно очищать кэш?
После того, как мы определились с тем, что это такое кэш и что значит кэшированные данные на телефоне. Необходимо разъяснить вопрос о том, зачем необходимо регулярно чистить кэш и удалять данные с него.
Также вам обязательно нужно знать для чего необходима папка занимающее более ГБ памяти вашего устройства и как удалив её освободить значимую часть памяти Андроид устройства.
В процессе работы вашего устройства его Cache начинает переполняться множеством разнообразных данных. Фотографии, которые вы когда-то смотрели, сайты, которые как-то посещали, приложения, которые запускали – все это оставляет след в памяти вашего устройства. Причём, в большинстве случаев, такие кэшированные данные лежат бесполезным грузом, ведь существует множество сайтов, которые мы посетили только раз, приложения, которые запускали только раз, фото, которые более не посмотрим и так далее.
Поэтому, дабы кэшированные данные не забивали память вашего устройства под завязку и не способствовали появлению ошибки , рекомендуется регулярно чистить кэш. Как это сделать я расскажу ниже.
Как удалить кэшированные данные
Определившись с тем, что означают кэшированные данные и зачем необходимо очищать Cache, рассмотрим вопрос эффективной очистки кэша.
Очистку кэша можно выполнить несколькими способами, а именно:
Теперь мы разобрались, что значит очистить кэшированные данные на телефоне, и с помощью каких методов это можно сделать.
Заключение
Выше я подробно разобрал что это кэшированные данные на телефоне, для чего они служат, и каким образом их можно удалить. Несмотря на полезный характер использования кэша, его необходимо регулярно очищать с целью профилактики переполнения устройства ненужными данными. Скачайте для этого удобную программу из упомянутых выше, настройте автоматическую очистку Cache раз в сутки – и проблема с кэшем на вашем устройстве будет эффективно решена.
Вконтакте
Кэширование используется для ускорения доступа к оперативной памяти, диску и другим видам запоминающих устройств. Кэширование представляет собой накопление данных в доступном хранилище, с целью их быстрого извлечения по мере надобности.
В качестве кэша используются разные устройства: для уменьшения среднего времени доступа к оперативной памяти – быстродействующая статическая память; для ускорения доступа к данным на диске – буферы в оперативной памяти. Виртуальная память также является одним из вариантов реализации принципа кэширования данных. В этом случае оперативная память выступает в роли кэша по отношению к внешней памяти (диску), и кэширование используется для частичной замены оперативной памяти диском за счет перемещения временно неиспользуемого кода и данных на диск с целью освобождения места для активных процессов. Содержимое стандартной кэш-памяти представляет собой совокупность записей о загруженных в нее элементах данных из основной памяти (рис.5.26.). Каждая запись об элементе данных включает:
Значение элемента данных;
Адрес элемента данных в основной памяти;
Дополнительную информацию, используемую для реализации алгоритма замещения данных в кэше (признак модификации и признак действительности данных).
При каждом обращении к основной памяти по физическому адресу просматривается содержимое кэш-памяти с целью определения требуемых данных. Поиск в кэш-память осуществляется по содержимому – по взятому из запроса значению поля адреса в оперативной памяти. Если данные обнаруживаются в кэш-памяти, произошло кэш-попадание (cache-hit ), то они считываются и результат передается источнику запроса. Если нужные данные отсутствуют, произошел кэш-промах (cache-miss ), то они считываются из основной памяти, передаются источнику запроса и одновременно с этим копируются в кэш-память.
Эффективность кэширования и среднее время доступа к данным в системе зависят от вероятности попадания в кэш. Поэтому использование кэш-памяти эффективно только при высокой вероятности кэш-попадания. Вероятность обнаружения данных в кэше зависит от следующих факторов: от объемов кэша и кэшируемой памяти, от алгоритма замещения данных в кэше, от особенностей выполняемой программы и времени ее работы, от уровня мультипрограммирования и других особенностей вычислительного процесса. В большинстве реализаций кэш-памяти процент кэш-попаданий выше 90%, это объясняется наличием у данных объективных свойств: пространственной и временной локальности.
Временная локальность характеризуется признаком: если произошло обращение по некоторому адресу, то следующее обращение по тому же адресу с большой вероятностью произойдет в ближайшее время. Пространственная локальность характеризуется признаком: если произошло обращение по некоторому адресу, то с высокой степенью вероятности в ближайшее время произойдет обращение к соседним адресам.
В начале работы системы каждый запрос к основной памяти выполняет последовательно следующие действия: просмотр кэша, фиксацию промаха, чтение данных из основной памяти, передачу результата источнику запроса и копирование данных в кэш. Используя свойство временной локальности данные, считанные из основной памяти, размещаются в кэш-памяти, предполагая, что скоро понадобятся. По мере заполнения кэша, возрастает вероятность обращения к уже использованным данным, которые содержатся в кэше и могут быть считаны.
При выполнении программы высока вероятность выбора команд из памяти последовательно из соседних ячеек, поэтому в кэш-память загружается не одна запрошенная команда, а целый фрагмент программы, то есть используется свойство пространственной локальности. Аналогично если программа ведет обработку некоторого массива данных, то ее работа значительно ускорится путем загрузки в кэш части или всего массив данных. При этом учитывается высокая вероятность того, что значительное число обращений к памяти будет выполняться к адресам массива данных.
В процессе работы содержимое кэш-памяти постоянно обновляется, так как периодически происходит вытеснение данных. Вытеснение означает объявление свободной определенной области кэш-памяти. Если вытесняемые данные не были изменены, производится сброс бита действительности. Если вытесняемые данные за время нахождения в кэше были изменены (модифицированы) дополнительно производится копирование данных в основную память. Алгоритм замены данных в кэш-памяти существенно влияет на ее эффективность, поэтому он должен быть максимально быстрым и обеспечивать максимально возможную вероятность кэш-попаданий.
Наличие в памяти двух копий данных (в оперативной памяти и в кэше) порождает проблему согласования данных. Если происходит запись в основную память по некоторому адресу, а содержимое этой ячейки находится в кэше, то в результате соответствующая запись в кэше становится недостоверной. Существует два подхода к решению этой проблемы:
1.Сквозная запись (write through ). При каждом запросе к основной памяти и при записи в нее просматривается кэш. Если данные по запрашиваемому адресу отсутствуют, то запись выполняется только в основную память. Если же данные, к которым выполняется обращение, находятся в кэше, то запись выполняется одновременно в кэш и основную память.
2.Обратная запись (write back ). При возникновении запроса к памяти выполняется просмотр кэша. Если запрашиваемых данных отсутствуют, то запись выполняется только в основную память. В ином случае запись производится только в кэш-память, при этом в описателе данных делается специальная отметка (признак модификации), которая указывает на то, что при вытеснении этих данных из кэша необходимо переписать их в основную память.
В некоторых алгоритмах замещения предусматривается первоочередная выгрузка модифицированных данных, которые могут выгружаться при освобождении места в кэш-памяти для новых данных и в фоновом режиме, когда система не очень загружена.
Алгоритм поиска и алгоритм замещения данных в кэше зависят от способа отображения основной памяти на кэш-память. Используются следующие схемы отображения:
1.Случайное отображение . Элемент оперативной памяти и его адрес размещается в произвольном месте кэш-памяти. Критерием поиска в кэше является адрес оперативной памяти из запроса. Для поиска запрошенных данных используется алгоритм ассоциативного поиска , при котором сравнения с записями кэша выполняются параллельно. Признак (адрес данных в оперативной памяти), по которому выполняется сравнение, называется тегом (tag ). Вытеснение устаревших данных происходит только в случае, полного заполнения кэш-памяти. Выбор данных на выгрузку осуществляется среди всех записей кэша и основывается на приемах, аналогичных алгоритмам замещения страниц. Электронная реализация схемы приводит к удорожанию памяти, поэтому ассоциативная кэш-память используется в случаях, когда для обеспечения высокого процента попадания достаточно небольшого объема памяти.
2.Детерминированное отображение . Элемент основной памяти всегда отображается в одно и то же место кэш-памяти. Кэш-память разделена на строки, каждая из которых имеет свой номер и предназначена для хранения одной записи об одном элементе данных. Между номерами строк кэш-памяти и адресами оперативной памяти устанавливается соответствие «один ко многим»: одному номеру строки соответствует несколько адресов оперативной памяти. Отображение осуществляется при помощи специальных функций, например, путем простого выделения нескольких разрядов из адреса оперативной памяти, которые интерпретируются как номер строки кэш-памяти.
Для поиска данных в кэше используется прямой доступ к записи по номеру строки, полученному путем обработки адреса оперативной памяти из запроса. Но в найденной строке могут находиться данные из любой ячейки оперативной памяти, младшие разряды адреса которой совпадают с номером строки, поэтому дополнительно выполняется проверка. Для выполнения проверки каждая строка кэш-памяти дополняется тегом, содержащим старшую часть адреса данных в оперативной памяти. При совпадении тега с соответствующей частью адреса из запроса констатируется кэш-попадание. Если произошел кэш-промах, то данные считываются из оперативной памяти и копируются в кэш. Если строка кэш-памяти, в которую должен быть скопирован элемент данных из оперативной памяти, содержит другие данные, то они вытесняются из кэша.
3.Комбинированное отображение . В современных процессорах кэш-память строится на основе соединения обоих подходов. В этом случае произвольный адрес оперативной памяти отображается на некоторую пронумерованную группу адресов, и поиск в кэше производится в два этапа:
По номеру группы, полученному из адреса оперативной памяти из запроса;
В пределах группы путем ассоциативного просмотра всех записей в группе на случай совпадения старших частей адресов оперативной памяти.
При промахе данные копируются по свободному адресу из однозначно заданной группы. Если свободных адресов в группе нет, то выполняется вытеснение данных по определенным алгоритмам.
Что такое кэш? Можно ли очищать кэш приложений на телефоне андроиде? Да можно. Нужно ли очищать кэш на андроид? Нужно и ненужно.
Почему нужно и ненужно, и как поступать вам, определите, дочитав эту запись до конца, хотя принцип простой: очистив кеш получите больше памяти, но может снизится скорость доступа к данным.
Количество приложений, в большинство владельцев постоянно увеличивается. Иногда настолько велико, что приводит к замедлению системы.
Поэтому, вы должны избавляться от них периодически. В более новых версиях можете сделать это с помощью одной кнопки.
Зайдите в «Настройки», затем в закладку память, после чего в кэш данных. Вас спросят о том, хотите ли избавиться от всех данных.
Этот шаг можно настроить на периодическое автоматическое повторение, что должно помочь держать систему в хорошем состоянии.
Как работает кэш
Кэш память приложений в телефоне андроид является относительно небольшая по сравнению с объемом памяти смартфона или планшета?
Ее задача сократить время доступа для обработки данных и свести к минимуму нагрузку на оперативную память, чтобы сделать ее доступной для других устройств.
Она сокращает разрыва между ростом производительности и скоростью доступа к носителям данных.
Использование кэш памяти имеет два преимущества: сокращение времени доступа и более эффективного использования с помощью встроенного алгоритма интеллектуального хранения данных.
Контроллер памяти определяет последовательность часто повторяющихся операций и в ходе выполнения перехватывает их и заменяет данными из кэша.
Таким образом, процессор сохраняет долгий путь доступа к основной памяти. Цикл в кэше выполняется во много раз быстрее, чем если бы оно было взято из основной памяти.
Что случится если удалить кеш
Ничего не случится, если вы удалите кеш памяти. Она представляет собой набор данных, которые являются «калькой» исходных значений, хранящихся в другом месте.
Другими словами, кэш является временным хранилищем, где часто используемые данные и могут быть сохранены для быстрого доступа к ним.
Кэширование устройств андроид является технологией, основанной на подсистеме памяти. Основная цель ускорить ваш андроид, чтобы выполнять задачи гораздо быстрее.
Чтобы понять основную концепцию кэширования, посмотрите на простой пример работы библиотекаря.
Когда приходит первый клиент за книгой, библиотекарь идет на склад и возвращается к прилавку с книгой чтобы дать ее клиенту.
Позже, клиент возвращается, чтобы вернуть книгу. Библиотекарь берет книгу относит на склад, возвращается к прилавку и ждет другого клиента.
Давайте предположим, что следующему клиенту, понадобилась именно эта же книга. Библиотекарь должен вернуться на склад обратно, чтобы опять взять книгу, и отнести новому клиенту.
Согласно этой модели, библиотекарь должен делать полный путь, чтобы приносить каждую книгу. Давайте нацепим на библиотекаря кэш – дадим ему рюкзак, в котором он сможет хранить 10 книг.
В этот рюкзак, он будет ставить книги, которые возвращают клиенты — максимум 10. Теперь, когда придет другой клиент, все что потребуется от библиотекаря, это взять книгу из рюкзака и дать клиенту, поэтому клиент обслуживается быстрее.
Примерно все так работает и на телефоне андроид. Как видите от объёма и очистки также многое зависит – уменьшается скорость обслуживания, в нашем случае это производительность системы андроида.
Поэтому вывод такой: очищать кэш на андроиде можно, но нужно ли его очищать – решать только вам. Успехов.
