Корневая проблема: библиотека webklex/php-imap загружала все тела писем по умолчанию, что приводило к исчерпанию 256MB памяти при 50+ письмах. Решение (3 уровня): Уровень 1 - Конфигурация: - config/imap.php: добавлены fetch_body=false, fetch_flags=false, fetch_limit=20 - php.ini: увеличен memory_limit с 256M до 1G, добавлены OPcache настройки Уровень 2 - Оптимизация кода: - FetchUnreadEmailsTask: setFetchBody(false), лимиты, MemoryAwareTrait - FetchEmailNewsAction: batch-обработка (10 писем), gc_collect_cycles() - DownloadAttachmentsTask: lazy load вложений, extension whitelist (security) - ConnectToImapTask: MemoryAwareTrait для мониторинга Уровень 3 - Инфраструктура: - ProcessEmailNewsJob: queue job для асинхронной обработки (3 попытки, 300s timeout) - FetchEmailNewsCommand: поддержка --async режима - MemoryAwareTrait: reusable трейт для мониторинга памяти Security fixes: - Extension whitelist для предотвращения path traversal - Убраны реальные email из config/imap.php - Добавлена проверка на null message объект Docs: - README_EMAIL_OPTIMIZATION.md: полная документация по оптимизации Fixes: Allowed memory size of 268435456 bytes exhausted Co-authored-by: Qwen-Coder <qwen-coder@alibabacloud.com>
162 lines
5.0 KiB
PHP
162 lines
5.0 KiB
PHP
<?php
|
|
|
|
namespace App\Containers\Dashboard\Traits;
|
|
|
|
use Illuminate\Support\Facades\Log;
|
|
|
|
/**
|
|
* Трейт для мониторинга использования памяти
|
|
*
|
|
* Добавляет методы для отслеживания потребления памяти
|
|
* и автоматической сборки мусора в Tasks и Actions.
|
|
*
|
|
* Usage:
|
|
* class MyTask {
|
|
* use MemoryAwareTrait;
|
|
*
|
|
* public function run() {
|
|
* $this->logMemoryUsage('start');
|
|
* // ... logic
|
|
* $this->collectGarbageIfNeeded();
|
|
* }
|
|
* }
|
|
*/
|
|
trait MemoryAwareTrait
|
|
{
|
|
/**
|
|
* Порог памяти для логирования (MB)
|
|
*/
|
|
private int $memoryLogThreshold = 100 * 1024 * 1024; // 100MB
|
|
|
|
/**
|
|
* Порог памяти для принудительной сборки мусора (MB)
|
|
*/
|
|
private int $gcThreshold = 400 * 1024 * 1024; // 400MB
|
|
|
|
/**
|
|
* Логировать текущее использование памяти
|
|
*
|
|
* @param string $context Контекст вызова (например, 'start', 'end', 'after_processing')
|
|
* @param array $extra Дополнительные данные для логирования
|
|
* @return void
|
|
*/
|
|
protected function logMemoryUsage(string $context, array $extra = []): void
|
|
{
|
|
$currentMemory = memory_get_usage(true);
|
|
$peakMemory = memory_get_peak_usage(true);
|
|
|
|
// Логируем только если превышен порог
|
|
if ($currentMemory > $this->memoryLogThreshold) {
|
|
Log::info('[MemoryMonitor] Использование памяти', [
|
|
'context' => $context,
|
|
'current' => round($currentMemory / 1024 / 1024, 2) . 'MB',
|
|
'peak' => round($peakMemory / 1024 / 1024, 2) . 'MB',
|
|
'memory_limit' => ini_get('memory_limit'),
|
|
...$extra,
|
|
]);
|
|
}
|
|
}
|
|
|
|
/**
|
|
* Принудительная сборка мусора при превышении порога
|
|
*
|
|
* @return bool Была ли выполнена сборка мусора
|
|
*/
|
|
protected function collectGarbageIfNeeded(): bool
|
|
{
|
|
$currentMemory = memory_get_usage(true);
|
|
|
|
if ($currentMemory > $this->gcThreshold) {
|
|
$memoryBefore = round($currentMemory / 1024 / 1024, 2);
|
|
|
|
// Принудительная сборка мусора
|
|
gc_collect_cycles();
|
|
|
|
$memoryAfter = round(memory_get_usage(true) / 1024 / 1024, 2);
|
|
$freed = round(($memoryBefore - $memoryAfter), 2);
|
|
|
|
Log::info('[MemoryMonitor] Сборка мусора выполнена', [
|
|
'memory_before' => $memoryBefore . 'MB',
|
|
'memory_after' => $memoryAfter . 'MB',
|
|
'freed' => $freed . 'MB',
|
|
]);
|
|
|
|
return true;
|
|
}
|
|
|
|
return false;
|
|
}
|
|
|
|
/**
|
|
* Проверить, не превышен ли лимит памяти
|
|
*
|
|
* @param float $usagePercent Процент использования (0.0 - 1.0)
|
|
* @return bool
|
|
*/
|
|
protected function isMemoryLimitExceeded(float $usagePercent = 0.8): bool
|
|
{
|
|
$memoryLimit = $this->parseMemoryLimit(ini_get('memory_limit'));
|
|
|
|
if ($memoryLimit === -1) {
|
|
// Без лимита
|
|
return false;
|
|
}
|
|
|
|
$currentMemory = memory_get_usage(true);
|
|
|
|
return $currentMemory > ($memoryLimit * $usagePercent);
|
|
}
|
|
|
|
/**
|
|
* Распарсить значение memory_limit из PHP ini
|
|
*
|
|
* @param string $value Значение из ini_get('memory_limit')
|
|
* @return int Размер в байтах (-1 если без лимита)
|
|
*/
|
|
private function parseMemoryLimit(string $value): int
|
|
{
|
|
$value = trim($value);
|
|
|
|
if ($value === '-1') {
|
|
return -1;
|
|
}
|
|
|
|
// Проверяем, что последний символ — цифра (значит уже в байтах)
|
|
$lastChar = strtolower(substr($value, -1));
|
|
if (ctype_digit($lastChar)) {
|
|
return (int) $value;
|
|
}
|
|
|
|
$number = (int) substr($value, 0, -1);
|
|
|
|
return match ($lastChar) {
|
|
'g' => $number * 1024 * 1024 * 1024,
|
|
'm' => $number * 1024 * 1024,
|
|
'k' => $number * 1024,
|
|
default => (int) $value,
|
|
};
|
|
}
|
|
|
|
/**
|
|
* Установить порог логирования памяти (MB)
|
|
*
|
|
* @param int $megabytes
|
|
* @return void
|
|
*/
|
|
protected function setMemoryLogThreshold(int $megabytes): void
|
|
{
|
|
$this->memoryLogThreshold = $megabytes * 1024 * 1024;
|
|
}
|
|
|
|
/**
|
|
* Установить порог сборки мусора (MB)
|
|
*
|
|
* @param int $megabytes
|
|
* @return void
|
|
*/
|
|
protected function setGcThreshold(int $megabytes): void
|
|
{
|
|
$this->gcThreshold = $megabytes * 1024 * 1024;
|
|
}
|
|
}
|