F4iljiandQwen-Coder
c115a5c7a7
Корневая проблема: библиотека webklex/php-imap загружала все тела писем по умолчанию, что приводило к исчерпанию 256MB памяти при 50+ письмах. Решение (3 уровня): Уровень 1 - Конфигурация: - config/imap.php: добавлены fetch_body=false, fetch_flags=false, fetch_limit=20 - php.ini: увеличен memory_limit с 256M до 1G, добавлены OPcache настройки Уровень 2 - Оптимизация кода: - FetchUnreadEmailsTask: setFetchBody(false), лимиты, MemoryAwareTrait - FetchEmailNewsAction: batch-обработка (10 писем), gc_collect_cycles() - DownloadAttachmentsTask: lazy load вложений, extension whitelist (security) - ConnectToImapTask: MemoryAwareTrait для мониторинга Уровень 3 - Инфраструктура: - ProcessEmailNewsJob: queue job для асинхронной обработки (3 попытки, 300s timeout) - FetchEmailNewsCommand: поддержка --async режима - MemoryAwareTrait: reusable трейт для мониторинга памяти Security fixes: - Extension whitelist для предотвращения path traversal - Убраны реальные email из config/imap.php - Добавлена проверка на null message объект Docs: - README_EMAIL_OPTIMIZATION.md: полная документация по оптимизации Fixes: Allowed memory size of 268435456 bytes exhausted Co-authored-by: Qwen-Coder <qwen-coder@alibabacloud.com>
107 lines
4.0 KiB
PHP
107 lines
4.0 KiB
PHP
<?php
|
|
|
|
namespace App\Containers\Dashboard\Jobs;
|
|
|
|
use App\Containers\Dashboard\Actions\EmailNews\FetchEmailNewsAction;
|
|
use App\Containers\Dashboard\Exceptions\EmailFetchException;
|
|
use Illuminate\Bus\Queueable;
|
|
use Illuminate\Contracts\Queue\ShouldQueue;
|
|
use Illuminate\Foundation\Bus\Dispatchable;
|
|
use Illuminate\Queue\InteractsWithQueue;
|
|
use Illuminate\Queue\SerializesModels;
|
|
use Illuminate\Support\Facades\Log;
|
|
|
|
/**
|
|
* Queue Job для обработки email новостей
|
|
*
|
|
* OPTIMIZATION: Выносит тяжелую IMAP-обработку в queue worker,
|
|
* предотвращая переполнение памяти в веб-процессах.
|
|
*
|
|
* Usage:
|
|
* ProcessEmailNewsJob::dispatch();
|
|
* ProcessEmailNewsJob::dispatch()->onQueue('email-processing');
|
|
*/
|
|
class ProcessEmailNewsJob implements ShouldQueue
|
|
{
|
|
use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
|
|
|
|
/**
|
|
* Максимальное время выполнения (секунды)
|
|
*/
|
|
public $timeout = 300; // 5 минут
|
|
|
|
/**
|
|
* Максимальное количество попыток
|
|
*/
|
|
public $tries = 3;
|
|
|
|
/**
|
|
* Количество секунд ожидания перед повторной попыткой
|
|
*/
|
|
public $backoff = 60; // 1 минута
|
|
|
|
/**
|
|
* Создать новую задачу
|
|
*/
|
|
public function __construct()
|
|
{
|
|
// Параметры не требуются, все берется из конфига
|
|
}
|
|
|
|
/**
|
|
* Выполнить задачу
|
|
*
|
|
* @param FetchEmailNewsAction $fetchEmailNewsAction
|
|
* @return void
|
|
* @throws \Exception Если обработка не удалась (Laravel автоматически повторит)
|
|
*/
|
|
public function handle(FetchEmailNewsAction $fetchEmailNewsAction): void
|
|
{
|
|
Log::info('[ProcessEmailNewsJob] Начало обработки job', [
|
|
'job_id' => $this->job?->getJobId() ?? 'unknown',
|
|
'attempt' => $this->attempts(),
|
|
'memory_limit' => ini_get('memory_limit'),
|
|
]);
|
|
|
|
// Выполняем обработку — если выбросит исключение, Laravel автоматически повторит job
|
|
$result = $fetchEmailNewsAction->run();
|
|
|
|
Log::info('[ProcessEmailNewsJob] Обработка завершена успешно', [
|
|
'job_id' => $this->job?->getJobId() ?? 'unknown',
|
|
'processed_emails' => $result['processed_emails'],
|
|
'created_posts' => $result['created_posts'],
|
|
'skipped_emails' => $result['skipped_emails'],
|
|
'errors_count' => count($result['errors']),
|
|
'batches_processed' => $result['batches_processed'] ?? 0,
|
|
'peak_memory' => round(memory_get_peak_usage(true) / 1024 / 1024, 2) . 'MB',
|
|
]);
|
|
|
|
// Если были ошибки, логируем их как warning
|
|
if (!empty($result['errors'])) {
|
|
foreach ($result['errors'] as $error) {
|
|
Log::warning('[ProcessEmailNewsJob] Ошибка обработки письма', [
|
|
'subject' => $error['email_subject'] ?? 'unknown',
|
|
'error' => $error['error'],
|
|
]);
|
|
}
|
|
}
|
|
}
|
|
|
|
/**
|
|
* Обработка проваленной задачи (вызывается Laravel после исчерпания попыток)
|
|
*
|
|
* @param \Throwable $exception
|
|
* @return void
|
|
*/
|
|
public function failed(\Throwable $exception): void
|
|
{
|
|
Log::critical('[ProcessEmailNewsJob] Job окончательно провален', [
|
|
'total_attempts' => $this->tries,
|
|
'error' => $exception->getMessage(),
|
|
]);
|
|
|
|
// Здесь можно отправить уведомление администратору
|
|
// Notification::route('mail', 'admin@ntspi.ru')->notify(new EmailProcessingFailed($exception));
|
|
}
|
|
}
|