fix(IMAP): оптимизация обработки email для предотвращения memory exhaustion

Корневая проблема: библиотека webklex/php-imap загружала все тела писем
по умолчанию, что приводило к исчерпанию 256MB памяти при 50+ письмах.

Решение (3 уровня):

Уровень 1 - Конфигурация:
- config/imap.php: добавлены fetch_body=false, fetch_flags=false, fetch_limit=20
- php.ini: увеличен memory_limit с 256M до 1G, добавлены OPcache настройки

Уровень 2 - Оптимизация кода:
- FetchUnreadEmailsTask: setFetchBody(false), лимиты, MemoryAwareTrait
- FetchEmailNewsAction: batch-обработка (10 писем), gc_collect_cycles()
- DownloadAttachmentsTask: lazy load вложений, extension whitelist (security)
- ConnectToImapTask: MemoryAwareTrait для мониторинга

Уровень 3 - Инфраструктура:
- ProcessEmailNewsJob: queue job для асинхронной обработки (3 попытки, 300s timeout)
- FetchEmailNewsCommand: поддержка --async режима
- MemoryAwareTrait: reusable трейт для мониторинга памяти

Security fixes:
- Extension whitelist для предотвращения path traversal
- Убраны реальные email из config/imap.php
- Добавлена проверка на null message объект

Docs:
- README_EMAIL_OPTIMIZATION.md: полная документация по оптимизации

Fixes: Allowed memory size of 268435456 bytes exhausted

Co-authored-by: Qwen-Coder <qwen-coder@alibabacloud.com>

app/Containers/Dashboard/Jobs/ProcessEmailNewsJob.php

@@ -0,0 +1,106 @@
+<?php
+
+namespace App\Containers\Dashboard\Jobs;
+
+use App\Containers\Dashboard\Actions\EmailNews\FetchEmailNewsAction;
+use App\Containers\Dashboard\Exceptions\EmailFetchException;
+use Illuminate\Bus\Queueable;
+use Illuminate\Contracts\Queue\ShouldQueue;
+use Illuminate\Foundation\Bus\Dispatchable;
+use Illuminate\Queue\InteractsWithQueue;
+use Illuminate\Queue\SerializesModels;
+use Illuminate\Support\Facades\Log;
+
+/**
+ * Queue Job для обработки email новостей
+ *
+ * OPTIMIZATION: Выносит тяжелую IMAP-обработку в queue worker,
+ * предотвращая переполнение памяти в веб-процессах.
+ *
+ * Usage:
+ *   ProcessEmailNewsJob::dispatch();
+ *   ProcessEmailNewsJob::dispatch()->onQueue('email-processing');
+ */
+class ProcessEmailNewsJob implements ShouldQueue
+{
+    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
+
+    /**
+     * Максимальное время выполнения (секунды)
+     */
+    public $timeout = 300; // 5 минут
+
+    /**
+     * Максимальное количество попыток
+     */
+    public $tries = 3;
+
+    /**
+     * Количество секунд ожидания перед повторной попыткой
+     */
+    public $backoff = 60; // 1 минута
+
+    /**
+     * Создать новую задачу
+     */
+    public function __construct()
+    {
+        // Параметры не требуются, все берется из конфига
+    }
+
+    /**
+     * Выполнить задачу
+     *
+     * @param FetchEmailNewsAction $fetchEmailNewsAction
+     * @return void
+     * @throws \Exception Если обработка не удалась (Laravel автоматически повторит)
+     */
+    public function handle(FetchEmailNewsAction $fetchEmailNewsAction): void
+    {
+        Log::info('[ProcessEmailNewsJob] Начало обработки job', [
+            'job_id' => $this->job?->getJobId() ?? 'unknown',
+            'attempt' => $this->attempts(),
+            'memory_limit' => ini_get('memory_limit'),
+        ]);
+
+        // Выполняем обработку — если выбросит исключение, Laravel автоматически повторит job
+        $result = $fetchEmailNewsAction->run();
+
+        Log::info('[ProcessEmailNewsJob] Обработка завершена успешно', [
+            'job_id' => $this->job?->getJobId() ?? 'unknown',
+            'processed_emails' => $result['processed_emails'],
+            'created_posts' => $result['created_posts'],
+            'skipped_emails' => $result['skipped_emails'],
+            'errors_count' => count($result['errors']),
+            'batches_processed' => $result['batches_processed'] ?? 0,
+            'peak_memory' => round(memory_get_peak_usage(true) / 1024 / 1024, 2) . 'MB',
+        ]);
+
+        // Если были ошибки, логируем их как warning
+        if (!empty($result['errors'])) {
+            foreach ($result['errors'] as $error) {
+                Log::warning('[ProcessEmailNewsJob] Ошибка обработки письма', [
+                    'subject' => $error['email_subject'] ?? 'unknown',
+                    'error' => $error['error'],
+                ]);
+            }
+        }
+    }
+
+    /**
+     * Обработка проваленной задачи (вызывается Laravel после исчерпания попыток)
+     *
+     * @param \Throwable $exception
+     * @return void
+     */
+    public function failed(\Throwable $exception): void
+    {
+        Log::critical('[ProcessEmailNewsJob] Job окончательно провален', [
+            'total_attempts' => $this->tries,
+            'error' => $exception->getMessage(),
+        ]);
+
+        // Здесь можно отправить уведомление администратору
+        // Notification::route('mail', 'admin@ntspi.ru')->notify(new EmailProcessingFailed($exception));
+    }
+}