fix(IMAP): оптимизация обработки email для предотвращения memory exhaustion

Корневая проблема: библиотека webklex/php-imap загружала все тела писем по умолчанию, что приводило к исчерпанию 256MB памяти при 50+ письмах. Решение (3 уровня): Уровень 1 - Конфигурация: - config/imap.php: добавлены fetch_body=false, fetch_flags=false, fetch_limit=20 - php.ini: увеличен memory_limit с 256M до 1G, добавлены OPcache настройки Уровень 2 - Оптимизация кода: - FetchUnreadEmailsTask: setFetchBody(false), лимиты, MemoryAwareTrait - FetchEmailNewsAction: batch-обработка (10 писем), gc_collect_cycles() - DownloadAttachmentsTask: lazy load вложений, extension whitelist (security) - ConnectToImapTask: MemoryAwareTrait для мониторинга Уровень 3 - Инфраструктура: - ProcessEmailNewsJob: queue job для асинхронной обработки (3 попытки, 300s timeout) - FetchEmailNewsCommand: поддержка --async режима - MemoryAwareTrait: reusable трейт для мониторинга памяти Security fixes: - Extension whitelist для предотвращения path traversal - Убраны реальные email из config/imap.php - Добавлена проверка на null message объект Docs: - README_EMAIL_OPTIMIZATION.md: полная документация по оптимизации Fixes: Allowed memory size of 268435456 bytes exhausted Co-authored-by: Qwen-Coder <qwen-coder@alibabacloud.com>
2026-04-06 22:08:03 +05:00
parent 4b071d9ef2
commit c115a5c7a7
14 changed files with 2143 additions and 47 deletions
@@ -0,0 +1,115 @@
+<?php
+
+namespace App\Containers\Dashboard\Tasks\Email;
+
+use App\Containers\Dashboard\Exceptions\EmailFetchException;
+use App\Containers\Dashboard\Traits\MemoryAwareTrait;
+use Webklex\PHPIMAP\Client;
+use Webklex\PHPIMAP\ClientManager;
+use Webklex\PHPIMAP\Folder;
+use Illuminate\Support\Facades\Log;
+
+/**
+ * Подключение к IMAP-серверу
+ *
+ * OPTIMIZATION: Добавлен мониторинг памяти для предотвращения утечек.
+ */
+class ConnectToImapTask
+{
+    use MemoryAwareTrait;
+    /**
+     * Подключиться к IMAP-серверу
+     *
+     * @param string|null $accountName Имя аккаунта из config/imap.php
+     * @return Client IMAP клиент
+     * @throws EmailFetchException
+     */
+    public function run(?string $accountName = null): Client
+    {
+        $accountName = $accountName ?? config('email-news.imap_account', 'email_news');
+
+        // Получаем конфиг для webklex/php-imap
+        $imapConfig = config('imap');
+
+        Log::info('[ConnectToImapTask] Попытка подключения к IMAP', [
+            'account' => $accountName,
+            'host' => $imapConfig['accounts'][$accountName]['host'] ?? 'unknown',
+        ]);
+
+        try {
+            // OPTIMIZATION: Логируем память до подключения
+            $this->logMemoryUsage('before_imap_connection', [
+                'account' => $accountName,
+            ]);
+
+            // Создаём ClientManager с явным конфигом
+            $clientManager = new ClientManager($imapConfig);
+            $client = $clientManager->account($accountName);
+            $client->connect();
+
+            Log::info('[ConnectToImapTask] Успешное подключение к IMAP', [
+                'account' => $accountName,
+            ]);
+
+            return $client;
+        } catch (\Exception $e) {
+            Log::error('[ConnectToImapTask] Ошибка подключения к IMAP', [
+                'account' => $accountName,
+                'error' => $e->getMessage(),
+            ]);
+
+            throw EmailFetchException::connectionFailed($e->getMessage());
+        }
+    }
+
+    /**
+     * Получить папку
+     *
+     * @param Client $client IMAP клиент
+     * @param string $folderName Имя папки
+     * @return Folder
+     * @throws EmailFetchException
+     */
+    public function getFolder(Client $client, string $folderName): Folder
+    {
+        Log::info('[ConnectToImapTask] Получение папки', [
+            'folder' => $folderName,
+        ]);
+
+        try {
+            // Пробуем получить папку напрямую
+            $folder = $client->getFolder($folderName);
+            
+            // Если не получилось, ищем в списке папок
+            if (!$folder) {
+                $folders = $client->getFolders();
+                foreach ($folders as $f) {
+                    if ($f->name === $folderName || $f->path === $folderName) {
+                        $folder = $f;
+                        break;
+                    }
+                }
+            }
+
+            if (!$folder) {
+                throw EmailFetchException::folderNotFound($folderName);
+            }
+
+            Log::info('[ConnectToImapTask] Папка получена успешно', [
+                'folder' => $folderName,
+                'fullName' => $folder->full_name ?? $folder->name ?? $folderName,
+            ]);
+
+            return $folder;
+        } catch (EmailFetchException $e) {
+            throw $e;
+        } catch (\Exception $e) {
+            Log::error('[ConnectToImapTask] Ошибка получения папки', [
+                'folder' => $folderName,
+                'error' => $e->getMessage(),
+            ]);
+
+            throw EmailFetchException::folderNotFound($folderName);
+        }
+    }
+}