fix(IMAP): оптимизация обработки email для предотвращения memory exhaustion

Корневая проблема: библиотека webklex/php-imap загружала все тела писем
по умолчанию, что приводило к исчерпанию 256MB памяти при 50+ письмах.

Решение (3 уровня):

Уровень 1 - Конфигурация:
- config/imap.php: добавлены fetch_body=false, fetch_flags=false, fetch_limit=20
- php.ini: увеличен memory_limit с 256M до 1G, добавлены OPcache настройки

Уровень 2 - Оптимизация кода:
- FetchUnreadEmailsTask: setFetchBody(false), лимиты, MemoryAwareTrait
- FetchEmailNewsAction: batch-обработка (10 писем), gc_collect_cycles()
- DownloadAttachmentsTask: lazy load вложений, extension whitelist (security)
- ConnectToImapTask: MemoryAwareTrait для мониторинга

Уровень 3 - Инфраструктура:
- ProcessEmailNewsJob: queue job для асинхронной обработки (3 попытки, 300s timeout)
- FetchEmailNewsCommand: поддержка --async режима
- MemoryAwareTrait: reusable трейт для мониторинга памяти

Security fixes:
- Extension whitelist для предотвращения path traversal
- Убраны реальные email из config/imap.php
- Добавлена проверка на null message объект

Docs:
- README_EMAIL_OPTIMIZATION.md: полная документация по оптимизации

Fixes: Allowed memory size of 268435456 bytes exhausted

Co-authored-by: Qwen-Coder <qwen-coder@alibabacloud.com>
This commit is contained in:
F4ilji
2026-04-06 22:08:03 +05:00
co-authored by Qwen-Coder
parent 4b071d9ef2
commit c115a5c7a7
14 changed files with 2143 additions and 47 deletions
+19 -1
View File
@@ -42,7 +42,7 @@ return [
'protocol' => env('EMAIL_NEWS_PROTOCOL', 'imap'),
'encryption' => env('EMAIL_NEWS_ENCRYPTION', 'ssl'),
'validate_cert' => env('EMAIL_NEWS_VALIDATE_CERT', true),
'username' => env('EMAIL_NEWS_IMAP_USER', 'ilya-vavilov@internet.ru'),
'username' => env('EMAIL_NEWS_IMAP_USER', ''),
'password' => env('EMAIL_NEWS_IMAP_PASS', ''),
'authentication' => null,
'proxy' => [
@@ -91,6 +91,24 @@ return [
'open' => [
'DISABLE_AUTHENTICATOR' => 'GSSAPI',
],
// OPTIMIZATION: Fetch method - FT_PEEK prevents marking messages as read automatically
// This also reduces memory usage by not loading full message bodies by default
'fetch' => \Webklex\PHPIMAP\IMAP::FT_PEEK,
// OPTIMIZATION: Use UID as message key for better reliability
'message_key' => 'id',
// OPTIMIZATION: Do not fetch message bodies by default
// Bodies will be loaded only when explicitly needed (lazy loading)
'fetch_body' => false,
// OPTIMIZATION: Do not fetch flags by default (reduces memory)
'fetch_flags' => false,
// OPTIMIZATION: Limit number of messages fetched per query
// Prevents memory overflow when processing large mailboxes
'fetch_limit' => env('IMAP_FETCH_LIMIT', 20),
],
/*