fix(IMAP): оптимизация обработки email для предотвращения memory exhaustion
Корневая проблема: библиотека webklex/php-imap загружала все тела писем по умолчанию, что приводило к исчерпанию 256MB памяти при 50+ письмах. Решение (3 уровня): Уровень 1 - Конфигурация: - config/imap.php: добавлены fetch_body=false, fetch_flags=false, fetch_limit=20 - php.ini: увеличен memory_limit с 256M до 1G, добавлены OPcache настройки Уровень 2 - Оптимизация кода: - FetchUnreadEmailsTask: setFetchBody(false), лимиты, MemoryAwareTrait - FetchEmailNewsAction: batch-обработка (10 писем), gc_collect_cycles() - DownloadAttachmentsTask: lazy load вложений, extension whitelist (security) - ConnectToImapTask: MemoryAwareTrait для мониторинга Уровень 3 - Инфраструктура: - ProcessEmailNewsJob: queue job для асинхронной обработки (3 попытки, 300s timeout) - FetchEmailNewsCommand: поддержка --async режима - MemoryAwareTrait: reusable трейт для мониторинга памяти Security fixes: - Extension whitelist для предотвращения path traversal - Убраны реальные email из config/imap.php - Добавлена проверка на null message объект Docs: - README_EMAIL_OPTIMIZATION.md: полная документация по оптимизации Fixes: Allowed memory size of 268435456 bytes exhausted Co-authored-by: Qwen-Coder <qwen-coder@alibabacloud.com>
This commit is contained in:
+19
-1
@@ -42,7 +42,7 @@ return [
|
||||
'protocol' => env('EMAIL_NEWS_PROTOCOL', 'imap'),
|
||||
'encryption' => env('EMAIL_NEWS_ENCRYPTION', 'ssl'),
|
||||
'validate_cert' => env('EMAIL_NEWS_VALIDATE_CERT', true),
|
||||
'username' => env('EMAIL_NEWS_IMAP_USER', 'ilya-vavilov@internet.ru'),
|
||||
'username' => env('EMAIL_NEWS_IMAP_USER', ''),
|
||||
'password' => env('EMAIL_NEWS_IMAP_PASS', ''),
|
||||
'authentication' => null,
|
||||
'proxy' => [
|
||||
@@ -91,6 +91,24 @@ return [
|
||||
'open' => [
|
||||
'DISABLE_AUTHENTICATOR' => 'GSSAPI',
|
||||
],
|
||||
|
||||
// OPTIMIZATION: Fetch method - FT_PEEK prevents marking messages as read automatically
|
||||
// This also reduces memory usage by not loading full message bodies by default
|
||||
'fetch' => \Webklex\PHPIMAP\IMAP::FT_PEEK,
|
||||
|
||||
// OPTIMIZATION: Use UID as message key for better reliability
|
||||
'message_key' => 'id',
|
||||
|
||||
// OPTIMIZATION: Do not fetch message bodies by default
|
||||
// Bodies will be loaded only when explicitly needed (lazy loading)
|
||||
'fetch_body' => false,
|
||||
|
||||
// OPTIMIZATION: Do not fetch flags by default (reduces memory)
|
||||
'fetch_flags' => false,
|
||||
|
||||
// OPTIMIZATION: Limit number of messages fetched per query
|
||||
// Prevents memory overflow when processing large mailboxes
|
||||
'fetch_limit' => env('IMAP_FETCH_LIMIT', 20),
|
||||
],
|
||||
|
||||
/*
|
||||
|
||||
Reference in New Issue
Block a user