Maildir

Maildir
Тип	Архив электронных писем
Разработчик	Daniel J. Bernstein
Первый выпуск	2000

Maildir — это распространённый формат хранения электронной почты, не требующий монопольного захвата файла для обеспечения целостности почтового ящика при чтении, добавлении или изменении сообщений. Каждое сообщение хранится в отдельном файле с уникальным именем, а каждая папка представляет собой каталог. Вопросами блокировки файлов при добавлении, перемещении и удалении файлов занимается локальная файловая система. Все изменения делаются при помощи атомарных файловых операций, таким образом, монопольный захват файла ни в каком случае не нужен.

Внутренняя структура формата Maildir

Спецификации

Каталог Maildir (имя которого часто тоже Maildir), обычно имеет три подкаталога: tmp, new и cur.

Maildir

Оригинальная спецификация формата Maildir была написана Дэниэлом Бернштайном (Daniel J. Bernstein), автором qmail, djbdns, и других программ. Хотя исходная спецификация и писалась автором специально для своей программы qmail, она носит довольно общий характер, так что может быть реализована во многих программах.

Maildir++

Сэм Варшавчик (Sam Varshavchik), автор Courier Mail Server и других программ, написал расширение формата Maildir под названием Maildir++ для поддержки вложенных папок и квот на почту. В каталогах Maildir++ находятся подкаталоги с названиями, начинающимися с точки («.»), которые также являются папками Maildir++. Это расширение в этой связи является нарушением спецификации Maildir, в которой приводится исчерпывающий список возможного содержимого Maildir, но это совместимое отклонение и другое программное обеспечение, поддерживающее Maildir, поддерживает и Maildir++.

Технические операции

При доставке сообщения оно помещается в файл в подкаталоге tmp (например, SMTP сервером postfix), имя файла формируется из текущего времени, имени хоста, идентификатора процесса, создавшего этот файл, и некоторого случайного числа — таким образом, гарантируется уникальность имен файлов. После записи в файл всего сообщения создается жесткая ссылка на этот файл в каталоге new, а текущая ссылка из tmp удаляется — это делается для того, чтобы никакой другой процесс не смог прочитать содержимое сообщения до тех пор, пока оно не будет записано полностью. По такому же алгоритму при чтении сообщения (это может делать как MUA, так и другой MDA, предоставляющий доступ к Maildir по протоколу POP3 или IMAP) оно перемещается в каталог cur, при этом название файла изменяется: к нему добавляются пометки о прочтении, ответе, удалении и т. д.

Алгоритм генерации уникальных имен файлов сочетает в себе время и имя хоста.

Когда программа находит новые письма, то перемещает их в cur и добавляет информационный суффикс к имени файла перед тем как прочесть их.

Некорректное состояние при работе без блокировок

Daniel J. Bernstein проектировал Maildir так, чтобы несколько процессов могли безопасно производить запись параллельно, без какой бы то ни было явной блокировки и даже при использовании NFS. На практике это работает довольно хорошо, но может приводить к странностям. В процессе чтения структуры каталога любые файлы, которые будут переименованы между первым и последним системными вызовами readdir(), могут не появиться в списке файлов. Это заставляет читающий процесс поверить, что сообщение было удалено, в то время как на самом деле изменились только его флаги. Когда процесс считывает список сообщений снова, вдруг вновь появляется «удалённое» сообщение. Для устранения подобного рода проблем некоторые программы доступа к почте вводят свои собственные блокировки поверх Maildir. В Dovecot, например, вместе с Maildir используется собственная нестандартная система блокировок.

Совместимость с файловыми системами

Стандарт Maildir нельзя реализовать без модификации на системах, не поддерживающих двоеточия в именах файлов. Сюда входят Microsoft Windows и некоторые конфигурации Novell Storage Services.

В программах, работающих на таких системах, может использоваться альтернативный разделитель (такой как «;» или «-») и часто для его использования достаточно исправить программу, наложив простую заплату, поскольку речь идёт о свободном и открытом программном обеспечении.

Так как в настоящее время нет соглашений о том, какой символ использовать для альтернативного разделителя, то на таких системах могут быть проблемы взаимодействия между различными программами, поддерживающими Maildir. Но не всем работающим с Maildir программам нужно знать, какой разделитель используется, так как не всем программам нужно иметь возможность читать или модифицировать флаги сообщений ("read", "replied to" и т. д.). У программ, предназначенных только для доставки почты в Maildir, или программ архивации старых сообщений оттуда только на основе их даты не должно быть проблем с работой вне зависимости от используемого разделителя. В случае, если читать и изменять флаги сообщений нужно только почтовому клиенту, и если используется только один такой клиент, то никаких проблем взаимодействия при использовании нестандартного разделителя не будет.

Программное обеспечение, непосредственно поддерживающее Maildir

Почтовые серверы

• IMAP-сервер bincimap
• IMAP-сервер Dovecot
• SMTP- и IMAP-сервер Courier Mail Server, для которого был изобретён формат Maildir++
• SMTP-сервер Exim
• SMTP-сервер Postfix
• SMTP-сервер Qmail, для которого был изобретён формат Maildir
• Открытый кросс-платформенный (для *nix и Windows) SMTP- и POP3-сервер XMail
• SMTP-сервер MeTA1
• Почтовый сервер MagicMail

Агенты доставки

• Procmail
• Maildrop
• Getmail, агент получения и доставки почты с поддержкой Maildir, являющийся альтернативой программе Fetchmail
• mbsync
• OfflineIMAP
• mswatch
• mpop

Программы чтения почты

• Balsa, программа, прежде бывшая официальным пользовательским почтовым агентом GNOME (до Evolution)
• Cone, почтовая программа с curses-интерфейсом
• Gnus
• mailx
• GNUMail
• KMail, программа чтения почты KDE
• Mutt
• Evolution, официальный почтовый клиент GNOME
• Wanderlust

Утилиты индексирования и поиска в почте

• Beagle (software), может индексировать Maildir и многие другие форматы хранения информации
• Mairix, программа для индексирования и поиска сообщений электронной почты, сохранённых в формате Maildir, MH или mbox
• Mboxgrep, программа, которая может производить поиск в папках Maildir. Это подобно использованию grep.
• notmuch, программа для индексирования и поиска почтовых сообщений, сохранённых в Maildir
• mu, набор командострочных утилит для поисха в каталогах Maildir

Программное обеспечение, косвенно поддерживающее Maildir

Количество программ, которые могут использоваться вместе с Maildir, на самом деле гораздо больше, если учитывать взаимодействие этих программ друг с другом и роль протоколов сетевого доступа.

Например:

• Sendmail MTA не поддерживает никакого формата доставки почты (хотя многие думают, что поддерживает). Sendmail использует отдельный процесс доставки под названием mail.local. Вместо mail.local могут использоваться Procmail (и другие программы, поддерживающие Maildir), поэтому справедливо будет сказать, что Sendmail поддерживает Maildir в той же мере как и любой другой формат.
• Многие программы чтения почты не поддерживают Maildir, но поддерживают форматы удалённого доступа, такие как IMAP. Так как существуют разные хранилища почты IMAP, поддерживающие Maildir, то любая почтовая программа, поддерживающая IMAP, такая как Microsoft Outlook, Pine или Mozilla Thunderbird, может использоваться для доступа к папкам Maildir.
• Программа Fetchmail не поддерживает Maildir (или любой формат локальной доставки), но так как она разговаривает с SMTP-сервером или локальным агентом доставки, то любая из вышеупомянутых программ может использоваться для доставки почты от Fetchmail в Maildir.