Синтаксис регулярних виразів

Зміст
1. Вступ
2. Просте порівняння
3. Escape-послідовності
4. Перелік символів
5. Метасимволи
5.1. Метасимволи - раздільники рядків
5.2. Метасимволи - стандартний перелік символів
5.3. Метасимволи - границі слів
5.4. Метасимволи - повторення
5.5. Метасимволи - варіанти
5.6. Метасимволи - підвирази
5.7. Метасимволи - зворотні посилання
6. Модифікатори
7. Розширення Perl

Double Commander використовує вільну Delphi-бібліотеку TRegExpr Андрея В. Сорокина: http://www.regexpstudio.com/. Більшість з приведених далі пояснень і прикладів позичено з довідкового файла до цієї бібліотеки.

1. Вступ

Регулярні вирази — це поширений спосіб опису шаблонів для пошуку тексту і переверки відповідності тексту шаблону. Спеціальні метасимволи дозволяють визначити, наприклад, що Ви шукаєте підрядок на початку вхідного рядка чи певне число повторень підрядка.

Регулярні вирази призначені головним чином для професіоналів, однак можуть бути корисні і при роботі в офісі для пошуку певних документів (див. приклади нижче).

Double Commander підтримує регулярні вирази в наступних функціях:

2. Просте порівняння

Будь-який символ співпадає з самим собою, якщо він не відноситься до спеціальних метасимволів описаних трохи нижче.

Послідовність символів співпадає з такою ж послідовністю у вхідному рядку, так, що шаблон "bluh" співпадає з підрядком "bluh" у вхідному рядку. Поки, що все просто, чи не так?

Якщо необхідно, щоб метасимволи чи escape-послідовності сприймалися як звичайні символи, їх треба попереджувати символом "\", наприклад, метасимвол "^" зазвичай співпадає з початком рядків, однак, якщо записати його як "\^", то він буде співпадати з символом "^", "\\" співпадає з "\" і т.д.

Наприклад:

foobar знаходить 'foobar'
\^FooBarPtr знаходить '^FooBarPtr'

3. Escape-послідовності

Будь-який символ може бути визначений з допомогою escape послідовності, так само як це робиться у мовах C або Perl: "\n" означає початок рядка, "\t" — табуляцію і т.д.. Взагалі, \xnn, де nn це послідовність шістнадцятеричних цифр, означає символ з ASCII-кодом nn. Якщо необхідно визначити двухбайтний (Unicode) символ, використовуйте формат '\x{nnnn}', де 'nnnn' — одна або білльше шістнадцятеричних цифр.

\xnn символ з шістнадцятеричним кодом nn
\x{nnnn} символ з шістнадцятеричним кодом nnnn (більше одного байта можна задати тільки в режимі Unicode)
\t табуляція (HT/TAB), можна також \x09
\n новий рядок (NL), можна також \x0a
\r повернення каретки (CR), можна також \x0d
\f перевод формату (FF), можна також \x0c
\a дзвінок (BEL), можна також \x07
\e вихід (ESC), можна також \x1b

Наприклад:

foo\x20bar знаходить 'foo bar' (зверніть увагу на пробіл посередині)
\tfoobar знаходить 'foobar' попереджений табуляцією

4. Перелік символів

Ви можете визначити перелік, заключивши символи в []. Перелік буде співпадати з будь-яким одним символом перелічених у ньому.

Якщо перший символ переліку (одразу після "[") - "^", то такий перелік співпадає з будь-яким символом не перелічених у переліку.

Наприклад:

foob[aeiou]r знаходить 'foobar', 'foober' і т.д. але не 'foobbr', 'foobcr' і т.д.
foob[^aeiou]r знаходить 'foobbr', 'foobcr' і т.д.. але не 'foobar', 'foober' і т.д.

В середині переліку символ "-" може бути використаний для визначення діапазонів символів, наприклад a-z представляє всі символи між "a" і "z", включно.

Якщо Вам необходимо включити в перелік сам символ "-", помістіть його на початок або в кінець переліку або попередьте '\'. Якщо Вам необхідно помістити в перелік сам символ ']', помістіть його в самий початок чи попередьте '\'.

Наприклад:

[-az] 'a', 'z' і '-'
[az-] 'a', 'z' і '-'
[a\-z] 'a', 'z' і '-'
[a-z] всі 26 малих латинських літер від 'a' до 'z'
[\n-\x0D] #10, #11, #12, #13
[\d-t] цифра, '-' або 't'
[]-a] символ з діапазону ']'..'a'

5. Метасимволи

Метасимволи — це спеціальні символи, які являються важливішим поняттям в регулярних виразах. Існують кілька груп метасимволів.

5.1. Метасимволи - роздільники рядків

^ початок рядка
$ кінець рядка
\A початок тексту
\Z кінець тексту
. будь-який символ в рядку

Наприклад:

^foobar знаходить 'foobar' тільки якщо він на початку рядка
foobar$ знаходить 'foobar' тільки якщо він в кінці рядка
^foobar$ знаходить 'foobar' тільки якщо це єдине слово у рядку
foob.r знаходить 'foobar', 'foobbr', 'foob1r' і т.д.

Метасимвол "^" за замовчуванням співпадає тільки на початку вхідного тексту, а метасимвол "$" — тільки в кінці тексту. Внутрішні роздільники рядків, що маються в тексті, не будуть співпадати з "^" і "$".

Однак, якщо Вам необхідно працювати з текстом як с багаторядковим, щоб "^" співпадав після кожного роздільника рядка в середині тексту, а "$" — перед кожним роздільником, то Ви можете включити модифікатор /m.

Метасимволи \A і \Z аналогичні "^" і "$", але на них не діє модификатор /m, тоб то вони завжди співпадають тільки з початком і кінцем всього вхідного тексту.

Метасимвол "." за замовчуванням співпадає з будь-яким символом, однак, якщо Ви вимкнете модификатор /s, то '.' не буде співпадати з роздільником рядків.

TRegExpr інтерпритує роздільники рядків так, як це рекомендовано на www.unicode.org (http://www.unicode.org/unicode/reports/tr18/):

"^" співпадає з початком вхідного тексту, а також, якщо ввімкнений модификатор /m, з точкою безпосередньо слідуючої після \x0D\x0A, \x0A або \x0D (якщо Ви використовуєте Unicode-версію TRegExpr, то також \x2028 чи \x2029 чи \x0B чи \x0C чи \x85). Зверніть увагу, що він не співпадає в проміжку в середині послідовності \x0D\x0A.

"$" співпадає з кінцем вхідного тексту, а також, якщо ввімкнений модификатор /m, з точкою безпосередьно попередженої \x0D\x0A, \x0A чи \x0D (якщо Ви використовуєте Unicode-версию TRegExpr, то також \x2028 чи \x2029 чи \x0B чи \x0C или \x85). Зверніть увагу, що він не співпадає в проміжку в середині послідовності \x0D\x0A.

"." співпадає з будь-яким символом, але якщо вимкнений модификатор /s, то "." не співпадає з \x0D\x0A і \x0A і \x0D (якщо Ви використовуєете Unicode-версию TRegExpr, то не співпадає також з \x2028 і \x2029 і \x0B і \x0C і \x85).

Зверніть увагу, що "^.*$" (шаблон для пустого рядка) не співпадає з пустим рядком виду \x0D\x0A, але співпадає з \x0A\x0D.

Ви можете переналаштувати вище описану поведінку при обробці багаторядкових текстів — див. описання властивостей LineSeparators і LinePairedSeparator, скажімо, Ви можете переналаштуватися на використання тілько Unix-роздільників рядків \n або тільки DOS/Windows-роздільників \r\n чи змішаних роздільників (так і налаштовано за замовчуванням) чи взагалі визначити свої власні роздільники рядків!

5.2. Метасимволи - стандартний перелік символів

\w літерно-цифровий символ або "_"
\W не \w
\d цифровий символ
\D не \d
\s будь-який "пробільний" символ (за замовчуванням — [\t\n\r\f])
\S не \s

Стандартні переліки \w, \d и \s можна використовувати і в середині переліків символів.

Наприклад:

foob\dr знаходить 'foob1r', ''foob6r' і т.д. але не 'foobar', 'foobbr' і т.д.
foob[\w\s]r знаходить 'foobar', 'foob r', 'foobbr' і т.д. але не 'foob1r', 'foob=r' і т.д.

TRegExpr використовує властивості SpaceChars і WordChars для того, щоб визначити стандартні переліки \w, \W, \s, \S, т.е. Ви легко можете перевизначити склад цих переліків.

5.3. Метасимволи - границі слів

\b співпадає на границі слова
\B співпадає не на границі слова

Границі слова (\b) це точка між двума символами, один з яких задовільняє \w, а другий — \W (в будь-якому порядку), при цьому перед початком і після закінчення рядка мається на увазі \W.

5.4. Метасимволи - повторення

Після будь-якого єлементу регулярного виразу може слідувати дуже важливий тип метасимволу — повторювач. Використовуючи їх Ви можете визначити число допустимих повторень попереднього символа, метасимвола чи підвиразу.

* нуль чи більше разів ("жадібний"), те саме, що і {0,}
+ один чи більше разів ("жадібний"), те саме, що і {1,}
? нуль чи один раз ("жадібний"), те саме, що і {0,1}
{n} точно n разів ("жадібний")
{n,} не менше n разів ("жадібний")
{n,m} не менше n але не більше m разів ("жадібний")
*? нуль чи більше разів ("не жадібний"), те саме, що і {0,}?
+? один чи більше разів ("не жадібний"), те саме, що і {1,}?
?? нуль чи один раз ("не жадібний"), те саме, що і {0,1}?
{n}? точно n разів ("не жадібний")
{n,}? не менее n раз ("не жадібний")
{n,m}? не менше n але не більше m разів ("не жадібний")

Т.ч. {n,m} задає мінімум n повторів і максимум — m. Повторювач {n} єквівалентний {n,n} і задає точно n повторів. Повторювач {n,} задає мінимум n повторів. Теоретично величина параметрів n і m не обмежена, але рекомендується не задавати великі значення, оскольки в деяких ситуаціях це може вимагати сутьтевих витрат часу і ОЗУ при обробці такого повторювача у св’язку з рекурсивним характером работи.

Якщо фігурні дужки зустрічаються в "неправильному" місці, де вони не можуть бути сприйняті як повторювач, то вони сприймаються просто як символи.

Наприклад:

foob.*r знаходить 'foobar', 'foobalkjdflkj9r' і 'foobr'
foob.+r знаходить 'foobar', 'foobalkjdflkj9r' але не 'foobr'
foob.?r знаходить 'foobar', 'foobbr' і 'foobr' але не 'foobalkj9r'
fooba{2}r знаходить 'foobaar'
fooba{2,}r знаходить 'foobaar', 'foobaaar', 'foobaaaar' і т.д.
fooba{2,3}r знаходить 'foobaar', чи 'foobaaar' але не 'foobaaaar'

Невелике пояснення на рахунок "жадібності". "Жадібні" варіанти повторювачів намагаються захопити як можна більшу частину вхідного тексту, у той час як "не жадібні" — як можна меншу. Наприклад, 'b+' як і 'b*' можна застосувати до вхідного рядка 'abbbbc' найдуть 'bbbb', у той час як 'b+?' знайде тільки 'b', а 'b*?' — взагалі — пустий рядок; 'b{2,3}?' знайде 'bb', у той час як 'b{2,3}' знайде 'bbb'.

Ви можете переключити всі повторювачі у виразі в "не жадібний" режим, скориставшись модифікатором /g.

5.5. Метасимволи - варіанти

Ви можете визначити перелік вариантів, використовуючи метасимвол "|" для їх розділення, наприклад "fee|fie|foe" знайде "fee" чи "fie" чи "foe", (так само як "f(e|i|o)e"). В якості першого варіанту сприймається все від попереднього метасимвола "(" чи "[" чи від початку виразу до першого метасимвола "|", в якості останнього — все від останнього "|" до кінця виразу чи до найближчого метасимволу ")". Зазвичай, щоб не заплутатися, набір варіантів завжди заключають в дужки, навіть якщо без цього можна було б обійтися.

Варіанти пробуються починаючи з першого і спроби завершуються одразу ж як вийде підбрати такий при якому співпаде вся наступна частина виразу (докладніше див. Механізм роботи). Це означає, що варианти не обов’язково забезпечують "жадібну" поведінку. Наприклад, якщо застосувати вираз "foo|foot" до вхідного рядка "barefoot", то буде знайдено "foo" так як це перший варіант якийй дозволив співпасти всьому виразу.

Зверніть увагу, що метасимвол "|" сприймається як звичайний символ всередині переліку символів, наприклад, [fee|fie|foe] означає рівно те саме, що і [feio|].

Наприклад:

foo(bar|foo) знаходить 'foobar' чи 'foofoo'

5.6. Метасимволи - підвирази

Метасимволи ( ... ) можуть також використовуватися для задавання підвиразів — по завершенні пошуку виразу Ви можете звернутися будь-якого підвиразу використовуючи властивості MatchPos, MatchLen і Match, а також підставляти підвирази в деякий шаблон, використовуючи метод Substitute).

Підвирази нумеруються зліва направо, в порядку появи відкриваючих дужок.

Перший підвираз має номер '1' (вирази в цілому — '0', до нього можна звертатися в Substitute як '$0' так і '$&').

Наприклад:

(foobar){8,10} знаходить рядок який містить 8, 9 чи 10 копій 'foobar'
foob([0-9]|a+)r знаходить 'foob0r', 'foob1r' , 'foobar', 'foobaar', 'foobaar' і т.д.

5.7. Метасимволи - зворотні посилання

Метасимволи від \1 до \9 сприймаються як зворотні посилання. \<n> співпадає з раніш знайденим підвиразом #<n>.

Наприклад:

(.)\1+ знаходить 'aaaa' і 'cc'
(.+)\1+ також знаходить 'abab' і '123123'
(['"]?)(\d+)\1 знаходить "13" (в подвійних лапках), або '4' (в один. лапках) чи 77 (без лапок) і т.д.

6. Модифікатори

Модификатори служать для зміни режимів работи регулярних виразів.

Будь-який модифікатор може змінюватися з допомогою спеціальної конструкції (?...) в середині регулярного виразу.

i
регістро-незалежний режим (за замовчуванням використовує обрану в ОС мову за замовчуванням), (див. також InvertCase)
m
сприймати вхідний текст як багаторядковий, при цьому метасимволи "^" і "$" будут співпадати не тільки на початку і кінці тексту в цілому, але і на початку і в кінці всіх наявних в тексті рядків (див. також Раздільники рядків)
s
сприймать вхідний текст як один рядок. При цьому метасимвол "." співпадає з будь-яким символом, якщо ж цей модифікатор вимкнений, то він не співпадає с раздільниками рядків (див.також Роздільники рядків)
g
не стандартний модифікатор. Вимикаючи його Ви перемикаєте всі повторювачі в "не жадібний" режим (за замовчуванням цей модифікатор ввімкнений). Тобто якщо його відключити, то всі '+' працюють як '+?', '*' як '*?' і т.д.
x
дозволяє форматувати шаблон, щоб забезпечити більш легшу читабельність (див. опис нижче)
r
не стандартний модифікатор. Якщо ввімкнено, то діапазони виду 'а-я' включають також літеру 'ґ', 'А-Я' включають 'Ґ', а 'а-Я' включає взагалі всі українські літери

Модифікатор /x заставляє ігнорувати пробіли, табуляції і раздільники рядків, що дозволяє форматувати текст виразу. Крім того, якщо зустрічається символ #, то всі наступні символи до кінца рядка сприймаються як коментарй, наприклад:

	  (
		(abc) # Коментар 1
		  |   # Пробіли всередині виразу також ігноруються
		(efg) # Коментар 2
	  )

Цілком природньо, це означаєт що, якщо Вам необхідно вставити у вираз пробіл, табуляцію чи разділювач рядка чи #, то в розширеному (/x) режимі це можна зробити тільки попередивши їх '/' чи використовуючи /xnn (всередині переліку символів всі ці символи сприймаються як зазвичай).

7. Розширення Perl

(?imsxr-imsxr)

Дозволяє змінювати значення модифікаторів

Наприклад:

(?i)Saint-Petersburg знаходить 'Saint-petersburg' і 'Saint-Petersburg'
(?i)Saint-(?-i)Petersburg знаходить 'Saint-Petersburg' але не 'Saint-petersburg'
(?i)(Saint-)?Petersburg знаходить 'Saint-petersburg' і 'saint-petersburg'
((?i)Saint-)?Petersburg знаходить 'saint-Petersburg', але не 'saint-petersburg'

(?#text)

Коментар, просто ігнорується. Зверніть увагу, що в коментарі такого виду неможливо помістити символ ")", оскільки він сприймається як кінець коментаря.