vendor/symfony/expression-language/Lexer.php line 28

Open in your IDE?
  1. <?php
  3. /*
  4.  * This file is part of the Symfony package.
  5.  *
  6.  * (c) Fabien Potencier <fabien@symfony.com>
  7.  *
  8.  * For the full copyright and license information, please view the LICENSE
  9.  * file that was distributed with this source code.
  10.  */
  12. namespace Symfony\Component\ExpressionLanguage;
  14. /**
  15.  * Lexes an expression.
  16.  *
  17.  * @author Fabien Potencier <fabien@symfony.com>
  18.  */
  19. class Lexer
  20. {
  21.     /**
  22.      * Tokenizes an expression.
  23.      *
  24.      * @return TokenStream
  25.      *
  26.      * @throws SyntaxError
  27.      */
  28.     public function tokenize(string $expression)
  29.     {
  30.         $expression = str_replace(["\r", "\n", "\t", "\v", "\f"], ' ', $expression);
  31.         $cursor = 0;
  32.         $tokens = [];
  33.         $brackets = [];
  34.         $end = \strlen($expression);
  36.         while ($cursor < $end) {
  37.             if (' ' == $expression[$cursor]) {
  38.                 ++$cursor;
  40.                 continue;
  41.             }
  43.             if (preg_match('/[0-9]+(?:\.[0-9]+)?([Ee][\+\-][0-9]+)?/A', $expression, $match, 0, $cursor)) {
  44.                 // numbers
  45.                 $number = (float) $match[0];  // floats
  46.                 if (preg_match('/^[0-9]+$/', $match[0]) && $number <= \PHP_INT_MAX) {
  47.                     $number = (int) $match[0]; // integers lower than the maximum
  48.                 }
  49.                 $tokens[] = new Token(Token::NUMBER_TYPE, $number, $cursor + 1);
  50.                 $cursor += \strlen($match[0]);
  51.             } elseif (false !== strpos('([{', $expression[$cursor])) {
  52.                 // opening bracket
  53.                 $brackets[] = [$expression[$cursor], $cursor];
  55.                 $tokens[] = new Token(Token::PUNCTUATION_TYPE, $expression[$cursor], $cursor + 1);
  56.                 ++$cursor;
  57.             } elseif (false !== strpos(')]}', $expression[$cursor])) {
  58.                 // closing bracket
  59.                 if (empty($brackets)) {
  60.                     throw new SyntaxError(sprintf('Unexpected "%s".', $expression[$cursor]), $cursor, $expression);
  61.                 }
  63.                 [$expect, $cur] = array_pop($brackets);
  64.                 if ($expression[$cursor] != strtr($expect, '([{', ')]}')) {
  65.                     throw new SyntaxError(sprintf('Unclosed "%s".', $expect), $cur, $expression);
  66.                 }
  68.                 $tokens[] = new Token(Token::PUNCTUATION_TYPE, $expression[$cursor], $cursor + 1);
  69.                 ++$cursor;
  70.             } elseif (preg_match('/"([^"\\\\]*(?:\\\\.[^"\\\\]*)*)"|\'([^\'\\\\]*(?:\\\\.[^\'\\\\]*)*)\'/As', $expression, $match, 0, $cursor)) {
  71.                 // strings
  72.                 $tokens[] = new Token(Token::STRING_TYPE, stripcslashes(substr($match[0], 1, -1)), $cursor + 1);
  73.                 $cursor += \strlen($match[0]);
  74.             } elseif (preg_match('/(?<=^|[\s(])not in(?=[\s(])|\!\=\=|(?<=^|[\s(])not(?=[\s(])|(?<=^|[\s(])and(?=[\s(])|\=\=\=|\>\=|(?<=^|[\s(])or(?=[\s(])|\<\=|\*\*|\.\.|(?<=^|[\s(])in(?=[\s(])|&&|\|\||(?<=^|[\s(])matches|\=\=|\!\=|\*|~|%|\/|\>|\||\!|\^|&|\+|\<|\-/A', $expression, $match, 0, $cursor)) {
  75.                 // operators
  76.                 $tokens[] = new Token(Token::OPERATOR_TYPE, $match[0], $cursor + 1);
  77.                 $cursor += \strlen($match[0]);
  78.             } elseif (false !== strpos('.,?:', $expression[$cursor])) {
  79.                 // punctuation
  80.                 $tokens[] = new Token(Token::PUNCTUATION_TYPE, $expression[$cursor], $cursor + 1);
  81.                 ++$cursor;
  82.             } elseif (preg_match('/[a-zA-Z_\x7f-\xff][a-zA-Z0-9_\x7f-\xff]*/A', $expression, $match, 0, $cursor)) {
  83.                 // names
  84.                 $tokens[] = new Token(Token::NAME_TYPE, $match[0], $cursor + 1);
  85.                 $cursor += \strlen($match[0]);
  86.             } else {
  87.                 // unlexable
  88.                 throw new SyntaxError(sprintf('Unexpected character "%s".', $expression[$cursor]), $cursor, $expression);
  89.             }
  90.         }
  92.         $tokens[] = new Token(Token::EOF_TYPE, null, $cursor + 1);
  94.         if (!empty($brackets)) {
  95.             [$expect, $cur] = array_pop($brackets);
  96.             throw new SyntaxError(sprintf('Unclosed "%s".', $expect), $cur, $expression);
  97.         }
  99.         return new TokenStream($tokens, $expression);
  100.     }
  101. }