Podręcznik PHP
PoprzedniNastępny

CXXVI. Funkcje Tokenizera

Wstęp

Funkcje tokenizera są interfejsem dostępu do wewnętrznego tokenizera wbudowanego w silniku Zend. Używając tych funkcji możesz napisać swoje własne narzędzia do analizy lub modyfikacji kodu PHP bez potrzeby zajmowania się specyfikacją języka na poziomie analizy leksykalnej.

Patrz także dodatek o tokenach.

Wymagania

Do zbudowania tego rozszerzenia nie są wymagane żadne zewnętrzne biblioteki.

Instalacja

Począwszy od PHP 4.3.0 funkcje te są dostępne domyślnie. Dla starszych wersji musisz skonfigurować i skompilować PHP z opcją --enable-tokenizer. Możesz wyłączyć wsparcie tokenizera opcją --disable-tokenizer.

PHP w wersji dla systemów Windows posiada wbudowaną obsługę dla tego rozszerzenia. Nie trzeba ładować żadnych dodatkowych rozszerzeń aby korzystać z tych funkcji.

Notatka: Wbudowane wsparcie dla tokenizera dostępne jest od PHP 4.3.0.

Stałe predefinopwane

Poniższe stałe są zdefiniowane w tym rozszerzeniu i stają się dostępne, gdy rozszerzenie jest dokompilowane do PHP, lub załadowane dynamicznie przy starcie.

T_INCLUDE (integer)

T_INCLUDE_ONCE (integer)

T_EVAL (integer)

T_REQUIRE (integer)

T_REQUIRE_ONCE (integer)

T_LOGICAL_OR (integer)

T_LOGICAL_XOR (integer)

T_LOGICAL_AND (integer)

T_PRINT (integer)

T_PLUS_EQUAL (integer)

T_MINUS_EQUAL (integer)

T_MUL_EQUAL (integer)

T_DIV_EQUAL (integer)

T_CONCAT_EQUAL (integer)

T_MOD_EQUAL (integer)

T_AND_EQUAL (integer)

T_OR_EQUAL (integer)

T_XOR_EQUAL (integer)

T_SL_EQUAL (integer)

T_SR_EQUAL (integer)

T_BOOLEAN_OR (integer)

T_BOOLEAN_AND (integer)

T_IS_EQUAL (integer)

T_IS_NOT_EQUAL (integer)

T_IS_IDENTICAL (integer)

T_IS_NOT_IDENTICAL (integer)

T_IS_SMALLER_OR_EQUAL (integer)

T_IS_GREATER_OR_EQUAL (integer)

T_SL (integer)

T_SR (integer)

T_INC (integer)

T_DEC (integer)

T_INT_CAST (integer)

T_DOUBLE_CAST (integer)

T_STRING_CAST (integer)

T_ARRAY_CAST (integer)

T_OBJECT_CAST (integer)

T_BOOL_CAST (integer)

T_UNSET_CAST (integer)

T_NEW (integer)

T_EXIT (integer)

T_IF (integer)

T_ELSEIF (integer)

T_ELSE (integer)

T_ENDIF (integer)

T_LNUMBER (integer)

T_DNUMBER (integer)

T_STRING (integer)

T_STRING_VARNAME (integer)

T_VARIABLE (integer)

T_NUM_STRING (integer)

T_INLINE_HTML (integer)

T_CHARACTER (integer)

T_BAD_CHARACTER (integer)

T_ENCAPSED_AND_WHITESPACE (integer)

T_CONSTANT_ENCAPSED_STRING (integer)

T_ECHO (integer)

T_DO (integer)

T_WHILE (integer)

T_ENDWHILE (integer)

T_FOR (integer)

T_ENDFOR (integer)

T_FOREACH (integer)

T_ENDFOREACH (integer)

T_DECLARE (integer)

T_ENDDECLARE (integer)

T_AS (integer)

T_SWITCH (integer)

T_ENDSWITCH (integer)

T_CASE (integer)

T_DEFAULT (integer)

T_BREAK (integer)

T_CONTINUE (integer)

T_OLD_FUNCTION (integer)

T_OLD_FUNCTION is not defined in PHP 5.

T_FUNCTION (integer)

T_CONST (integer)

T_RETURN (integer)

T_USE (integer)

T_GLOBAL (integer)

T_STATIC (integer)

T_VAR (integer)

T_UNSET (integer)

T_ISSET (integer)

T_EMPTY (integer)

T_CLASS (integer)

T_EXTENDS (integer)

T_OBJECT_OPERATOR (integer)

T_DOUBLE_ARROW (integer)

T_LIST (integer)

T_ARRAY (integer)

T_LINE (integer)

T_FILE (integer)

T_COMMENT (integer)

T_ML_COMMENT (integer)

T_ML_COMMENT is not defined in PHP 5. All comments in PHP 5 are of token T_COMMENT.

T_DOC_COMMENT (integer)

T_DOC_COMMENT was introduced in PHP 5.

T_OPEN_TAG (integer)

T_OPEN_TAG_WITH_ECHO (integer)

T_CLOSE_TAG (integer)

T_WHITESPACE (integer)

T_START_HEREDOC (integer)

T_END_HEREDOC (integer)

T_DOLLAR_OPEN_CURLY_BRACES (integer)

T_CURLY_OPEN (integer)

T_PAAMAYIM_NEKUDOTAYIM (integer)

T_DOUBLE_COLON (integer)

T_INTERFACE (integer)

PHP 5 only.

T_IMPLEMENTS (integer)

PHP 5 only.

T_CLASS_C (integer)

PHP 5 only.

T_FUNC_C (integer)

PHP 5 only.

T_METHOD_C (integer)

PHP 5 only.

T_ABSTRACT (integer)

PHP 5 only.

T_CATCH (integer)

PHP 5 only.

T_FINAL (integer)

PHP 5 only.

T_INSTANCEOF (integer)

PHP 5 only.

T_PRIVATE (integer)

PHP 5 only.

T_PROTECTED (integer)

PHP 5 only.

T_PUBLIC (integer)

PHP 5 only.

T_THROW (integer)

PHP 5 only.

T_TRY (integer)

PHP 5 only.

T_CLONE (integer)

PHP 5 only.

Przykłady

Poniżej prosty skrypt PHP używający tokenizera który wczyta plik PHP, usunie wszystkie komentarze ze źródła i wydrukuje tylko czysty kod.

Przykład 1. Usuwanie komentarzy przy pomocy tokenizera

<?php
  /* T_ML_COMMENT nie istnieje w PHP 5.
   * Następujące trzy linie definiują tą stała by zachować kompatybilność
   * wsteczną.
   *
   * Kolejne dwie linie definiują istniejącą tylko w PHP 5 stałą
   * T_DOC_COMMENT, którą w PHP 4 podmienimy jako T_ML_COMMENT.
   */
  if (!defined('T_ML_COMMENT')) {
    define('T_ML_COMMENT', T_COMMENT);
  } else {
    define('T_DOC_COMMENT', T_ML_COMMENT);
  }

  $kod = file_get_contents("jakisplik.php");
  $tokeny = token_get_all($kod);

  foreach ($tokeny as $token) {
    if (is_string($token)) {
      // prosty token jednoznakowy
      echo $token;
    } else {
      // tablica definiująca token
      list($id, $tekst) = $token;
      
      switch ($id) {
        case T_COMMENT:
        case T_ML_COMMENT: // to zdefiniowaliśmy
        case T_DOC_COMMENT: // to też
          // brak akcji dla komentarzy
          break;
        default:
          // wszystko inne -> drukuj "jakie jest"
          echo $tekst;
          break;
      }
    }
  }
?>
Spis treści
token_get_all -- Dzieli zadane źródło na tokeny PHP
token_name -- Zwraca symboliczną nazwę danego tokena PHP
PoprzedniSpis treściNastępny
tidyNode->isPhpPoczątek rozdziałutoken_get_all

Hosting by: Hurra Communications Sp. z o.o.
Generated: 2007-01-26 18:02:40