Domů Procházet Nápověda
Registrovat se Přihlásit se
yichael
/
image-match
1
0
Rozštěpit 0
Soubory Úkoly 0 Pull Requesty 0 Wiki
Větev: master
Větve Značky
image-match
/
python
/
py
/
Lib
/
site-packages
/
tokenizers
/
pre_tokenizers
/
__init__.py

__init__.py 598 B
Trvalý odkaz Historie Surový

12345678910111213141516 
  1. # Generated content DO NOT EDIT
    2. 

  2. from .. import pre_tokenizers
    3. 

  3. 

  4. PreTokenizer = pre_tokenizers.PreTokenizer
    5. 

  5. BertPreTokenizer = pre_tokenizers.BertPreTokenizer
    6. 

  6. ByteLevel = pre_tokenizers.ByteLevel
    7. 

  7. CharDelimiterSplit = pre_tokenizers.CharDelimiterSplit
    8. 

  8. Digits = pre_tokenizers.Digits
    9. 

  9. FixedLength = pre_tokenizers.FixedLength
    10. 

  10. Metaspace = pre_tokenizers.Metaspace
    11. 

  11. Punctuation = pre_tokenizers.Punctuation
    12. 

  12. Sequence = pre_tokenizers.Sequence
    13. 

  13. Split = pre_tokenizers.Split
    14. 

  14. UnicodeScripts = pre_tokenizers.UnicodeScripts
    15. 

  15. Whitespace = pre_tokenizers.Whitespace
    16. 

  16. WhitespaceSplit = pre_tokenizers.WhitespaceSplit
    17.