Analizador de texto online
Analiza texto en tokens de palabras y números, uno por línea.
Herramientas de texto Funciona en tu navegador
¿Qué hace un analizador de texto?
Analizar aquí significa tokenizar: la entrada se recorre buscando secuencias de letras y dígitos Unicode, todo lo demás actúa como separador y cada token aterriza en su propia línea. «Pedido #42 enviado» produce tres líneas: Pedido, 42, enviado. Los apóstrofos dentro de las palabras se conservan, así que «don’t» sigue entero. Los duplicados se listan cada vez que aparecen, en su orden original.
Cómo usar Analizador de texto
- 1 Pega un pasaje de prosa o contenido mixto.
- 2 El tokenizador elimina la puntuación y conserva las secuencias de letras y dígitos.
- 3 Recorre la salida de un token por línea en busca de lo que necesitas.
- 4 Copia la lista de tokens para tu siguiente paso.
Para qué sirve esta herramienta
- Extraer una lista de palabras de un pasaje.
- Tokenizar entradas para análisis o scripts.
- Contar o listar palabras distintas.
- Preparar texto para un procesamiento posterior.
Preguntas frecuentes
¿Qué cuenta como token?
Una secuencia ininterrumpida de letras y dígitos, con apóstrofos interiores permitidos para que «it’s» sobreviva como un solo token. Todo lo que hay entre tokens, de las comas a los emojis, actúa como separador.
¿Conserva los tokens duplicados?
Sí, cada aparición se mantiene, en el orden del documento. Pasa la salida por un eliminador de líneas duplicadas si quieres cada palabra listada una sola vez.
¿Maneja palabras con tildes o de otros idiomas?
El tokenizador reconoce las clases de letras Unicode, no solo ASCII, así que café, naïve, el cirílico y el texto CJK salen como tokens completos y no como fragmentos.
Herramientas relacionadas
Más Herramientas de texto
Más herramientas como esta:
Ver Herramientas de texto