Queremos compartir contigo la mejor solución que encontramos en línea. Nosotros deseamos que te sea de utilidad y si quieres comentarnos algo que nos pueda ayudar a crecer hazlo libremente.
Solución:
Creo que hay muchos buenos artículos sobre esto en la Web, pero aquí hay un breve resumen.
Tanto UTF-8 como UTF-16 son codificaciones de longitud variable. Sin embargo, en UTF-8 un carácter puede ocupar un mínimo de 8 bits, mientras que en UTF-16 la longitud del carácter comienza con 16 bits.
Principales ventajas de UTF-8:
- Los caracteres ASCII básicos como dígitos, caracteres latinos sin acentos, etc. ocupan un byte que es idéntico a la representación US-ASCII. De esta manera, todas las cadenas US-ASCII se vuelven UTF-8 válidas, lo que proporciona una compatibilidad con versiones anteriores decente en muchos casos.
- No null bytes, lo que permite utilizar nullcadenas terminadas, esto también introduce una gran cantidad de compatibilidad con versiones anteriores.
- UTF-8 es independiente del orden de los bytes, por lo que no tiene que preocuparse por el problema de Big Endian/Little Endian.
Principales contras de UTF-8:
- Muchos caracteres comunes tienen una longitud diferente, lo que ralentiza la indexación por punto de código y el cálculo de un recuento de punto de código terriblemente.
- Aunque el orden de los bytes no importa, a veces UTF-8 todavía tiene BOM (marca de orden de bytes) que sirve para notificar que el texto está codificado en UTF-8 y también rompe la compatibilidad con el software ASCII, incluso si el texto solo contiene caracteres ASCII. . Al software de Microsoft (como el Bloc de notas) le gusta especialmente agregar BOM a UTF-8.
Principales ventajas de UTF-16:
- Los caracteres BMP (plano multilingüe básico), incluidos el latín, el cirílico, la mayoría de los chinos (la República Popular China hizo obligatorio el soporte para algunos puntos de código fuera de BMP), la mayoría de los japoneses se pueden representar con 2 bytes. Esto acelera la indexación y el cálculo del recuento de puntos de código en caso de que el texto no no contener caracteres complementarios.
- Incluso si el texto tiene caracteres adicionales, todavía se representan por pares de valores de 16 bits, lo que significa que la longitud total aún es divisible por dos y permite usar 16 bits.
charcomo el componente primitivo de la string.
Principales contras de UTF-16:
- Un montón de null bytes en cadenas US-ASCII, lo que significa que no null-cadenas terminadas y mucha memoria desperdiciada.
- Usarlo como una codificación de longitud fija “funciona en su mayoría” en muchos escenarios comunes (especialmente en EE. UU./UE/países con alfabetos cirílicos/Israel/países árabes/Irán y muchos otros), lo que a menudo conduce a fallas en el soporte donde no es así. ¡Esto significa que los programadores deben conocer los pares sustitutos y manejarlos adecuadamente en los casos en que sea importante!
- Es de longitud variable, por lo que contar o indexar puntos de código es costoso, aunque menos que UTF-8.
En general, UTF-16 suele ser mejor para la representación en memoria porque BE/LE es irrelevante allí (solo use el orden nativo) y la indexación es más rápida (solo no olvide manejar los pares sustitutos correctamente). UTF-8, por otro lado, es extremadamente bueno para archivos de texto y protocolos de red porque no hay problemas de BE/LE y null-la terminación suele ser útil, así como la compatibilidad con ASCII.
Son simplemente diferentes esquemas para representar caracteres Unicode.
Ambos son de longitud variable: UTF-16 usa 2 bytes para todos los caracteres en el plano multilingüe básico (BMP) que contiene la mayoría de los caracteres de uso común.
UTF-8 usa entre 1 y 3 bytes para caracteres en BMP, hasta 4 para caracteres en el rango Unicode actual de U+0000 a U+1FFFFF, y es extensible hasta U+7FFFFFFF si eso llega a ser necesario… pero, en particular, todos los caracteres ASCII se representan en un solo byte cada uno.
A los efectos de un resumen de mensaje, no importará cuál de estos elija, siempre que todos los que intenten recrear el resumen usen la misma opción.
Consulte esta página para obtener más información sobre UTF-8 y Unicode.
(Tenga en cuenta que todos los caracteres de Java son puntos de código UTF-16 dentro del BMP; para representar los caracteres por encima de U+FFFF necesita usar pares suplentes en Java).
Seguridad: Use solo UTF-8
¿Diferencia entre UTF-8 y UTF-16? ¿Por qué necesitamos estos?
Ha habido al menos un par de vulnerabilidades de seguridad en las implementaciones de UTF-16. Ver Wikipedia para más detalles.
- CVE-2008-2938
- CVE-2012-2135
WHATWG y W3C ahora han declarado que solo se utilizará UTF-8 en la Web.
los [security] los problemas descritos aquí desaparecen cuando se usa exclusivamente UTF-8, que es una de las muchas razones por las que ahora es la codificación obligatoria para todas las cosas.
Otros grupos están diciendo lo mismo.
Entonces, aunque UTF-16 puede seguir siendo utilizado internamente por algunos sistemas como Java y Windows, el poco uso de UTF-16 que haya visto en el pasado para archivos de datos, intercambio de datos y demás, probablemente desaparecerá por completo.
Te invitamos a respaldar nuestro quehacer mostrando un comentario o dejando una puntuación te lo agradecemos.