Quitar caracteres como Enter y Tabulado

Varios usuarios han reportado problemas al generar un reporte, mediante una consulta SQL, donde el resultado de cada fila lo entrega en dos o más líneas. También las columnas quedan desplazadas, apareciendo filas con más columnas que las debidas.

La mayoría de las veces este problema se debe a que un dato extraído en el reporte contiene los caracteres de control Enter y/o Tabulado.

Para evitar este problema se debe de reemplazar el o los caracteres de control por un espacio o cualquier otro carácter (puede ser incluso carácter nulo).

El Enter está formado por un salto de línea (carácter 13) y un retorno de carro (carácter 10). Para quitarlo se debe de reemplazar esta secuencia de caracteres por un espacio o cualquier texto que se desee.

El Tabulado es representado con el carácter número 9, por lo que para quitarlo se reemplaza por un espacio o el carácter deseado.

Quitar caracteres de control (Enter y Tabulado) de columnas en una consulta con Oracle:

select datos_sin_problema, replace(nombre_del_campo, chr(13)||chr(10), ' ') dato_sin_enter, replace(nombre_del_campo, chr(9), ' ') dato_sin_tabulado, replace(replace(nombre_del_campo, chr(13)||chr(10), ' '), chr(9), ' ') dato_sin_enter_ni_tabulado from nombre_de_tabla;

En esta consulta se extraen el o los datos sin problemas, y los datos con problemas se extraen en 3 formas: quitando solo el Enter, quitando solo el Tabulado y por último quitando Enter y Tabulado. Se utilizan las funciones REPLACE para sustituir los caracteres, y CHR para obtener la representación del carácter. Los caracteres se concatenan con el operador ||.

Quitar caracteres de control (Enter y Tabulado) de columnas en una consulta con Microsoft Access:

select datos_sin_problema, replace(nombre_del_campo,chr(13) + chr(10), ' ') as dato_sin_enter, replace(nombre_del_campo,chr(9), ' ') as dato_sin_tabulado, replace(replace(nombre_del_campo, chr(13) + chr(10), ' '), chr(9), ' ') as dato_sin_enter_ni_tabulado from nombre_de_tabla;

Al igual que en Oracle, esta consulta se extraen el o los datos sin problemas, y para los datos que tienen problemas se extraen en 3 formas: solo Enter, solo Tabulado y por último Entero y Tabulado.

Se utilizan las funciones REPLACE para sustituir los caracteres, y CHR para obtener la representación del carácter. La diferencia es que el texto se concatena con el operador +.

La solución presentada corrige el problema, pero es preferible evitarlo. Antes que nada se debe de analizar si el campo en cuestión debería o no almacenar estos caracteres de control. Por ejemplo si se trata de nombre del cliente no lo debería tener, pero si se trata de observaciones es válido que lo tenga.

En caso de que no sea válido, es preferible corregir el problema de raíz. Si el sistema con que se introducen los datos permite caracteres de control, se recomienda modificar dicho sistema de manera de que antes de grabar se realice la “limpieza” del texto.

Una vez controlado el ingreso de los datos, se deberá corregir los datos que ya están almacenados con caracteres de control, para esto se utiliza una simple sentencia UPDATE con las funciones antes mostradas.

Quitar caracteres de control (Enter y/o Tabulado) con Oracle:

Quitar el carácter Enter con Oracle:

update nombre_tabla set nombre_del_campo = replace(nombre_del_campo, chr(13)||chr(10), ' ') where nombre_del_campo like '%' || chr(13)||chr(10) || '%';

Quitar el carácter Tabulado con Oracle:

update nombre_tabla set nombre_del_campo = replace(nombre_del_campo, chr(9), ' ') where nombre_del_campo like '%' || chr(9) ||'%';

Quitar ambos caracteres:

update nombre_tabla set nombre_del_campo = replace(nombre_del_campo, replace(nombre_del_campo, chr(13)||chr(10), ' '), chr(9), ' ') where nombre_del_campo like '%' || chr(9) ||'%' or nombre_del_campo like '%' || chr(13)||chr(10) || '%';

Quitar caracteres de control (Enter y/o Tabulado) con Microsoft Access:

Quitar el carácter Enter con Microsoft Access:

update nombre_tabla set nombre_del_campo = replace(nombre_del_campo, chr(13) + chr(10), ' ') where nombre_del_campo like '*' + chr(13) + chr(10) + '*';

Quitar el carácter Tabulado con Microsoft Access:

update nombre_tabla set nombre_del_campo = replace(nombre_del_campo, chr(9), ' ') where nombre_del_campo like '*' + chr(9) + '*';

Quitar ambos caracteres con Microsoft Access:

update nombre_tabla set nombre_del_campo = replace(nombre_del_campo, chr(9), ' ') where nombre_del_campo like '*' + chr(9) + '*' or nombre_del_campo like '*' + chr(13) + chr(10) + '*';

Si se desea quitar algún otro carácter de control, primero se deberá de identificar de cual carácter se trata y seguir los pasos presentados.

Separar los componentes de nombres de personas

Extraer los componentes de nombres de personas no es una tarea sencilla, aquí se mostrará una manera muy básica de separar los nombres propios en sus dos apellidos y nombres.

Para este caso se parte de la premisa que los componentes del nombre están separados por espacios, e ingresados siempre en el mismo orden: apellido uno, apellido dos, y nombres.

La idea del proceso es extraer el primer apellido a partir de la primer posición del nombre completo hasta antes de la primer ocurrencia del espacio.

Para extraer el segundo apellido se parte del texto que se encuentra a partir del primer espacio hasta la ubicación del siguiente espacio.

Y por ultimo para extraer los nombres se parte desde la posición siguiente al segundo espacio (largo del primer apellido + largo del segundo apellido + 2 espacios + 1) hasta el final de la cadena de texto.

Este método tiene grandes limitantes tales como:

• No extrae apellidos o nombres compuestos (ej: DEL CAMPO).
• El orden de los componentes es fijo para todos los casos.
• Genera anomalías cuando no existen algunos de los apellidos o nombres.

Separar nombres con Microsoft Excel en español:

Partiendo de que el nombre completo se encuentra en la columna A, se dejará el primer apellido en la columna B, el segundo apellido en la columna C, y los nombres en la columna D.

Primer Apellido (B2)_

=EXTRAE(ESPACIOS(A2); 1; HALLAR(" "; ESPACIOS(A2)) - 1)

Segundo Apellido (C2):

=EXTRAE(EXTRAE(ESPACIOS(A2); LARGO(B2) + 2; LARGO(A2)); 1; HALLAR(" "; EXTRAE(ESPACIOS(A2); LARGO(B2) + 2; LARGO(A2))) - 1)

Nombres (D2):

=EXTRAE(ESPACIOS(A2); LARGO(B2) + LARGO(C2) + 3; LARGO(A2))

Separar nombres con Microsoft Excel en inglés, Google Docs, OpenOffice.org Calc, Numbres:

Se parten de las mismas premisas que en ejemplo anterior.

Primer Apellido (B2):

=MID(TRIM(A2); 1; SEARCH(" "; TRIM(A2)) - 1)

Segundo Apellido (C2):

=MID(MID(TRIM(A2); LEN(B2) + 2; LEN(A2)); 1; SEARCH(" "; MID(TRIM(A2); LEN(B2) + 2; LEN(A2))) - 1)

Nombres (D2):

=MID(TRIM(A2); LEN(B2) + LEN(C2) + 3; LEN(A2))

Separar nombres con Oracle:

Se realizará una consulta con una lógica similar a la de las hojas de cálculo, la diferencia más importante radica en que no se dispone del valor de la celda anterior para conocer su largo.

SELECT nombre_completo, substr(nombre_completo, 1, instr(nombre_completo, ' ')-1) apellido_uno, substr(substr(nombre_completo, instr(nombre_completo, ' ') + 1), 1, instr(substr(nombre_completo, instr(nombre_completo, ' ') + 1), ' ') - 1) apellido_dos, substr(nombre_completo, instr(nombre_completo, ' ', instr(nombre_completo, ' ') + 1) + 1) nombres FROM (select 'martinez gonzalez martin' nombre_completo from dual);

Esta sentencia es para prueba, cuando se disponga de una tabla cambiar el contenido del from por la tabla donde se encuentre el nombre a procesar, y modificar los nombres de campos.

Separar Nombres con Microsoft Access:

Se realizará una consulta similar a la planteada en Oracle.

SELECT nombre_completo, mid(nombre_completo, 1, instr(nombre_completo, ' ') -1) as apellido_uno, mid(mid(nombre_completo, instr(nombre_completo, ' ') + 1), 1, instr(mid(nombre_completo, instr(nombre_completo, ' ') + 1), ' ')-1) as apellido_dos, mid(nombre_completo, instr(instr(nombre_completo, ' ') + 1, nombre_completo, ' ') + 1) as nombres FROM tabla_nombres;

Tomando los datos de una tabla llamada tabla_nombres que tiene un campo nombre_completo con contiene la información a dividir.

Otras alternativas:

Vale la pena comentar que otra forma muy básica de hacer este proceso es utilizar la herramienta de Microsoft Excel de separar texto en columnas. Aparte de ser muy básica esta operación se debe de hacer por procesos y no definida en formulas como la que aquí se presenta.

Próximamente se publicarán maneras más completas de realizar estas operaciones. Soluciones con mayor inteligencia son realizadas con algoritmos más complejos basados en árboles de decisión y redes neuronales.

Aprovecho el tema para ofrecer mis servicios profesionales para la normalización de nombres propios en bases de datos a gran escala, utilizando algoritmos que interpretan los componentes sin importar el orden, formato y cantidad de componentes del mismo. Lo complementan operaciones adicionales como la identificación del sexo, e identificación nombre repetidos aun cuando estén definidos en formas diferentes (nombres completos vs iniciales, con faltas de ortografía, por sonido, etc.).

Por consultas realizarlas por este correo

Ordenar datos por criterios externos arbitrarios

A continuación se mostrará una forma sencilla de ordenar una serie de datos por un criterio totalmente arbitrario, y que éste se pueda modificar según las necesidades del momento.

La idea del proceso es la siguiente:

• Crear una tabla que contenga al menos una columna los datos que se deben de ordenar, y en una segunda valores numéricos en la donde se definirá el orden.
• Cruzar la información a ordenar con la nueva tabla de manera de agregar una columna adicional con la información del orden.
• Ordenar los datos por la nueva columna.
• En caso que en el futuro se requiera modificar el orden, simplemente se cambia la numeración de la tabla donde está definido.

Solución para hojas de cálculo:

A modo de ejemplo se mostrará una lista de productos que cada uno de ellos tiene una categoría, se ordenarán los productos según un orden cualquiera que se le asignará a cada categoría. : El mismo está disponible en la siguiente dirección de Google Docs.
Para que se puedan ver las fórmulas ha quedado de libre edición, por lo que si ves algo extraño accede a la versión original (Archivo / Historial de Revisiones).
Para verlo en Microsoft Excel (español) se debe de exportar el documento como xls (Archivo / Exportar).

Los pasos son los siguientes:

1. Crear la lista donde se definirá el orden a aplicar. En el ejemplo se trata de la lista que se encuentra en la hoja Categorías. Definir el orden.
2. Crear una nueva columna en la lista de datos originales para posteriormente cruzar la información (columna Orden Externo).
3. Cruzar la información entre las dos tablas de manera de obtener el valor del orden de la segunda hoja. Esto se realizará utilizando la función BUSCARV (VLOOKUP en ingles):
   

   La formula para la busqueda es la siguiente:
   

   Versiones en español:
   

   =BUSCARV($C2; Categorías!$B$2:$D$9; 3; FALSO)
   

   Versiones en inglés:
   

   =VLOOKUP($C2; 'Categorías'!$B$2:$D$9; 3, 0; false)
   

   Siendo C la columna donde se encuentra la clave de búsqueda. En las columnas B y D de la hoja Categorias estarían la clave a buscar y dato resultante respectivamente.
   

   

4. Ordenar la tabla por la nueva columna calculada, adicional a este orden se le puede incluir otros. Para el caso del ejemplo el orden está definido por la columna Orden Externo y posteriormente Nombre Producto.

Solución para base de datos (SQL):

A nivel de base de datos la solución es más fácil, una vez creada la tabla (supongamos con los mismos nombres que la planilla de cálculo mostrada).
Simplemente se debe de hacer un Join entre ambas tablas y ordenar el resultado por el dato del orden.

SELECT Productos.Codigo, Productos.Nombre_Producto, Productos.Categoria, Categorias.Orden FROM Productos, Categorias WHERE Productos.Categoria = Categorias.Categoria ORDER BY Categorias.Orden, Productos.Nombre_Producto

Identificar siguiente día de la semana, siguiente lunes, siguiente martes, .. siguiente jueves, …, etc.

Hay veces que se requiere poder identificar la fecha correspondiente al, por ejemplo, siguiente jueves de la semana. Puede que nos interese compara la fecha de un pago con la del cierre de una remesa, o lo que sea.

Para el cálculo, la idea es la siguiente:

1. Identificar el día de la semana que "estamos parados" (ya sea la fecha actual o determinada fecha).
2. Sabiendo que una de las numeraciones para identificar los días de las semanas es 1: Domingo, 2: Lunes, 3: Martes, ..., 6:Viernes, 7: Sábado.
3. Contar la cantidad de días que distan, por ejemplo, del jueves de la semana en curso.
4. El valor resultante se lo sumamos a la fecha en cuestión. Hasta aquí tenemos la fecha correspondiente al jueves de la semana en curso.
5. Como se requiere el siguiente jueves, debemos ver si ya nos pasamos de ese día para ir a la semana siguiente sumando 7 días.

En el presente ejemplo está realizado para hallar el próximo jueves, si se requiere otro día se debe de cambiar las dos ocurrencias del número 5 correspondiente al jueves por el número correspondiente al día deseado según información del punto 2.

Cálculo en Microsoft Excel en español:

=A1 + 5 - DIASEM(A1; 1) + SI(DIASEM(A1; 1) > 5; 7; 0)

Este ejemplo se calcula según una fecha que se encuentra en la celda A1. Si se desea calcular sobre el día actual se cambia la celda por la función HOY.

=HOY() + 5 - DIASEM(HOY(); 1) + SI(DIASEM(HOY(); 1) > 5; 7; 0)

Cálculo en Google Docs, OpenOffice.org Calc, Microsoft Excel en inglés:

=A1 + 5 - WEEKDAY(A1; 1) + IF(WEEKDAY(A1; 1) > 5; 7; 0)

Este ejemplo se calcula según una fecha que se encuentra en la celda A1. Si se desea calcular sobre el día actual se cambia la celda por la función TODAY.

=TODAY() + 5 - WEEKDAY(TODAY(); 1) + IF(WEEKDAY(TODAY(); 1) > 5; 7; 0)

Cálculo en Oracle:

select to_date('20081113', 'yyyymmdd') + 5 - to_char(to_date('20081113', 'yyyymmdd'), 'd') + case when to_char(to_date('20081113', 'yyyymmdd'), 'd') > '5' then 7 else 0 end from dual;

Este ejemplo se calcula según una fecha fija. Si se desea calcular sobre el día actual se cambia la celda por la función SYSDATE.

select trunc(sysdate) + 5 - to_char(sysdate, 'd') + case when to_char(sysdate, 'd') > '5' then 7 else 0 end from dual;

Tener en cuenta que muchos de los lenguajes, ej C/C++, de programación no tienen implementada la función de sumar y restar días, en estos casos hay que desarrollarla.

Comparar o Restar horas de diferentes fechas

En varias ocasiones he visto problemas al realizar operaciones con fechas y horas, más precisamente cuando las horas son de diferentes fechas.

Por ejemplo, al restar dos horas cuando las fechas son diferentes, si intentas comparar las fechas y luego las horas restando unas y otras lo puedes hacer pero lleva un poco de lógica algo compleja.

La solución es extremadamente simple: la fecha y hora se deben de sumar generando un único dato del tipo fecha hora.

Esto se debe a que la mayoría de los sistemas para el almacenar un dato que contiene una fecha o una hora utilizan un mismo tipo de dato que contiene la fecha y hora integrada, y de manera visual por formatos se diferencian uno de otro.

Facilitará operaciones tales como:

- Calcular el tiempo transcurrido entre dos horas de igual o distintas fechas.

- Comparar dos horas de igual o distintas fechas.

- Obtener la fecha y hora máxima de un rango.

- Obtener la fecha y hora mínima de un rango.

- Obtener la fecha y hora media de un rango.

Cálculo en Microsoft Excel, Google Docs, OpenOffice.org Calc, Base de Datos:

Diferencia entre fechas (tiempo transcurrido desde la Hora Inicio de la Fecha Inicio hasta la Hora Fin de la Fecha Fin).

=(FechaFin+ HoraFin) – (FechaInicio + HoraInicio)

Comparar fechas, por ejemplo saber si la Hora de Fin es mayor a la Hora de Inicio.

=(FechaFin+ HoraFin) >= (FechaInicio + HoraInicio)

En programa que tanto las fechas como las horas se almacenan en cadenas de caracteres, a la fecha se le debe de concatenar la hora para poder compararlas.

Generar reportes por rangos variables

Una operación muy común al momento de recuperar datos es clasificar el resultado por rangos de valores dependiendo de un determinado criterio, ya sea para posteriormente agruparla o simplemente para saber en que categorías se encuentra.

Dentro de la Minería de Datos (datamining), podemos decir que estas operaciones están incluidas en las técnicas de Limpieza y Transformación de datos.

El proceso para identificar y agrupar los rangos es el siguiente:

1. Identificar el rango al que pertenece cada dato.

2. Agrupar por los criterios necesarios más la información del rango (paso opcional).

3. Realizar los cálculos de agregación de información necesarios (Suma, cuentas, promedios, máximos, mínimos, etc).

La forma "tradicional" de identificar el rango es hacer tantas condiciones como rangos existan, lo que lleva a un reporte complicado que depende de la cantidad de rangos, y ni hablar cuando hay que hacer cambios.

Como alternativa podemos realizar dicha operación utilizando una tabla auxiliar (lista) donde se definen los rangos, y luego mediante una misma consulta preguntar a que rango de dicha tabla pertenece cada valor.

Para cada rango se debe de realizar la siguiente pregunta:

valor_a_buscar "mayor o igual" rango_minimo Y valor_a_buscar "menor" rango_minimo

Cuando el resultado es verdadero se debe a que lo encontramos. Es muy importante no dejar huecos entre los rangos ni superponerlos para evitar perder información ni duplicarla respectivamente.

Solución para hojas de cálculo:

1. Se crea una nueva hoja, por ejemplo llamada RANGOS, donde tendremos tres columnas: A tendrá el rango mínimo, B el rango máximo, y C el nombre del rango.

2. Para buscar los rangos se debe de utilizar la BUSCARV (VLOOKUP en ingles), utilizando la característica del cuarto parámetro la cual habilita la búsqueda en rangos. Buscará el dato en la lista, de no encontrarlo nos dará el dato correspondiente al menor valor superior al que estamos buscando, aquí es muy importante tener ordenada la lista ya que de lo contrario no nos funcionará.

En la hoja donde tenemos nuestra información, se crea una nueva columna llamada Rango donde se ingresará la siguiente formula:

2.a. Formula en Microsoft Excel en Español:

=BUSCARV(B2;RANGOS!$A$2:$C$6;3;VERDADERO)

2.b. Fórmula en Google Docs, OpenOffice.org Calc, Microsoft Excel en inglés:

=VLOOKUP(B2; RANGOS.$A$2:$C$6; 3; 1)

3. En caso de necesitar agrupar la información, una vez identificado el rango, se crea una tabla dinámica que incluya esta nueva columna y se realiza el reporte. Las operaciones de agregación son provistas por la tabla dinámica (en caso de utilizar Microsoft Excel).

Hice un ejemplo con una lista de países agrupando según la información de su población y superficie, aquí queda disponible un documento de Google Docs

Para que se puedan ver las fórmulas ha quedado de libre edición, por lo que si ven algo extraño accede a la versión original (Archivo / Historial de Revisiones).

Solución para manejadores de base de datos:

1. Se crea la tabla para que contenga los rangos como mínimo con los campos que de la tabla de rangos.

2. Definir la información de los rangos ingresando los datos en la nueva tabla.

3. Al reporte (consulta) que se tenga simplemente se le debe de agregar la tabla de rangos y unirla (join) mediante:

and (valor >= rango_minimo and valor < rango_maximo)

O como un colaborador mencionó en sus comentarios:

and (valor between rango_minimo and (rango_maximo-1))

Ejemplo de reporte detallado:

select td.clave_dato, td.valor_dato, tr.nombre_rango from tabla_datos td, tabla_rangos tr where td.valor_dato >= tr.rango_minimo and td.valor_dato < tr.rango_maximo

4. En caso de requerir las agrupaciones, se deben de agrupar los datos y utilizar las operaciones de agregación necesarias.

select tr.nombre_rango, count(*) as cuenta_dato, sum(otro_valor) as suma_dato from tabla_datos td, tabla_rangos tr where td.valor_dato >= tr.rango_minimo and td.valor_dato < tr.rango_maximo group by tr.nombre_rango

Como siempre si desean mayor información o aclarar algún tema no duden en comunicarse.

Calcular primer y último día de la semana

Una necesidad frecuente es identificar el primer y/o ultimo día hábil de la semana (en curso, o especificada por una fecha), esto se resume a identificar la fecha que corresponde a determinado día de la semana.

El proceso para hallar el día es:

1. Identificar el día de la semana que "estamos parados" (ya sea la fecha actual o determinada fecha).
2. Sabiendo que una de las numeraciones para identificar los días de las semanas es 1: Domingo, 2: Lunes, 3: Martes, ..., 6:Viernes, 7: Sábado.
3. Se quitan los días que han transcurrido hasta la fecha en cuestión, así obtenemos la fecha correspondiente al sábado anterior.
4. Sumamos el número del día de la semana que queremos calcular, por ejemplo 2 para el lunes.

A nivel de fórmulas queda de la siguiente manera:

Cálculo en Microsoft Excel en español:

Lunes:
=A1 + 2 - DIASEM(A1; 1)

Viernes:
=A1 + 6 - DIASEM(A1; 1)

NOTA: Estos ejemplos se calculan según una fecha que se encuentra en la celda A1.

Lunes:
=HOY() + 2 - DIASEM(HOY(); 1)

Viernes:
=HOY() + 6 - DIASEM(HOY(); 1)

Cálculo en Google Docs, OpenOffice.org, Calc, Microsoft Excel en inglés:

Lunes:
=A1 + 2 - WEEKDAY(A1; 1)

Viernes:
=A1 + 6 - WEEKDAY(A1; 1)

NOTA: Estos ejemplos se calculan según una fecha que se encuentra en la celda A1.

Lunes:
=TODAY() + 2 - WEEKDAY(TODAY(); 1)

Viernes:
=TODAY() + 6 - WEEKDAY(TODAY(); 1)

NOTA: Estos ejemplos se calculan según una fecha actual (la que tenga la máquina).

Cálculo en Oracle:

Identificar el primer y último día de la semana según fecha actual:

select to_date('20081113', 'yyyymmdd') - to_char( to_date('20081113', 'yyyymmdd'), 'd') lunes, to_date('20081113', 'yyyymmdd') - to_char(to_date('20081113', 'yyyymmdd'), 'd') + 6 viernes from dual;

Cálculo en Microsoft Access:

SELECT cdate("2/12/2008") - Weekday(cdate("2/12/2008")) + 2 as segun_fecha_fija, truncate(now, 'DD') - Weekday(cdate(now())) + 2 as segun_fecha_hoy FROM datos;

NOTA: Tomada de una supuesta tabla "datos".

Estas funciones se pueden utilizar para calcular cualquier día de la semana

Si requieres mas información al respecto hazlo saber, y como siempre si crees conveniente que se deba desarrollar sobre un tema en particular hazlo saber que se tomará en cuenta.