Los datos de Conversión están basados en NIST ( National Institute of
Standards and Technology (USA)) publicación 811 de 1995.
Nota: El comando cal ejecuta conversiones para valores a temperatura de
15°C.
Rangos, número de dígitos, y precisión
Los rangos de los cálculos, el número de Dígitos utilizado para los cálculos
internos, y la precisión de los cálculos dependerá del tipo de cálculo que esté
realizando.
Rango de cálculos y precisión
Rango de cálculo
Número interno de Dígitos
utilizados
Precisión
Rangos de ingreso, y precision de cálculo de funciones
Función
En general , +/- 1 hasta el dígito 1 para
cálculos simples. Precisión para valores
exponenciales es +/- 1 en el dígito menos
significativo. Errores son acumulativos en el
caso de cálculos consecutivos.
Rango de ingreso