[oodisc] OOо calc и 15< значное число
Eugene Saenko
caspar137 на mail.ru
Вт Фев 28 13:36:42 MSK 2006
Николай Кузнецов wrote:
> Насколько я понимаю, и у компа (процессора) и у любой программы есть
> предел точности вычислений. Раньше это было 7 знаков после запятой и
> двойная точность - 14 знаков после запятой.
>
> До запятой тоже есть ограничения (по-моему, общее число знаков не д.б.
> больше 32 - включая десятичный разделитель).
>
> Обратное преобразование идёт, видимо, верно:
> 1,23Е+... - берёт 14 знаков после запятой + перед запятой один - того
> пятнадцать значащих цифр (спереди назад), остальные забиваются нулями.
>
> Что касается преобразования длинных чисел в научный формат - надо
> смотреть опции и хелп...
>
> Спасибо!
Все почти точно, НО: учитываются не знаки до/после запятой, а значащие
цифры. Точность -- около 14 значащих цифр (около а не точно из-за
перевода из двоичной системы в десятичную).
--
Best regards,
Eugene Saenko mailto:caspar137 на mail.ru
Подробная информация о списке рассылки Oo-discuss