[oodisc] OOо calc и 15< значное число

Eugene Saenko caspar137 на mail.ru
Вт Фев 28 13:36:42 MSK 2006


Николай Кузнецов wrote:
> Насколько  я  понимаю, и у компа (процессора) и у любой программы есть
> предел  точности  вычислений. Раньше это было 7 знаков после запятой и
> двойная точность - 14 знаков после запятой.
> 
> До запятой тоже есть ограничения (по-моему, общее число знаков не д.б.
> больше 32 - включая десятичный разделитель).
> 
> Обратное преобразование идёт, видимо, верно:
> 1,23Е+...  - берёт 14 знаков после запятой + перед запятой один - того
> пятнадцать значащих цифр (спереди назад), остальные забиваются нулями.
> 
> Что  касается  преобразования  длинных  чисел  в научный формат - надо
> смотреть опции и хелп...
> 
> Спасибо!

Все почти точно, НО: учитываются не знаки до/после запятой, а значащие 
цифры. Точность -- около 14 значащих цифр (около а не точно из-за 
перевода из двоичной системы в десятичную).

-- 
Best regards,
Eugene Saenko                        mailto:caspar137 на mail.ru


Подробная информация о списке рассылки Oo-discuss