Une erreur courante consiste à confondre résolution et précision.
La résolution est la variation mini du paramètre à mesurer qui introduira une modification dans l'affichage ou sur la sortie numérique. Sur un afficheur numérique, ce sera un digit.
La précision va quantifier l'erreur maxi de mesure, à savoir la différence maximum entre ce qu'indique l'affichage et la valeur vraie du paramètre mesuré.
Exemple d'une mesure de distance avec un télémètre :
Supposition : la distance OA est mesurée avec un interféromètre sans erreur.Un télémètre de précision ±5mm est utilisé pour connaître la valeur de la distance OA.Dans ce cas, la valeur mesurée OAm sera égale à OA ±5mm.On pourra avoir une résolution de 0,1 mm et une précision de ±5mm.Le télémètre donne le 1/10ème de mm, mais le résultat pourra être différent de ±5mm par rapport à la valeur vraie de la distance.Le télémètre peut, par exemple, indiquer 3054,6mm pour une distance vraie de 3050 mm.
il ne faut pas confondre répétabilité et précision.
Une mesure peut être imprécise mais très répétable.Exemple d'une mesure de distance avec un télémètre :
Les mesures répétées d'une distance vraie OA de 420mm sur un banc à l'aide d'un télémètre peuvent être comprises entre 440 et 440,4mm.La précision est de +5%, mais la répétabilité est de 1mm.En règle générale, la précision va être déterminée par les caractéristiques du capteur et de l'instrument de mesure.
La répétabilité dépendra de paramètres tels que l'hystérésis des appareils constituant la chaîne, du bruit issu de sources de perturbation extérieures,...
Il vaut mieux avoir une mesure imprécise mais très répétable que l'inverse.Les causes d'imprécision sont plus faciles à identifier, et éventuellement pourront faire l'objet de compensations par l'informatique de traitement : auto-zéro, auto-calibration de la chaîne de mesure...