Das Rastertunnelmikroskop eignet sich nur zur Mikroskopie von elektrisch leitfähigen Materialien, also hauptsächlich Metalle und Halbleiter. Eine spitze Nadel, die Sonde, rastert in einem Abstand von wenigen Atomdurchmessern die Oberflächen ab. Nach Anlegen einer Spannung fließt ein schwacher Strom zwischen Sonde und Probe, obwohl sie sich nicht berühren. Diesen sogenannten Tunnelstrom dürfte es nach den Gesetzen der klassischen Physik gar nicht geben, weil sich zwischen Sonde und Probe kein

stromleitendes Material befindet. Anders im Nanokosmos. Hier geht es um atomare Längen und Abstände, hier gelten die Gesetze der Quantenphysik. Das Besondere am Tunnelstrom: Er reagiert äußerst sensibel, wenn sich der Abstand zwischen der Sonde des Mikroskops und der Probe auch nur minimal ändert. Aus diesem Grund wird der Tunnelstrom fast ausschließlich vom Abstand des äußersten Sondenatoms zum nächstgelegenen Atom oder Molekül auf der untersuchten Oberfläche bestimmt.

Rastertunnelmikroskope können in Vakuum, an Luft und sogar in einigen Flüssigkeiten betrieben werden. Bei Messungen an Luft wird die Probe allerdings recht schnell von einer Oxidschicht, einem Wasserfilm oder anderen störenden Atomen und Molekülen bedeckt. Um atomare Auflösung zu erreichen, erfolgen die Messungen daher im Vakuum. Um auch sogenannte thermische Schwingungen von Sonde und Probe zu unterdrücken, wird außerdem oft bei sehr tiefen Temperaturen mikroskopiert. Einige Rastertunnelmikroskope sind auch mit starken Magneten ausgestattet, um zu untersuchen, wie sich die elektronischen Eigenschaften einer Probe in einem äußeren Magnetfeld ändern.

Bei Rastertunnelmikroskopen werden drei verschiedenen Messmodi unterschieden: Beim "Konstant-Höhen-Modus" rastert die Sonde in konstanter Höhe über eine Probe, während die Änderung des Tunnelstromes gemessen wird.

Diese Methode ist jedoch in vielen Fällen problematisch, da insbesondere bei einer unbekannten Oberfläche die Gefahr eines Zusammenstoßes von Spitze und Probe besteht.

In der Regel findet der "Konstant-Strom-Modus" Anwendung. Hier wird die Sonde Punkt für Punkt auf einen konstanten Tunnelstrom eingestellt. Als Messwert dient die Strecke, die sich die Sonde an die Probe annähern oder von ihr entfernen muss, um den konstanten Tunnelstrom einzustellen.

Eine weitere Meßmethode ist der "Spektroskopie-Modus". Bei dieser Betriebsart wird an jedem Messpunkt aufgezeichnet, wie der Tunnelstrom mit der angelegten Spannung variiert (Strom-Spannungs-Kennlinie). Der Spektroskopie-Modus ermöglicht oft einen noch tieferen Einblick in die elektronischen Eigenschaften einer Probe.