Kühlung kann bis zu 50 Prozent des gesamten Energieverbrauchs in Datacentern betragen. Daher sind Konzepte für das energieeffiziente Kühlen besonders wichtig. Die IT-Hardware wird normalerweise in Reihen angeordnet und zwar so, dass jeweils Kalt- und Warmgänge entstehen. Die Luftansaugung erfolgt vom kalten Gang her. Kühlluft wird dem kalten Gang zugeführt, strömt durch das Equipment und wird im heißen Gang abgeleitet. Ein entsprechend effizientes Luftstrom-Design ist wesentlich. Typische Maßnahmen dafür sind beispielsweise die Warmgang- oder Kaltgangeinhausung. Weitere zentrale Aspekte sind die Lufttemperatur der Zuluft und die Strömungsgeschwindigkeit. Wenn unterschiedliches Equipment mit unterschiedlichen Betriebsbedingungen oder Luftströmungsrichtungen im selben Raum installiert werden muss, wäre dafür jeweils ein eigener Bereich sinnvoll. Im Weiteren sollte man vorzugsweise getrennte Steuerungen für die Kühlung einsetzen, um Ineffizienzen zu vermeiden, die aus niedrigeren Temperatureinstellungen oder unzureichender Steuerung des Luftstroms resultieren.
Rechenzentren sollten unter den gegebenen klimatischen Bedingungen auf höchstmögliche Effizienz ausgelegt und betrieben werden.
Nach gängiger Lehrmeinung liegt der „empfohlene” Bereich der Raumtemperatur in den Datencentern zwischen 18 und maximal 24°C. Diese veraltete Sichtweise ist jedoch reine Energieverschwendung. Bereits im Jahr 2011 postulierte der Chip-Hersteller Intel: „100° Fahrenheit (fast 38°C) stellen für den sicheren Betrieb eines Rechenzentrums kein Problem dar“. Zu niedrige Temperatureinstellungen verschwenden Energie durch Überkühlung. Die Temperatur im Datencenter kann durchaus auf Werte von deutlich über 30 °C ansteigen, ohne dass dadurch die Betriebssicherheit der Server gefährdet wird. Intel verweist auf Erfahrungen aus einem eigenen Rechenzentrum, bei dem die Temperatur auf 33 °C angehoben wurde. In diesem Beispiel sanken die Stromkosten um 67 Prozent.
Höhere Temperatureinstellungen erfordern jedoch eine optimierte Lüftung, um lokale Hotspots zu vermeiden. Bei großen Wärmedichten (z.B. 25 kW pro Rack), ist eine traditionelle Raumkühlung nicht mehr ausreichend. In diesem Fall kann eine spezielle in Racks oder Reihen angeordnete Kühlung erforderlich sein.