负载均衡建立在现有网络结构之上，它提供了一种廉价有效的方法扩展服务器带宽和增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。它主要完成以下任务：解决网络拥塞问题，服务就近提供，实现地理位置无关性 ；为用户提供更好的访问质量；提高服务器响应速度；提高服务器及其他资源的利用效率；避免了网络关键部位出现单点失效。
在负载均衡的思路下，多台服务器为对称方式，每台服务器都具有同等的地位，可以单独对外提供服务而无须其他服务器的辅助。通过负载分担技术，将外部发送来的请求按一定规则分配到对称结构中的某一台服务器上，而接收到请求的服务器都独立回应客户机的请求。
提供服务的一组服务器组成了一个应用服务器集群(cluster)，并对外提供一个统一的地址。当一个服务请求被发至该集群时，根据一定规则选择一台服务器，并将服务转定向给该服务器承担，即将负载进行均衡分摊。
通过应用负载均衡技术，使应用服务超过了一台服务器只能为有限用户提供服务的限制，可以利用多台服务器同时为大量用户提供服务。当某台服务器出现故障时，负载均衡服务器会自动进行检测并停止将服务请求分发至该服务器，而由其他工作正常的服务器继续提供服务，从而保证了服务的可靠性。
上述的集群技术一般都用于Web服务器、应用服务器等，而不是用于数据库服务器，即不是用于有共享的存储的服务。数据库服务器将涉及到加锁、回滚等一系列问题，要复杂的多。一般数据库服务器只是使用双机，其中一台工作，另一台备份。数据库的双机并行只用于大型数据库中。
负载均衡实现的方法有几种：
■最简单的是通过DNS，但只能实现简单的轮流分配，也不能处理故障。
■如果是基于MS IIS，Windows 2003 Server本身就带了负载均衡服务。但这一服务也只是轮流分配。
■硬件方式，通过交换机的功能或专门的负载均衡设备可以实现。对于流量的分配可以有多种方式，但基本上都是应用无关的，与服务器的实现负载关系也不大。另外，设备的价格较贵(优点是能支持很多台服务器)。这种方式往往适合大流量、简单应用。
■软件方式，通过一台负载均衡服务器进行，上面安装软件。这种方式比较灵活，成本相对也较低。另外一个很大的优点就是可以根据应用的情况和服务器的情况采取一些策略。
关于负载均衡中比较高级的功能是FailOver，即一台出现故障时，在这台服务器上正在进行中的进程也会被其他服务器接过去。相应的成本也很高，一般是要象WebLogic、WebSphere软件的群集版本才支持。