1. DMA memeory分类
一共有两种DMA memory，
a. Consistent/coherent
b. non-consistent/no-coherent
第一类由底层硬件保证了内存的一致性，这样的内存当进行DMA时，不需要相关的invalidate函数操作。
第二类内存在进行DMA之前，必须做flush/invalidate等操作。
底层硬件如何实现，或者处理器通过内存映射，或者有额外的硬件支持，这些对于driver来说是透明的。
注意 coherent和no-coherent和cache是不同的概念，coherent也许是cached，也许是uncached，这是由底层硬件来实现。
2. DMA对memory的操作函数
DMA-API有两类，
第一类是dma_ API, 它必须包含#include <linux/dma-mapping.h>
第二类是pci_ API, 它必须包含#include <linux/pci.h>
第一类是向处理器直接分配内存，第二类是通过pci的接口分配内存。对于mips和arm来说，这两类API是一样的，pci_
API在mips和arm处理器中最后会走到dma_ API
所以这里只提及DMA-API
dma_alloc_coherent
分配coherent内存。
一般来说，coherent内存是比较昂贵，或者代价比较高一些，所以只能小块的内存使用coherent，比如典型的descriptor。
dma_pool_create
这个用来分配一个小块coherent的内存池子。dma_alloc_coherent是以页为单位分配。
dma_sync_single_for_device
dma_sync_single_for_cpu
并不太确定这两个sync是啥意思，很重要的两个函数，在mips上的实现也不同，一个是做了flush的动作，一个是没做
dma_map_single
flush这段内存，并返回物理地址，当分配buffer的时候，通常会使用这个函数返回物理地址。
3. DMA的层次结构
3.1 对于DMA_ API来说，从<linux/dma-mapping.h>开始，这里定义了一些公共的API，然后在这个头文件中会
#ifdef CONFIG_HAS_DMA
#include <asm/dma-mapping.h>
#else
#include <asm-generic/dma-mapping-broken.h>
#endif
一般我们会定义CONFIG_HAS_DMA，所以会包含体系相关的dma-mapping.h。
对于mips来说，是arch/mips/include/asm/dma-mapping.h
对于arm来说，是arch/arm/include/asm/dma-mapping.h
在这两个头文件中，可以直接调用到各个arch中的dma mapping的实现，也可以在封装一层，
再包含#include dma-maping-common.h，然后这里通过dma_map_ops函数指针调到各个arch的dma mapping实现。
体系相关的dma-mapping.h中声明了其它DMA_API。它在哪里实现了，
对于mips来说，它在arch/mips/mm/dma-default.c
对于arm来说，它在arch/arm/mm/dma-mapping.c
对于PCI_ API来说，从<linux/pci.h>开始。
这个头文件会包含体系相关的<asm/pci.h>
对于mips来说，是arch/mips/include/asm/pci.h
对于arm来说，是arch/arm/include/asm/pci.h
对于mips和arm来说，pci.h又会包含如下语句
/* implement the pci_ DMA API in terms of the generic device dma_ on
#include <asm-generic/pci-dma-compat.h>
然后在pci-dma-compat.h里，开始包含#include <linux/dma-mapping.h>，并且把PCI_向DMA_做了转换，这就把PCI_和DMA_联系上了。
4. MIPS上的DMA实现
在dma-default.c中实现了mips的DMA函数
dma_alloc_coherent
void *ret;
gfp = massage_gfp_flags(dev, gfp);
ret = (void *) __get_free_pages(gfp, get_order(size));
if (ret) {
memset(ret, 0, size);
*dma_handle = plat_map_dma_mem(dev, ret, size);
if (!plat_device_is_coherent(dev)) {
dma_cache_wback_inv((unsigned long) ret, size);
ret = UNCAC_ADDR(ret);
}
}
return ret;
}
从这个函数可以看出，mips分配一个页面，清空，返回物理地址，然后判断这个device是否是coherent，因为我们前面说过可以有额外的硬件来支持coherent。
plat_device_is_coherent
{
#ifdef CONFIG_DMA_COHERENT
return 1;
#endif
#ifdef CONFIG_DMA_NONCOHERENT
return 0;
#endif
}
对于mips来讲，它依据CONFIG_DMA_COHERENT和CONFIG_DMA_NONCOHERENT
定义。它只是提供了这样一个函数给所有的平台。
一般我们会定义CONFIG_DMA_NONCOHERENT。
所以这里，mips是如何操作这coherent函数的呢？它把这一页先write-inv, 然后返回SEG1地址，其实就是uncache，这样确实保证了coherent，但效率会变低。
dma_addr_t dma_map_single(struct device *dev, void *ptr, size_t size,
enum dma_da
{
unsigned long addr = (unsigned long) ptr;
if (!plat_device_is_coherent(dev))
__dma_sync(addr, size, direction);
return plat_map_dma_mem(dev, ptr, size);
}
Dma_map_single有sync的作用，并且返回物理地址。
static inline void __dma_sync(unsigned long addr, size_t size,
enum dma_da
{
switch (direction) {
case DMA_TO_DEVICE:
dma_cache_wback(addr, size);
break;
case DMA_FROM_DEVICE:
dma_cache_inv(addr, size);
break;
case DMA_BIDIRECTIONAL:
dma_cache_wback_inv(addr, size);
break;
default:
BUG();
}
}
对于写device，我们需要wback，对于从device读，我们需要invalidate，对于双向，我们需要invalidate+wback。
这个涉及到cache的操作了，具体如何操作，与cache的类型相关。
在arch/mips/include/asm/io.h中
#ifdef CONFIG_DMA_NONCOHERENT
#define dma_cache_wback_inv(start, size) _dma_cache_wback_inv(start, size)
#define dma_cache_wback(start, size) _dma_cache_wback(start, size)
#define dma_cache_inv(start, size) _dma_cache_inv(start, size)
而_dma_cache_wback_inv这些底层函数的赋值则是在系统起来，初始化cache时赋值的，mips有多种类型，对于24K,74K等，它会使用原先的R4k
cache，这里我们要选择CONFIG_CSRC_R4K=y。
在r4k_cache_init函数中
_dma_cache_wback_inv = r4k_dma_cache_wback_inv;
_dma_cache_wback
= r4k_dma_cache_wback_inv;
_dma_cache_inv = r4k_dma_cache_inv;
所以最后DMA的操作到了r4k的cache操作上来。
5. ARM上的DMA实现
因为不太懂ARM，这里只说一下arm cache的层次结构。
一般如果要sync一个buffer，arm提供到外面的接口有
___dma_single_cpu_to_dev
___dma_single_dev_to_cpu
我不知道这两个的区别，这个要留到以后分析。
___dma_single_dev_to_cpu
{
BUG_ON(!virt_addr_valid(kaddr) || !virt_addr_valid(kaddr + size - 1));
/* FIXME: non-speculating: not required */
/* don't bother invalidating if DMA to device */
if (dir != DMA_TO_DEVICE) {
unsigned long paddr = __pa(kaddr);
outer_inv_range(paddr, paddr + size);
}
dmac_unmap_area(kaddr, size, dir);
}
define dmac_unmap_area cpu_cache.dma_unmap_area
如果有需要还要使用outer_inv_range来invalidate L2的cache。
然后需要dmac_unmap_area
这个函数在cacheflush.h中有定义，表示为cpu_cache.dma_unmap_area，这个文件中还定义 了很多其它cache的操作，因为arm有不同的型号，所以每一种 cache都不一样。
在arch/arm/mm下面，cpu_cache在如下函数中定义
如果CPU是ARMV7的话，则在cache-v7.S最后两句，定义了这个结构
@ define struct cpu_cache_fns (see <asm/cacheflush.h> and proc-macros.S)
define_cache_functions v7
而define_cache_functions v7则是在proc-macros.S中定义
ENTRY(\name\()_cache_fns)
.long \name\()_flush_icache_all
其实就是 v7_flush_icache_all等。
而v7_flush_icache_all这些函数的定义 则是在cache-v7.S中
如
ENTRY(v7_dma_unmap_area)
add r1, r1, r0
teq r2, #DMA_TO_DEVICE
bne v7_dma_inv_range
mov pc, lr
ENDPROC(v7_dma_unmap_area)