COBOL是一种结构非常严谨的语言，很多地方设置还保留了卡片机编程时代的痕迹。
COBOL程序按照部(division)，节(section)，段(paragraph)分成不同的部分和层次。早期的COBOL都是大写的，COBOL-85标准开始允许小写字母。
COBOL程序分为四个Division：
- 标识部(Identification Division)
- 环境部(Environment Division)
- 数据部(Data Division)
- 过程部(Procedure Division)
COBOL程序中，这四个部的顺序是固定的，不能调换。
一.标识部
标识部是COBOL程序中唯一必须存在的。主要列出了程序的一些信息，如程序名，作者，编译日期等。在现代语言中，这些一般作为文件头信息出现。标识部主要包含以下段：
- Program-ID. 程序名，该段是必须的。
- Author. 作者
- Installation. 部门
- Date-Written. 代码更新日期
- Date_compiled. 代码编译日期
- Secutiry. 权限信息
二.环境部
环境部可以省略，主要包括配置节和输入输出节。
配置节(Configuration Section):对于子程序，该节应当省略。本节主要包含一下段：
- Source-Computer段:编译程序的计算机。如果指定with debugging mode从句，则会编译所有的调试行(指示符区为D的行)，否则，调试行会当作说明行(指示符为*的行)。
- Object_computer段:运行程序的计算机。Memory-Size从句定义运行程序的基本内存需求。COBOL-85中已被弃用。Program Collating Sequence从句指定非数字数据的比较顺序。
- Special-Names段：包含一组指定货币符号选择小数点，提供开关名和定义字母表的项目。
输入输出节(Input-Output Section):用于文件，包括两个段：
- File-Control段:程序中用到的文件信息。
- I-O-Control段:包含定义程序返回点，不同文件共享的内存区和多文件卷中文件位置的项目。
三.数据部
数据部中定义了程序中所引用的数据，包括文件记录，变量，表格和报表。数据部包含五个节，每个节都是可选的，但是节的出现顺序必须如下：
文件节(File Section):程序中用到的文件
工作存储节(Working-Storage Section):程序中用到的临时结果和初始化静态数据的数据
连接节(Linkage Section):只用于子程序。包含调用程序传递的数据
通信节(Communication Section):COBOL-85中已经弃用。
报表节(Report Section):描述实现COBOL报告编写工具的系统所需的数据。
四.过程部
前面三个部描述了COBOL程序中的环境和数据信息。过程部则包含对数据进行处理的逻辑，是程序的执行部分。过程部必须从程序的第12行以后开始。
过程部可以采用简单格式或者复杂格式。简单格式不分节，有一列段组成，段相当于现代语言中的子程序或者函数，其他COBOL语句可以通过段名来调用段。复杂格式在过程部头部包含由Declarative和End Declarative限定的一些USE语句，并且需要将段组合成不同的节。
格式约定
COBOL语言的标准格式如下：
- 位置1~6留给序号。序号可用省略，但位置必须保留。
- 位置7是指示符区。*或者/为说明行，D为调试行，_表示该行是上一行的续行，其余为空格。
- 位置8~11为A区。部、节、段标题，段名，层指示符和层号01与77，Declaratives和End Declaratives,程序结束标题等放在A区。
- 位置12~80为B区。过程部的语句必须从B区开始。
COBOL语句一般以句号(.)结束