int a=0编译时，在内存中开辟一个存储单元（int类型占用2个字节），然后将这个存储单元的物理地址（数据地址）用a来引用，a=0将这个存储单元的值设置为0；引用a就是取这个存储单元存储的数值，&a是取这个存储单元的物理地址。

一般编译器编译的时候，他会在文件格式里形成一个符号表，这个符号表里存放了所有的符号和对应的地址（符号包括变量名和函数名），你的问题就解释了，当然，这个和你所说的语言的层面有些区别。