1：数据类型
基本类型和复合类型（即由多个基本类型结成的类型）
基本类型：（int，long，float，double，chararray，bytearray）
基本的类型与java中的类型一致
chararray：字符串（String）或字符数组（‘aaa’或'\n'可以表示特殊符号）
bytearray：字节数组（二进制）如java中的byte[]
复杂类型：（map，tuple，Bag）
map：key/value对，key是chararray类型数据，value的类型不台有多种
map常量：['a'#'123','b'#gbz]
tuple：定长，类型任意，有序（可以通过位置得到元素，从0开始）
常量：（'a',3）
Bag：无序的tuple集
常量：{('a',4),('b')}
NULL值：任何数据类型的数据都可以为null，定义与sql中的null一样
2：模式：在加载数据时，可以指定数据按什么分割放到一个定义好的类型中，这类型称为模式(类型关系数据库中的表)
例：div = load 'aa.txt' as (name[:chararray],age[:int]); 类型可省
09版本后，不指定类型会把"文件"中 超过部分截掉，如果文件中一行只有一个字段哪么age为null
加载数据时模式可以省略，套用usIng后的函数的模式，如果数据本身就有模式（如文件中的数据是josn）可以不声明模式
例：mdata = load 'a.txt' using HCatLoader();
模式中的数据类型：
除了可以使用名称进行引用还可以通过位置进行引用，从0开始，用$0表示第一个字段
pig中刚开始不知道字段的类型，它先假定是bytearray类型的，之后会跟据字段所在表达式中的别外字段决定
因为$1的除数是整型的，哪么$1也是整型的（如果文件中不是，可以通过转换成int）
因为$2的乘数是double，哪么$2也是double的
$3是chararray类型的，因为substring处理只能是字符类型
$4,$5是double，-只能用于数值类型，为了安全转为double(转为int会丢精度，如果$4,$5确实是浮点)
$6,$7为bytearray，因为>可以用于数值，char,byte等类型
3：类型转换
pig中的类型强转跟java的一样
所有类型不可以转为bytearray，反过来可以。（复杂类型不可以转换）
4：语法
pig中除了了内置函数（如：load，LOAD）是大小字不敏感的，其它都是大小定敏感的
1）：加载数据
pig默认的加载函数是：pigStorage,它会加载存放在hdfs中并以制表符分割的文件
加载文件夹，可以加载文件夹下的所有文件，也可以使用正则表达式来加载符合条件的文件（支持正则表达式由hdfs决定，hadoop20中有【?,*,[acb],[a-z],[^abc],\,{ab,cb}】）
注：using须要在as前面（a = load '/user/root/data/a.txt' using PigStorage(',') as (a:int,b:long,c:int); ）
如果文件中‘没有c这列字段’或无法类型转换，在输出时为空白(不是null这个字符)
2)数据的存储
默认使用pigStorage将结果以制表分割保存到hdfs中
3）数据的输出
dump proc; 可以将proc输出到屏幕上
4）关系操作
foreach 把数据通过表达式传递给另外一个变量,
三目运算（b = foreach a generate (2==2?1:4);）
对于map中的数据，使用：map名#'字段名' 来引用，字段名不存在是返回null
对于tuple中的数据，使用：tuple名.字段名|位置 来引用，位置无是返回null，字段名无时报错
为字段命名：
Filter：过滤数据给新变量
格式：c = filter b by $0 matches '^0*';
输出：匹配就源样输出整行，否则不输出
比较操作：基本类型数据可以使用(==,!=,>,>=,<=)
map和tuple可以使用（==，!=）,tuple要求模式相同或都无模式
chararray可以使用正则表达式（如：c = filter b by $0 matches '^0*'）
可以在布尔操作符使用not,and.or(有短路功能)
任务成null比较都输出空白（null）【c = filter b by $1==null;】
可以使用is null或is not null判断是否为空
Group： 把具有相同键值的数据聚合在一起
格式：c = group b by $0; (所有字段可用：group b all;)(可对多个字段：c = group b by （$0,$1）)
输出：以$0为key的包含模式中所有字段的bag
得到所有key：d = foreach c generate group;
group会触发一个reduce过程，会有数据倾斜（reduce不会同时结束），pig使用组合器来解决数据倾斜（组合器可以降低网络数据传输和写入磁盘的数据量，可以提高效率，用户UDF可以实现组合器）
处理null值方式是把所有key为null放在一起
Order by：对数据排序，产生一个全排序（对所有数据排序）的结果
格式：c = order b by $0; (可以降序：c = order b by $0 desc , $1; ) 只有$0降
输出：排好序的数据集（tuple）
不能对map，tuple，bag使用，所有null都最小
会进入一个reducer（它会先采样每个数据块，只取第一行先排序，然后对所有排序）
Distinct：去重
格式：c = distinct b;
会进入一个reducer
join：连接两个输入数据(匹配键值相同的数据放在一起，其它的去掉)
格式：c = join b by b1,a by a1; （可以指定多个键：c = join b by (b1,b2),a by (a1,a2);）
联系客服
