init

README.md

@@ -1,4 +1,3 @@
-v0.1版本
 一、任务管理 
    任务支持  
 	1、全局配置   包含连接配置、保存配置、并发配置、分布式抽取配置
@@ -16,31 +15,6 @@ v0.1版本
     模块扩展
     人员
     权限
-四、统计管理
-    字段抽取率统计（版本迭代）
-    抽取任务统计  （版本迭代）
-       前置逻辑统计
-       抽取逻辑统计
-       后置逻辑统计
-    
-
-    一、任务管理 
-   任务支持  
-	1、全局配置   包含连接配置、保存配置、并发配置、分布式抽取配置
-	2、前置逻辑   多条lua脚本的前置逻辑、支持按顺序执行或跳过后续逻辑，可以上下移动执行顺序（开关）
-	3、抽取逻辑   a、多条抽取逻辑（按lua脚本判断是否进入）和一条通用抽取逻辑、支持按顺序执行或跳过后续逻辑，可以上下移动执行顺序。
-	              b、抽取逻辑中可以选择是否先处理分块解析、k/v解析、表格解析、分包解析(注：如果前面逻辑已经处理过kv/表格，则后续的逻辑中不在重复处理kv/表格，直接用即可) 
-		      c、抽取逻辑下可以新建 lua抽取和字段抽取
-			 字段抽取 支持前置处理  抽取  后置处理  （开关）
-	4、后置逻辑   同前置逻辑
-  编辑
-  审核（版本迭代）
-二、标签库管理
-    支持正则、字符串
-三、开发管理
-    模块扩展
-    人员
-    权限
 四、统计管理
     字段抽取率统计（版本迭代）
     抽取任务统计  （版本迭代）

src/jy/cluster/aliecs.go

@@ -0,0 +1,4 @@
+/**
+阿里云ecs实例自动申请、部署、释放
+**/
+package cluster

src/jy/cluster/cluster.go

@@ -0,0 +1,4 @@
+/**
+支持集群抽取
+**/
+package cluster

src/jy/util/util.go

@@ -1,17 +1,26 @@
 package util
 
 import (
+	"io"
 	"log"
+	"os"
 
 	"gopkg.in/natefinch/lumberjack.v2"
 )
 
 func init() {
-	log.SetOutput(&lumberjack.Logger{
+	//输出日志配置,多输出源
+	filelog := &lumberjack.Logger{
 		Filename:   "./out.log",
 		MaxSize:    500, // megabytes
 		MaxBackups: 3,
 		MaxAge:     20,   //days
 		Compress:   true, // disabled by default
-	})
+	}
+	writers := []io.Writer{
+		filelog,
+		os.Stdout,
+	}
+	fileAndStdoutWriter := io.MultiWriter(writers...)
+	log.SetOutput(fileAndStdoutWriter)
 }