数据集成工具：Talend：Talend与大数据集成：Hadoop与Spark

数据集成工具：Talend：Talend与大数据集成：Hadoop与Spark1数据集成概述1.1数据集成的重要性数据集成是现代数据管理中的关键步骤，它涉及将来自不同来源的数据合并到一个一致的存储中，以便进行分析和报告。在企业环境中，数据可能来自各种系统，如ERP、CRM、数据库、文件、Web服务等。这些数据往往格式不一，存储方式各异，因此，数据集成的首要任务是解决数据的异构性问题，确保数据的准确性和一致性。数据集成的重要性体现在以下几个方面：提高数据质量：通过清洗和转换数据，消除重复、错误和不一致的数据，提高数据的准确性和完整性。增强决策支持：集成后的数据可以提供全面的业务视图，支持更深入的分析和更准确的决策。促进业务流程优化：集成的数据可以更有效地支持跨部门的业务流程，提高工作效率。支持大数据分析：在大数据环境下，数据集成是进行有效分析的前提，它可以帮助处理海量数据，实现数据的实时分析。1.2数据集成工具的分类数据集成工具根据其功能和使用场景，可以分为以下几类：1.2.1ETL工具ETL（Extract,Transform,Load）工具主要用于从多个数据源提取数据，转换数据格式和内容，然后加载到目标数据仓库或数据湖中。这类工具通常提供图形化界面，便于设计和管理数据集成流程。1.2.2数据虚拟化工具数据虚拟化工具不直接移动数据，而是创建一个虚拟层，使用户能够访问和查询来自不同源的数据，而无需了解底层数据的物理位置和格式。这种工具可以提供实时数据访问，减少数据复制和存储成本。1.2.3API管理工具API管理工具主要用于集成Web服务和API，提供统一的接口来访问和管理数据。这类工具通常包括API设计、发布、监控和安全功能。1.2.4数据同步工具数据同步工具用于在不同系统之间实时或定期同步数据，确保数据的一致性和实时性。这类工具通常支持双向同步，可以处理结构化和非结构化数据。1.2.5数据治理工具数据治理工具用于管理数据的整个生命周期，包括数据质量、数据安全、数据合规性和数据元数据管理。这类工具帮助企业确保数据的准确性和安全性，同时满足法规要求。1.2.6示例：使用Talend进行ETL操作假设我们有一个CSV文件，其中包含客户信息，我们需要将这些信息加载到Hadoop的HDFS中，并进行一些基本的清洗和转换操作。以下是一个使用TalendDataPreparation进行数据清洗的示例：//假设这是从CSV文件读取的数据

tFileInputDelimited_1=newtFileInputDelimited("tFileInputDelimited_1");

tFileInputDelimited_1.setFileName("input.csv");

tFileInputDelimited_1.setFieldsDelimitedBy(",");

tFileInputDelimited_1.setFirstLineHeader(true);

//清洗数据，例如去除空值

tFilterRow_1=newtFilterRow("tFilterRow_1");

tFilterRow_1.setFilterType("FILTER");

tFilterRow_1.setFilterExpression("customer_name!=''ANDemail!=''");

//转换数据格式

tMap_1=newtMap("tMap_1");

tMap_1.setComponentType("MAP");

tMap_1.setMapType("MAP");

tMap_1.setMapExpression("newMap.put('customer_name',tFileInputDelimited_1.customer_name);newMap.put('email',tFileInputDelimited_1.email);");

//将清洗和转换后的数据加载到HDFS

tHDFSOutput_1=newtHDFSOutput("tHDFSOutput_1");

tHDFSOutput_1.setFileName("output.csv");

tHDFSOutput_1.setFieldsDelimitedBy(",");

tHDFSOutput_1.setFirstLineHeader(true);

tHDFSOutput_1.setInputType("MAP");

tHDFSOutput_1.setInputMap(tMap_1.getOutputMap());

//连接组件

tFileInputDelimited_1.setNextComponent(tFilterRow_1);

tFilterRow_1.setNextComponent(tMap_1);

tMap_1.setNextComponent(tHDFSOutput_1);

//执行Talend作业

tFileInputDelimited_1.run();在这个示例中，我们首先从CSV文件读取数据，然后使用tFilterRow_1组件过滤掉任何包含空customer_name或email字段的行。接下来，使用tMap_1组件将数据转换为适合HDFS的格式。最后，使用tHDFSOutput_1组件将数据加载到HDFS中。通过这个过程，我们可以看到Talend如何帮助我们处理数据集成中的关键步骤，包括数据提取、清洗、转换和加载。这不仅简化了数据处理流程，还提高了数据质量和处理效率。2Talend数据集成基础2.1Talend平台介绍Talend是一个开源的数据集成平台，提供了一系列工具来帮助数据工程师和分析师处理数据集成任务。Talend平台的核心组件包括TalendDataIntegration，TalendBigData，TalendDataQuality，TalendDataPreparation等，覆盖了数据集成、数据清洗、数据准备、数据治理等多个方面。2.1.1特点开源与企业版：Talend提供开源版本和企业版，企业版包含了更多的功能和专业支持。图形化界面：Talend采用图形化界面，使得数据集成任务的构建和管理更加直观。丰富的组件库：Talend拥有一个庞大的组件库，支持多种数据源和目标，包括数据库、文件、云存储、大数据平台等。可扩展性：用户可以自定义组件，以适应特定的数据处理需求。数据质量：Talend内置了数据质量检查工具，帮助用户在数据集成过程中进行数据清洗和验证。2.2Talend数据集成组件详解Talend的数据集成组件是其核心功能的体现，这些组件被设计用于执行特定的数据处理任务，如数据抽取、转换和加载（ETL）。下面将详细介绍几个关键的组件。2.2.1tFileInputDelimited功能tFileInputDelimited组件用于从文本文件中读取数据，支持多种分隔符和编码格式。参数Fields：定义文件中的字段，包括字段名、类型和位置。Filename：指定要读取的文件路径。Separator：设置字段之间的分隔符。示例代码<tFileInputDelimited

id="tFileInputDelimited_1"

name="tFileInputDelimited_1"

class="tFileInputDelimited"

schema="schema1"

encoding="UTF-8"

separator="|"

firstLineHeader="false"

ignoreEmptyLine="true"

keepEmptyColumn="false"

keepSeparator="false"

keepComments="false"

commentPrefix="#"

fileMode="FILE"

fileName="C:\\data\\input.txt"

fileRegexp=""

fileListRegexp=""

filePattern=""

filePatternType="UNIX_WILDCARD"

fileSeparator="UNIX"

fileCharset="UTF-8"

fileEncoding="UTF-8"

fileCompression="NONE"

fileMaxBytes="0"

fileMaxRecords="0"

fileMaxScanRecords="0"

fileMaxScanBytes="0"

fileMaxScanTime="0"

fileMaxScanTimeUnit="SECONDS"

fileMaxScanErrors="0"

fileMaxScanErrorsAction="STOP"

fileMaxScanErrorsActionOnComponent=""

fileMaxScanErrorsActionOnJob=""

fileMaxScanErrorsActionOnJobValue=""

fileMaxScanErrorsActionOnJobUnit=""

fileMaxScanErrorsActionOnJobValue2=""

fileMaxScanErrorsActionOnJobUnit2=""

fileMaxScanErrorsActionOnJobValue3=""

fileMaxScanErrorsActionOnJobUnit3=""

fileMaxScanErrorsActionOnJobValue4=""

fileMaxScanErrorsActionOnJobUnit4=""

fileMaxScanErrorsActionOnJobValue5=""

fileMaxScanErrorsActionOnJobUnit5=""

fileMaxScanErrorsActionOnJobValue6=""

fileMaxScanErrorsActionOnJobUnit6=""

fileMaxScanErrorsActionOnJobValue7=""

fileMaxScanErrorsActionOnJobUnit7=""

fileMaxScanErrorsActionOnJobValue8=""

fileMaxScanErrorsActionOnJobUnit8=""

fileMaxScanErrorsActionOnJobValue9=""

fileMaxScanErrorsActionOnJobUnit9=""

fileMaxScanErrorsActionOnJobValue10=""

fileMaxScanErrorsActionOnJobUnit10=""

fileMaxScanErrorsActionOnJobValue11=""

fileMaxScanErrorsActionOnJobUnit11=""

fileMaxScanErrorsActionOnJobValue12=""

fileMaxScanErrorsActionOnJobUnit12=""

fileMaxScanErrorsActionOnJobValue13=""

fileMaxScanErrorsActionOnJobUnit13=""

fileMaxScanErrorsActionOnJobValue14=""

fileMaxScanErrorsActionOnJobUnit14=""

fileMaxScanErrorsActionOnJobValue15=""

fileMaxScanErrorsActionOnJobUnit15=""

fileMaxScanErrorsActionOnJobValue16=""

fileMaxScanErrorsActionOnJobUnit16=""

fileMaxScanErrorsActionOnJobValue17=""

fileMaxScanErrorsActionOnJobUnit17=""

fileMaxScanErrorsActionOnJobValue18=""

fileMaxScanErrorsActionOnJobUnit18=""

fileMaxScanErrorsActionOnJobValue19=""

fileMaxScanErrorsActionOnJobUnit19=""

fileMaxScanErrorsActionOnJobValue20=""

fileMaxScanErrorsActionOnJobUnit20=""

fileMaxScanErrorsActionOnJobValue21=""

fileMaxScanErrorsActionOnJobUnit21=""

fileMaxScanErrorsActionOnJobValue22=""

fileMaxScanErrorsActionOnJobUnit22=""

fileMaxScanErrorsActionOnJobValue23=""

fileMaxScanErrorsActionOnJobUnit23=""

fileMaxScanErrorsActionOnJobValue24=""

fileMaxScanErrorsActionOnJobUnit24=""

fileMaxScanErrorsActionOnJobValue25=""

fileMaxScanErrorsActionOnJobUnit25=""

fileMaxScanErrorsActionOnJobValue26=""

fileMaxScanErrorsActionOnJobUnit26=""

fileMaxScanErrorsActionOnJobValue27=""

fileMaxScanErrorsActionOnJobUnit27=""

fileMaxScanErrorsActionOnJobValue28=""

fileMaxScanErrorsActionOnJobUnit28=""

fileMaxScanErrorsActionOnJobValue29=""

fileMaxScanErrorsActionOnJobUnit29=""

fileMaxScanErrorsActionOnJobValue30=""

fileMaxScanErrorsActionOnJobUnit30=""

fileMaxScanErrorsActionOnJobValue31=""

fileMaxScanErrorsActionOnJobUnit31=""

fileMaxScanErrorsActionOnJobValue32=""

fileMaxScanErrorsActionOnJobUnit32=""

fileMaxScanErrorsActionOnJobValue33=""

fileMaxScanErrorsActionOnJobUnit33=""

fileMaxScanErrorsActionOnJobValue34=""

fileMaxScanErrorsActionOnJobUnit34=""

fileMaxScanErrorsActionOnJobValue35=""

fileMaxScanErrorsActionOnJobUnit35=""

fileMaxScanErrorsActionOnJobValue36=""

fileMaxScanErrorsActionOnJobUnit36=""

fileMaxScanErrorsActionOnJobValue37=""

fileMaxScanErrorsActionOnJobUnit37=""

fileMaxScanErrorsActionOnJobValue38=""

fileMaxScanErrorsActionOnJobUnit38=""

fileMaxScanErrorsActionOnJobValue39=""

fileMaxScanErrorsActionOnJobUnit39=""

fileMaxScanErrorsActionOnJobValue40=""

fileMaxScanErrorsActionOnJobUnit40=""

fileMaxScanErrorsActionOnJobValue41=""

fileMaxScanErrorsActionOnJobUnit41=""

fileMaxScanErrorsActionOnJobValue42=""

fileMaxScanErrorsActionOnJobUnit42=""

fileMaxScanErrorsActionOnJobValue43=""

fileMaxScanErrorsActionOnJobUnit43=""

fileMaxScanErrorsActionOnJobValue44=""

fileMaxScanErrorsActionOnJobUnit44=""

fileMaxScanErrorsActionOnJobValue45=""

fileMaxScanErrorsActionOnJobUnit45=""

fileMaxScanErrorsActionOnJobValue46=""

fileMaxScanErrorsActionOnJobUnit46=""

fileMaxScanErrorsActionOnJobValue47=""

fileMaxScanErrorsActionOnJobUnit47=""

fileMaxScanErrorsActionOnJobValue48=""

fileMaxScanErrorsActionOnJobUnit48=""

fileMaxScanErrorsActionOnJobValue49=""

fileMaxScanErrorsActionOnJobUnit49=""

fileMaxScanErrorsActionOnJobValue50=""

fileMaxScanErrorsActionOnJobUnit50=""

fileMaxScanErrorsActionOnJobValue51=""

fileMaxScanErrorsActionOnJobUnit51=""

fileMaxScanErrorsActionOnJobValue52=""

fileMaxScanErrorsActionOnJobUnit52=""

fileMaxScanErrorsActionOnJobValue53=""

fileMaxScanErrorsActionOnJobUnit53=""

fileMaxScanErrorsActionOnJobValue54=""

fileMaxScanErrorsActionOnJobUnit54=""

fileMaxScanErrorsActionOnJobValue55=""

fileMaxScanErrorsActionOnJobUnit55=""

fileMaxScanErrorsActionOnJobValue56=""

fileMaxScanErrorsActionOnJobUnit56=""

fileMaxScanErrorsActionOnJobValue57=""

fileMaxScanErrorsActionOnJobUnit57=""

fileMaxScanErrorsActionOnJobValue58=""

fileMaxScanErrorsActionOnJobUnit58=""

fileMaxScanErrorsActionOnJobValue59=""

fileMaxScanErrorsActionOnJobUnit59=""

fileMaxScanErrorsActionOnJobValue60=""

fileMaxScanErrorsActionOnJobUnit60=""

fileMaxScanErrorsActionOnJobValue61=""

fileMaxScanErrorsActionOnJobUnit61=""

fileMaxScanErrorsActionOnJobValue62=""

fileMaxScanErrorsActionOnJobUnit62=""

fileMaxScanErrorsActionOnJobValue63=""

fileMaxScanErrorsActionOnJobUnit63=""

fileMaxScanErrorsActionOnJobValue64=""

fileMaxScanErrorsActionOnJobUnit64=""

fileMaxScanErrorsActionOnJobValue65=""

fileMaxScanErrorsActionOnJobUnit65=""

fileMaxScanErrorsActionOnJobValue66=""

fileMaxScanErrorsActionOnJobUnit66=""

fileMaxScanErrorsActionOnJobValue67=""

fileMaxScanErrorsActionOnJobUnit67=""

fileMaxScanErrorsActionOnJobValue68=""

fileMaxScanErrorsActionOnJobUnit68=""

fileMaxScanErrorsActionOnJobValue69=""

fileMaxScanErrorsActionOnJobUnit69=""

fileMaxScanErrorsActionOnJobValue70=""

fileMaxScanErrorsActionOnJobUnit70=""

fileMaxScanErrorsActionOnJobValue71=""

fileMaxScanErrorsActionOnJobUnit71=""

fileMaxScanErrorsActionOnJobValue72=""

fileMaxScanErrorsActionOnJobUnit72=""

fileMaxScanErrorsActionOnJobValue73=""

fileMaxScanErrorsActionOnJobUnit73=""

fileMaxScanErrorsActionOnJobValue74=""

fileMaxScanErrorsActionOnJobUnit74=""

fileMaxScanErrorsActionOnJobValue75=""

fileMaxScanErrorsActionOnJobUnit75=""

fileMaxScanErrorsActionOnJobValue76=""

fileMaxScanErrorsActionOnJobUnit76=""

fileMaxScanErrorsActionOnJobValue77=""

fileMaxScanErrorsActionOnJobUnit77=""

fileMaxScanErrorsActionOnJobValue78=""

fileMaxScanErrorsActionOnJobUnit78=""

fileMaxScanErrorsActionOnJobValue79=""

fileMaxScanErrorsActionOnJobUnit79=""

fileMaxScanErrorsActionOnJobValue80=""

fileMaxScanErrorsActionOnJobUnit80=""

fileMaxScanErrorsActionOnJobValue81=""

fileMaxScanErrorsActionOnJobUnit81=""

fileMaxScanErrorsActionOnJobValue82=""

fileMaxScanErrorsActionOnJobUnit82=""

fileMaxScanErrorsActionOnJobValue83=""

fileMaxScanErrorsActionOnJobUnit83=""

fileMaxScanErrorsActionOnJobValue84=""

fileMaxScanErrorsActionOnJobUnit84=""

fileMaxScanErrorsActionOnJobValue85=""

fileMaxScanErrorsActionOnJobUnit85=""

fileMaxScanErrorsActionOnJobValue86=""

fileMaxScanErrorsActionOnJobUnit86=""

fileMaxScanErrorsActionOnJobValue87=""

fileMaxScanErrorsActionOnJobUnit87=""

fileMaxScanErrorsActionOnJobValue88=""

fileMaxScanErrorsActionOnJobUnit88=""

fileMaxScanErrorsActionOnJobValue89=""

fileMaxScanErrorsActionOnJobUnit89=""

fileMaxScanErrorsActionOnJobValue90=""

fileMaxScanErrorsActionOnJobUnit90=""

fileMaxScanErrorsActionOnJobValue91=""

fileMaxScanErrorsActionOnJobUnit91=""

fileMaxScanErrorsActionOnJobValue92=""

fileMaxScanErrorsActionOnJobUnit92=""

fileMaxScanErrorsActionOnJobValue93=""

fileMaxScanErrorsActionOnJobUnit93=""

fileMaxScanErrorsActionOnJobValue94=""

fileMaxScanErrorsActionOnJobUnit94=""

fileMaxScanErrorsActionOnJobValue95=""

fileMaxScanErrorsActionOnJobUnit95=""

fileMaxScanErrorsActionOnJobValue96=""

fileMaxScanErrorsActionOnJobUnit96=""

fileMaxScanErrorsActionOnJobValue97=""

fileMaxScanErrorsActionOnJobUnit97=""

fileMaxScanErrorsActionOnJobValue98=""

fileMaxScanErrorsActionOnJobUnit98=""

fileMaxScanErrorsActionOnJobValue99=""

fileMaxScanErrorsActionOnJobUnit99=""

fileMaxScanErrorsActionOnJobValue100=""

fileMaxScanErrorsActionOnJobUnit100=""

fileMaxScanErrorsActionOnJobValue101=""

fileMaxScanErrorsActionOnJobUnit101=""

fileMaxScanErrorsActionOnJobValue102=""

fileMaxScanErrorsActionOnJobUnit102=""

fileMaxScanErrorsActionOnJobValue103=""

fileMaxScanErrorsActionOnJobUnit103=""

fileMaxScanErrorsActionOnJobValue104=""

fileMaxScanErrorsActionOnJobUnit104=""

fileMaxScanErrorsActionOnJobValue105=""

fileMaxScanErrorsActionOnJobUnit105=""

fileMaxScanErrorsActionOnJobValue106=""

fileMaxScanErrorsActionOnJobUnit106=""

fileMaxScanErrorsActionOnJobValue107=""

fileMaxScanErrorsActionOnJobUnit107=""

fileMaxScanErrorsActionOnJobValue108=""

fileMaxScanErrorsActionOnJobUnit108=""

fileMaxScanErrorsActionOnJobValue109=""

fileMaxScanErrorsActionOnJobUnit109=""

fileMaxScanErrorsActionOnJobValue110=""

fileMaxScanErrorsActionOnJobUnit110=""

fileMaxScanErrorsActionOnJobValue111=""

fileMaxScanErrorsActionOnJobUnit111=""

fileMaxScanErrorsActionOnJobValue112=""

fileMaxScanErrorsActionOnJobUnit112=""

fileMaxScanErrorsActionOnJobValue113=""

fileMaxScanErrorsActionOnJobUnit113=""

fileMaxScanErrorsActionOnJobValue114=""

fileMaxScanErrorsActionOnJobUnit114=""

fileMaxScanErrorsActionOnJobValue115=""

fileMaxScanErrorsActionOnJobUnit115=""

fileMaxScanErrorsActionOnJobValue116=""

fileMaxScanErrorsActionOnJobUnit116=""

fileMaxScanErrorsActionOnJobValue117=""

fileMaxScanErrorsActionOnJobUnit117=""

fileMaxScanErrorsActionOnJobValue118=""

fileMaxScanErrorsActionOnJobUnit118=""

fileMaxScanErrorsActionOnJobValue119=""

fileMaxScanErrorsActionOnJobUnit119=""

fileMaxScanErrorsActionOnJobValue120=""

fileMaxScanErrorsActionOnJobUnit120=""

fileMaxScanErrorsActionOnJobValue121=""

fileMaxScanErrorsActionOnJobUnit121=""

fileMaxScanErrorsActionOnJobValue122=""

fileMaxScanErrorsActionOnJobUnit122=""

fileMaxScanErrorsActionOnJobValue123=""

fileMaxScanErrorsActionOnJobUnit123=""

fileMaxScanErrorsActionOnJobValue124=""

fileMaxScanErrorsActionOnJobUnit124=""

fileMaxScanErrorsActionOnJobValue125=""

fileMaxScanErrorsActionOnJobUnit125=""

fileMaxScanErrorsActionOnJobValue126=""

fileMaxScanErrorsActionOnJobUnit126=""

fileMaxScanErrorsActionOnJobValue127=""

fileMaxScanErrorsActionOnJobUnit127=""

fileMaxScanErrorsActionOnJobValue128=""

fileMaxScanErrorsActionOnJobUnit128=""

fileMaxScanErrorsActionOnJobValue129=""

fileMaxScanErrorsActionOnJobUnit129=""

fileMaxScanErrorsActionOnJobValue130=""

fileMaxScanErrorsActionOnJobUnit130=""

fileMaxScanErrorsActionOnJobValue131=""

fileMaxScanErrorsActionOnJobUnit131=""

fileMaxScanErrorsActionOnJobValue132=""

fileMaxScanErrorsActionOnJobUnit132=""

fileMaxScanErrorsActionOnJobValue133=""

fileMaxScanErrorsActionOnJobUnit133=""

fileMaxScanErrorsActionOnJobValue134=""

fileMaxScanErrorsActionOnJobUnit134=""

fileMaxScanErrorsActionOnJobValue135=""

fileMaxScanErrorsActionOnJobUnit135=""

fileMaxScanErrorsActionOnJobValue136=""

fileMaxScanErrorsActionOnJobUnit136=""

fileMaxScanErrorsActionOnJobValue137=""

fileMaxScanErrorsActionOnJobUnit137=""

fileMaxScanErrorsActionOnJobValue138=""

fileMaxScanErrorsActionOnJobUnit138=""

fileMaxScanErrorsActionOnJobValue139=""

fileMaxScanErrorsActionOnJobUnit139=""

fileMaxScanErrorsActionOnJobValue140=""

fileMaxScanErrorsActionOnJobUnit140=""

fileMaxScanErrorsActionOnJobValue141=""

fileMaxScanErrorsActionOnJobUnit141=""

fileMaxScanErrorsActionOnJobValue142=""

fileMaxScanErrorsActionOnJobUnit142=""

fileMaxScanErrorsActionOnJobValue1

#数据集成工具：Talend与Hadoop集成

##Hadoop生态系统概览

Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。它主要由两个核心组件构成：Hadoop分布式文件系统（HDFS）和MapReduce计算框架。HDFS提供了一个高容错性的文件系统，能够存储大量的数据，而MapReduce则提供了一种并行处理这些数据的机制。

###Hadoop分布式文件系统（HDFS）

HDFS是Hadoop的核心存储组件，它将数据分布在多个节点上，提供高吞吐量的数据访问，非常适合大规模数据集的处理。HDFS的设计目标是兼容廉价的硬件设备，通过冗余存储来提供数据的高可用性。

###MapReduce

MapReduce是Hadoop的计算框架，它将大规模数据集的处理任务分解为可以并行处理的小任务，这些小任务可以在Hadoop集群的多个节点上同时执行。MapReduce包括两个阶段：Map阶段和Reduce阶段。在Map阶段，数据被分割并处理，生成中间结果；在Reduce阶段，中间结果被汇总，生成最终结果。

##Talend连接Hadoop的方法

Talend提供了多种方式来连接和处理Hadoop中的数据，包括HDFS、HBase、Hive、Pig、MapReduce和Spark。TalendDataIntegration（TDI）通过其HadoopBigData组件，简化了与Hadoop生态系统的集成。

###使用Talend连接HDFS

在Talend中，连接HDFS主要通过HDFSInput和HDFSOutput组件来实现。这些组件允许用户读取和写入HDFS中的数据，支持多种数据格式，如CSV、JSON、XML等。

####示例：使用Talend读取HDFS中的CSV数据

```java

//TalendJobStart

tStart_1=newtStart("tStart_1");

tStart_1.setID("tStart_1");

tStart_1.setName("tStart_1");

tStart_1.setOrder(StartOrder.FIRST);

//HDFSInputComponent

tHDFSInput_1=newtHDFSInput("tHDFSInput_1");

tHDFSInput_1.setID("tHDFSInput_1");

tHDFSInput_1.setName("tHDFSInput_1");

tHDFSInput_1.setHadoopVersion("Hadoop2.x");

tHDFSInput_1.setFileName("/user/talend/data.csv");

tHDFSInput_1.setSchema("schema.csv");

tHDFSInput_1.setEncoding("UTF-8");

tHDFSInput_1.setSeparator(",");

tHDFSInput_1.setQuote("\"");

tHDFSInput_1.setEscape("\\");

tHDFSInput_1.setKeepOriginalValue(false);

tHDFSInput_1.setFailOnUnknownColumn(false);

tHDFSInput_1.setIgnoreEmptyLine(false);

tHDFSInput_1.setIgnoreFirstLine(false);

tHDFSInput_1.setIgnoreLastLine(false);

tHDFSInput_1.setIgnorePattern("");

tHDFSInput_1.setIgnorePatternType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternCase(false);

tHDFSInput_1.setIgnorePatternTrim(false);

tHDFSInput_1.setIgnorePatternReplace("");

tHDFSInput_1.setIgnorePatternReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValue("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplace("");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceType("IGNORE_NONE");

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceCase(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceValueReplaceTrim(false);

tHDFSInput_1.setIgnorePatternReplaceValueReplaceValueReplaceVal