java截取字符串最后一个分隔符
怎么用sqoop把hive的数据导入mysql？
怎么用sqoop把hive的数据导入mysql？
运行环境 centos 5.6 hadoop hive
sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具。
上海尚学堂hadoop大数据培训组原创，陆续有hadoop大数据技术相关文章奉上，请多关注！
在使用过程中可能遇到的问题：
sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。
sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar，所以你需要下载hadoop-0.20.2-CDH3B4.tar.gz，解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2-CDH3B4.jar复制到sqoop-1.2.0-CDH3B4/lib中。
1 首先安装sqoop,如果你使用的是clouder分发版的话就非常简单
# yum install sqoop
如果用官方版本的话
# cd
# wget
# yum -y install sqoop
sqoop就会安装完成
2 使用sqoop
首先将mysql-connector-java-5.1.16-bin.jar文件复制到/usr/lib/sqoop/lib文件夹下
3 导入导出数据库
1)列出mysql数据库中的所有数据库命令
# sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456
2)连接mysql并列出数据库中的表命令
# sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456
命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码
3)将关系型数据的表结构复制到hive中
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table username --username root --password 123456 --hive-table test
其中 --table username为mysql中的数据库test中的表 --hive-table test 为hive中新建的表名称
4)从关系数据库导入文件到hive中
sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password mysql-password --table t1 --hive-import
5)将hive中的表数据导入到mysql中
./sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password admin --table uv_info --export-dir /user/hive/warehouse/uv/dt2011-08-03
如果报错
11/08/05 10:51:22 INFO Running job: job_201108051007_0010
11/08/05 10:51:23 INFO map 0% reduce 0%
11/08/05 10:51:36 INFO Task Id : attempt_201108051007_0010_m_000000_0, Status : FAILED
at java.util.AbstractList$()
at uv_info.__loadFromFields(uv_)
at uv_(uv_)
at ()
at ()
at ()
at ()
at ()
at ()
at $()
at (Native Method)
at ()
at ()
at ()
此错误的原因为sqoop解析文件的字段与MySql数据库的表的字段对应不上造成的。因此需要在执行的时候给sqoop增加参数，告诉sqoop文件的分隔符，使它能够正确的解析文件字段。
hive默认的字段分隔符为
java项目中，上传的excel打开时无法正常打开，显示乱码。怎样可以正常打开？
1、转换格式法就是将受损的Excel XP工作簿另存格式选为SYLK。如果可以打开受损文件，只是不能进行各种编辑和打印操作，那么建议首先尝试这种方法。
2、直接修复法最新版本的Excel XP在“打开”窗口的“打开”按钮内有直接修复受损文件的“打开并修复”功能，这种方法适用于常规方法无法打开受损文件的情况。
3、偷梁换柱法遇到无法打开受损的Excel XP文件时，也可以尝试使用Word来打开它。操作如下：(1)运行Word程序，选择需要打开的Excel文件；(2)如是首次运用Word程序打开Excel XP文件，可能会有“Microsoft Word无法导入指定的格式。这项功能目前尚未安装，是否现在安装？”的提示信息，此时可插入Microsoft Office安装盘进行安装；(3)按照Word程序的提示选择修复整个工作簿还是某个工作表；(4)先将文件中被损坏的数据删除，再将鼠标移动到表格中，并在菜单栏中依次执行“表格→转换→表格转换成文字”命令，选择制表符为文字分隔符，将表格内容转为文本内容，然后另存为纯文本格式文件；(5)运行Excel XP程序，打开刚保存的文本文件；(6)随后根据“文本导入向导”的提示就能顺利打开该文件了。 修复后的工作表与原工作表基本一样，不同的是表格中所有的公式都需重新设置，还有部分文字、数字格式丢失了。
4、自动修复法 此法适用于Excel XP程序运行出现故障关闭程序或断电导致的文件受损。重新运行Excel XP，它会自动弹出“文档恢复”窗口，并在该窗口中列出已自动恢复的所有文件。用鼠标选择要保留的文件，并单击指定文件名旁的箭头，根据需要选择“打开”、“另存为”、“显示修复”。 在缺省状态下Excel XP是不会启用自动修复功能的，因此预先设置：首先在菜单栏中依次点击“工具→选项”命令，在设置框中单击“保存”标签，将“禁用自动恢复”复选框取消，然后选中“保存自动恢复信息，每隔X分钟”复选项，并输入指定的间隔频率，最后点击“确定”完成设置。 如果还没有自动弹出“文档恢复”窗口，可以尝试用手工的方法打开自动恢复的文件：依次执行“文件→打开”命令，利用“查找范围”框定位并打开Excel XP保存自动恢复文件的文件夹，要是不知道那个文件夹的位置，可以查看“自动恢复文件保存位置”框中的路径，接着在“文件类型”选择对话框中，选中“所有文件(*.*)”选项，并选择要恢复的文件，最后单击“打开”按钮，打开文件进行自动修复。
5、工具修复法 如果上面的几种方法都不能修复文件，还可以借助专门用来修复受损Excel XP文件的“ExcelRecovery”。该软件会自动将修复程序加到Excel软件中，表现为在“文件”菜单下增添一项“Recovery”命令，它能自动以修复方式打开受损文件。