博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
基于DataIDE数据集成实现香港ECS上的MySQL数据同步到数加MaxCompute
阅读量:6482 次
发布时间:2019-06-23

本文共 1353 字,大约阅读时间需要 4 分钟。

最近有朋友问,客户在香港ECS上搭建的MySQl,大概有100GB以上的数据,能否通过MaxCompute做海量数据分析,我的回答是YES!

但客户担心香港与大陆之间数据连通性问题,我的回答依然是YES!

为了让更多个客户不再困扰,笔者做了一份教程,可以通过大数据开发套件中的经典网络进行同步数据,有图为证!

准备工作

1、注册并开通阿里云账号、Access id、Access Key;开通方法:

2、购买并开通香港区域经典网络ECS;购买地址:

3、下载并搭建MySQL 5.7 ;下载地址:

4、购买并开通MaxCompute、大数据开发套件;开通方法:

跨区域数据同步

1、设置ECS安全组

进入ECS管控台->ECS管理,设置安全组,添加外网3306 IP访问权限;

 

 f7501526b478741cca22874302e833fc6b47c67d

 

2、添加数据源

通过控制台进入大数据开发套件;

ff5c1472379417d231e14b1bb1ee283b61c1f786

点击数据集成->左侧列表"数据源"页面->点击右上交“新增数据源”;

输入数据源MySQL57_hk,选择MySQL 经典网络,MySQL的JDBC地址、账号信息;

点击连通性验证网络;如果不通,请参照本文常见问题;

bdd8210dc59e5aadef68e7cf737f718dcfb90851

3、创建并设置同步任务

点击进入同步任务,选择需要导入的源表;

数据源MySQL57_hk,选择或通过搜索框查找"movie_info_mysql_hk",点击下一步;

df1526a0b37c79b3b39e424888ff29139c9e248e

选择目标数据库opds_first,点击快速建表,同步表结构,修改脚本中的表名,改为movie_info,点击提交;

28177f3a3c70d6a3aad1a539025657335733a9bd

分区信息默认为时间变量,点下一步;

a1f4b5e978a929b172a2e068212e55ddd55d1124

字段自动映射,跳过即可;

b79ea84c0c6552095b42a48488dfc6acb0f3db69

通道控制默认,点击下一步;

dba3675343ee87b23ec5d46e2c49ad0ee9e5d21a

预览后,点击保存;

51168c6cff4076afab9946c9619e48b2ebbad9e7

点击保存后,命名数据同步任务名称hk_mysql_data1;

4e435607d0dd6b3730033f1575e1d91a24f26313

4、执行并验证数据

手动执行数据同步,点击运行,选择当天时间戳;

dcc275e50bd4e456c5e0d3b4f16b977ecf3c21a8

 执行完成后,我们去验证一下数据;

035d1363c518548ae9cd11584c22c04e92ef9dbf

进入大数据开发套件->数据开发;

5eea9708a60af6bc47f519f73d796dd1b5323568

 

验证导入的数据;

 

 

29f764b8e3c082425cdb7cc571f850b90010a7af

实验遇到的问题 

Q:大数据开发套件(数据集成)中连接不上ECS上的MySQL ,提示:测试连接失败,测试数据源连通性失败:连接数据库失败数据库连接串:jdbc:mysql://47.90.89.23:3306/MySQL57-hk, 用户名:root, 异常消息:Communications link failure The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.

A进入ECS安全组规则->设置网络入口访问权限,测试的话可以设置为0.0.0.0/0;

f7501526b478741cca22874302e833fc6b47c67d

Q:大数据开发套件(数据集成)中连接不上ECS上的MySQL ,提示:测试连接失败,测试数据源连通性失败:连接数据库失败数据库连接串:jdbc:mysql://47.90.89.23:3306/mysql, 用户名:root, 异常消息:null, message from server: "Host '121.43.110.160' is not allowed to connect to this MySQL server"

A:MySQL设置远程访问权限,参照:

c35f8419f39373be2b6c7b53c4b6c38757999e8b

 

转载地址:http://xwduo.baihongyu.com/

你可能感兴趣的文章
删除重复数据,保留一条ID最小的
查看>>
respond.js
查看>>
rest framework 认证 权限 频率
查看>>
项目中常用到的正则表达式(收集+共享=进步)
查看>>
Java NIO:IO与NIO的区别
查看>>
JWT的使用流程
查看>>
ORACLE SPA
查看>>
Oracle hint之ORDERED和USE_NL
查看>>
【转】WF4.0 (基础篇)
查看>>
sscanf函数详解 & 查找文件字符串
查看>>
HTTP中请求和响应浅析
查看>>
个人课程总结
查看>>
C#事件浅淡(1)
查看>>
在DATATABLE中过滤相同的值
查看>>
Linux 常用命令大全
查看>>
Java设计模式之单例模式
查看>>
debian,ubuntu搜狗輸入法候选栏乱码
查看>>
KineticJS教程(5)
查看>>
硬件RDMA的驱动配置和测试
查看>>
python基础学习-文件操作
查看>>