mysqlやmariadbからData Ware House(以下、DWH)へレプリケーションしたいな、って最近思います。
実際のところ、DWHがupdate/deleteといった行操作に弱いので、
なかなかDWHが使えない状況が続いていますが、
最近ではTiDBのTiFlushや、OCIのheatwaveといったもの(行操作も強そうなもの)が出てきているので、
OLTPのmysql/mariadbから、シームレスにレプリケーションいけそうじゃないか?
という感触を持っています。
とはいえ、update/delete問題が解決しても、実際はOLTPのデータベースと、
DWHをつなぐときは、マルチソースレプリケーションである必要があったり、
そもそも各種DDLを解決したりと、なかなか簡単には事が運ばない印象です。
そんなこんなで、Change Data Capture(以下、CDC)が使えるんじゃないかな?
とずっと思っていたのですが、C#にCDCのライブラリがあったので、紹介しておきます。
https://github.com/rusuly/MySqlCdc
まだ、動作検証はしてないですが、かなり色々できそうな気がしてます。
CDCのソフトウェアは有償・無償と色々ありますが、
実際にSQL(イベント)をアプリケーションで捕まえることができるようになるので、
ある程度mysqlのレプリケーションをしっているエンジニアであれば、
かなり面白いことができそうな気はしてます。
以上
コメントがあればどうぞ