ちょこちょこ作業してます。

https://github.com/shigenobu/ebonyrack/releases

たまには画面もつけてみよう。(GITHUBに載せたままですが)

v0.5.2からv0.6.1までの主な変更は以下のとおりです。

  • テーブル・シーケンスの右クリックに「Edit」追加(ダブルクリック以外でも開けるように)
  • DDLインポート修正(DOCコメントの不具合、カラムオプションに生成列とチェック制約を登録できるように)
  • 起動時に最新バージョンのチェックを行う(古いバージョンの場合最新バージョンのリンクが表示されます)
  • HTMLにおいて、ダイアログの外側をクリックしたときに、ダイアログを閉じる処理を追加

やりたいことはたくさんあるのですが、なかなか実装が難しいので、

とりあえず未来のTODOを記録しておきます。

  • VIEWの対応
  • TRIGGERの対応
  • FUNCTIONの対応
  • PROCEDUREの対応
  • まとめて行う処理諸々(テーブルやパーティションに対してのグループの一括付与・除去とか、テーブルからカラムをまとめて付与・除去とか)
  • カラムを選択可能にしたい(JEditorPaneとか)
  • オブジェクトの複数一括移動
  • オブジェクトのグループ化みたいなもの

うーん、どれも難しい。。

以上

投稿日時:2024年04月25日 00:22   カテゴリー:java, mariadb, mysql  

1ヶ月ほど立ちましたが、MariaDB 11.3がGAされました。

https://mariadb.com/kb/en/mariadb-11-3-2-release-notes/

※debianパッケージで不具合があるようですが。。

11系のGAはまだですが、11系のリリースを少しピックアップしてみます。


(11.0)

・オプティマイザのコストが進化

(11.1)

・DATE関数、YEAR関数の左辺配置でもINDEXが利用されるよう修正

(11.2)

・オンラインDDLの修正

(11.3)

・リダイレクトの導入

・DATE_FORMAT関数にタイムゾーンの書式追加


ぱらっと見た限り、日付系の対応がちょこちょこはいっており、

タイムゾーン(datetime with timezone みたいな)に対応していくような動きですね。

次の11.4では、timestampの変更(intからunsignedへの変更、ドライバー影響を抑えるため)が予定されており、

2039年問題が伸びるので、それまでに新しい型の導入を進めていく感じになるのでしょうか。

このあたりは、MySQL側の動きにも注目ですね。

で、個人的にちょっと気になったのは、11.2でのオンラインDDLの修正でしょうか。

(参考)

https://mariadb.com/resources/blog/alter-table-is-now-universally-online/

MySQLではオンラインDDLというと、「LOCK=NONE」なもの、

つまりALTER中も並行してDMLを受け入れるというものです。

「LOCK=NONE」なDDLというと、基本的には「ALGORITHM=NOCOPY」のもの、

「INSTANT」や「INPLACE」のみでした。

11.2の対応では、「ALGORITHM=COPY」も「LOCK=NONE」で動作するようになりました。

すべての動作ではないようですが、参考ページによるとおおよそ以下のDDLが「LOCK=NONE」となったようです。

  • カラムのデータ型変更
  • カラムをNOT NULLに変更
  • 制約のないカラムに対してDEFAULTの追加
  • STOREDの生成列の追加
  • チェック制約の追加
  • 主キーの削除
  • パーティションテーブルへの変更または削除
  • システムバージョニングの追加
  • オートインクリメントの追加

細かい制約もあるようなので、参考ページをちゃんと読んでもらえばと思います。

MySQLでは、

https://dev.mysql.com/doc/refman/8.0/ja/innodb-online-ddl-operations.html#online-ddl-foreign-key-operations

ということで、見比べてみると、拡張されたことがわかるかと思います。

とはいえ、DDLの適用コストは、INSTANTのような軽さはないので、油断はせずいてもらればと思います。

ちなみに、INSTANTの適用範囲は、以前書いたものから変わっていないようです。

※metaデータロックはかかりますのでご注意を。

また、magentadeskのv0.6.1が、MariaDB 11.3対応しています。

https://github.com/shigenobu/magentadesk

以上

投稿日時:2024年03月21日 23:20   カテゴリー:mariadb, mysql  

MySQLあたりをよくさわっていたエンジニアにとって、

GCPのSpannerは非常に難しい。

難しいというより、MySQLの感覚でやると上手く行かないのです。

構文は割と似ていて、「`」なんかも使えるから、なおのこと油断しがちです。

銀の弾丸はないよね、という自戒を込めて、注意すべき点について書いておきます。

なお、「速くない」と表現していますが、同一ネットワーク内のMySQLのOLTPの場合と比較してとなります。

条件が変われば、MySQLもそこまでの速度はでないこともありますし、

分散の仕組みが入っていると事情は変わってくるので、その点は予めご了承ください。


●1回のクエリーのRTT(ラウンドトリップタイム)は速くない

MySQLだと、INDEXが聞いていれば(特に主キー)だと、同一ローカルネットワーク内であれば、

0.01秒もかからずデータが取得できますが、

Spannerだと0.01秒くらい平気でかかってしまいます。

そのため、アプリケーションが非同期IOをサポートしているなら、

非同期IOを使ったほうがアプリケーションのパフォーマンスは上がると思います。

とはいえ、1回のトランザクションで、クエリーの本数が多いとキツイので、

仕様でクエリー数を減らせるよう調整できればそれに越したことはないかと思います。

●Queryじゃない、Prepared Statementが大事

MySQLだと、アプリケーションでサーバサイドPrepared Statementをサポートしているライブラリって少ないはず。

「prepare」とか「bind」とかのメソッドがあっても、実はサーバに送るときはQueryになってたりします。

(いわゆるクライアントサイドPrepared Statementというやつですね)

でもMySQLだと、Queryでも全然問題ないほど、構文解析が速いので、

構文解析キャッシュの恩恵を受けられるPrepared Statementを使う必要性は低いのです。

※Prepared Statementを使うと、バイナリプロトコルになるという話もありますが、ここでは割愛。

しかし、Spannerでは、構文解析の負荷は高く、

Prepared Statementを使って、構文解析キャシュの恩恵を受けに行かないと、パフォーマンスがでません。

これは以下にも書いてあるとおりです。

https://cloud.google.com/spanner/docs/sql-best-practices?hl=ja

Queryだと、本当にびっくりするぐらいパフォーマンスでないです。

●1回のSELECTで効果的にデータを取得する

「INTERLEAVE」と「ARRAY STRUCT」が重要です。

「INTERLEAVE」で親と子のテーブルをできるだけ同じノードに閉じ込め、

「ARRAY STRUCT」でまとめてとってくるのがポイントです。

以下に書いてあるとおりです。

https://medium.com/google-cloud-jp/cloud-spanner-%E3%81%A7%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%AA%E3%83%BC%E3%83%96%E3%83%86%E3%83%BC%E3%83%96%E3%83%AB%E3%82%92%E9%AB%98%E9%80%9F%E3%81%AB%E5%8F%96%E5%BE%97%E3%81%99%E3%82%8B-2a955b061d3

とはいえ、ARRAY STRUCTでとってきたデータを、オブジェクトにマッピングするのは結構難しいです。

GO言語なんかはライブラリレベルでサポートされているようですが、

他の言語では、自前で解析する必要があります。

上記3つが大きなポイントとなるかと思います。

それ以外にも注意すべきは、「Writeが速くない」ということでしょうか。

UPDATEやDELETEはある意味仕方ないですが、

BULK INSERTについては、UNNESTを上手く使うことで、パフォーマンス向上は可能かと思います。

UNNESTはWHERE INの文脈で使われることが多いかと思いますが、INSERTでも利用できるようです。

※すいません、自分がこれは試してないです。

PostgreSQLでサポートされているので、対応されているのでしょうか。。

他には最近リリースされたINSERT OR UPDATE構文なんかも使えるかもしれません。

ただし、INSERT OR UPDATEについては、ユニークキーがある場合の挙動について、

↓のドキュメントには記載されていません。

https://cloud.google.com/spanner/docs/reference/standard-sql/dml-syntax#insert-or-update

なので、ちょっと試してみました。

まず、こんなテーブルを作ります。

CREATE TABLE  UsersUnique
  ( Id STRING(255) NOT NULL,
    Name STRING(255) NOT NULL,
    Age INT64 NOT NULL,
    )
PRIMARY KEY  (Id);
  CREATE UNIQUE INDEX uk_UsersUnique_Name ON  UsersUnique(Name);

以下のようなデータを入れておきます。

Id  Name  Age
0123456789  Aさん  20
9876543210  Bさん  40 

次に、以下のようなINSERTを流します。

insert or update UsersUnique (Id, Name, Age) values ('0123456789', 'Bさん', 30);

流した結果、

Unique index violation on index uk_UsersUnique_Name at index key [B343201225343202223,9876543210]. It conflicts with row [9876543210] in table UsersUnique.

となりました。

つまり、主キーで置き換えようとしたが、ユニーク制約で引っ掛かった形となりました。

MySQLでは「replace into」といういわゆるUPSERTがあるのですが、

これを使うと、ユニーク制約で削除され、主キーが置き換えられます。

つまり、以下のような結果になります。

Id  Name  Age
0123456789  Bさん  30

DBMSによって、挙動は違いますが、ユニーク制約がある場合はUPSERTには注意を払いましょう。

あれこれ書いてきましたが、

Spannerは簡単にスケールアウト・スケールインできるのは、本当にすごいなと思いました。

とはいえ、やはり特性をよく知って使わないといけないなということは痛感しています。

(謝辞)

本件のSpanner検証にあたっては、ArmadaSuit さんに尽力いただきました。

ありがとうございました。

彼が作った、cgoによるMySQL/PostgreSQLのUDFは、非常に素晴らしいので、紹介させていただきます。

https://github.com/ArmadaSuit/udf-go

これは、新しいバージョンでのGO言語での書き方で、以前私が作っていたようなUDFより、

洗練されたものとなっています。

以上

投稿日時:2024年03月10日 00:12   カテゴリー:gcp, mariadb, mysql  

fluentdのHTTP OUTPUTって、意外と使われてないのか、

マニュアルを見たのですが、ちょっと引っかかったので、

備忘録がてら設定晒そうかと。

(fluentd http out の公式マニュアル)

https://docs.fluentd.org/output/http


とりあえず、設定です。

なおバージョンは、1.16.2です。

<source>
  @type forward
  port 24224
</source>
<match **>
  @type http
  endpoint http://host.docker.internal:8080/Store/${tag}
  http_method post 
  json_array false
  open_timeout 3
  read_timeout 3
  retryable_response_codes [503]
  <format>
    @type json
  </format>
  <buffer tag>
    @type file
    path /fluentd/log/transfer/buffer/
    chunk_limit_size 1m
    retry_wait 10s
    retry_max_times 3
    flush_mode interval
    flush_interval 1m
    flush_at_shutdown true
  </buffer>
</match>

endpointに${tag}という変数を使う場合、

bufferに書かないといけないというのがまずつまりました。(必須というのがわからんかった)

あとは、endpointに環境変数とかも使えるのかと思いきや、どうやら使えないようで、

このあたりも同時にハマったポイントでした。

その他、いつのバージョンからか、bufferの書き方もかなり変わっており、

このあたりもマニュアル見つつ、動かしながら確認しました。

fluentdはバージョンアップすると、結構書き方が変わっていたり、

パラメータが変更になっていたりと、なかなか注意が必要です。

とはいえ、相変わらず重宝しているfluentdです。

ちなみに、個人的に作成しているFluentNettingなんてものもあります。

https://www.nuget.org/packages/FluentNetting/

こいつはFORWARD OUPUTを受信するサーバですが、

ヘルスチェックなんかも持っているので、おすすめです。

以上

投稿日時:2024年02月14日 23:51   カテゴリー:fluentd  

ebonyrack 0.5.2 のリリースとともに、日本語マニュアルを追加しました。

(リリース)

https://github.com/shigenobu/ebonyrack/releases

(マニュアル)

https://github.com/shigenobu/ebonyrack/blob/master/manual/manual.ja.md

これでかなりわかりやすくなったと思うので、

利用者が増えてくれると嬉しいと思っていたりする自分がいます。。


0.5.2 では大掛かりな変更はないのですが、

HTML出力で、これまで<map><area>タグで制御していた部分を、

<svg><rect>タグで制御するように変更しました。

なぜ、svgを採用したかというと、mapだとクリックした場所を目立たせるというようなことが難しく、

そこでsvgとすることでクリックした場所を目立たせるようにすることが可能となりました。

<img usemap="#components" id="image" src="data:image/png;base64,..."/>
<map name="components">
  <area id="a" shape="rect" coords="10,10,20,20"/>
  <area id="b" shape="rect" coords="20,20,30,30"/>
  <area id="c" shape="rect" coords="30,30,40,40"/>
</map>
<script type="text/javascript">
var es = document.querySelectorAll("area");
for (let i = 0; i < es.length; i++) {
  es[i].addEventListener('click', (e) => {
    // ダイアログを表示する処理
  });
}
</script>
<svg xmlns="http://www.w3.org/2000/svg" width="100" height="100">
  <image href="data:image/png;base64,..." width="100" height="100"/>
  <rect id="a" x="10" y="10" width="10" height="10" fill="red" fill-opacity="0" stroke="red" stroke-opacity="0"/>
  <rect id="b" x="20" y="20" width="10" height="10" fill="red" fill-opacity="0" stroke="red" stroke-opacity="0"/>
  <rect id="c" x="30" y="30" width="10" height="10" fill="red" fill-opacity="0" stroke="red" stroke-opacity="0"/>
</svg>
<script type="text/javascript">
var es = document.querySelectorAll("rect");
for (let i = 0; i < es.length; i++) {
  es[i].addEventListener('click', (e) => {
    // opacityの操作(他のrectのopacityを戻す操作は割愛)
    es[i].setAttribute("fill-opacity", "0.2");
    es[i].setAttribute("stroke-opacity", "1");
  
    // ダイアログを表示する処理
  });
}
</script>

見ていただければわかるかと思うのですが、

svgでrectを作っておき、不可視状態(opacityを0)にしておき、

クリックイベントで可視状態(opacityを0以外)にするというものです。

mapだと、areaのどこをクリックしたのかわかりずらかったものが、

svgとrectを使うことでクリックした場所(対応するオブジェクト)をわかりやすく表示できるようになります。

イメージを添付しておきます。

(初期状態)

(クリック後)※ダイアログが立ち上がっていますが、赤くなっていることがわかるかと。

意外とこういうことをコードレベルでやっている人は少ないようで、

svgの仕様見ながら試行錯誤で書いてみました。

今後は、積極的にsvgを活用するのもありだなと思っています。

以上

投稿日時:2024年02月14日 23:36   カテゴリー:html, java, mariadb, mysql  

ebonyrack 0.5.0 をリリースしました。(最近こればかり。。)

https://github.com/shigenobu/ebonyrack/releases

0.4.0 から 0.5.0 での機能追加は以下のとおりです。

  • テーブルからクラス作成(一括・個別)
  • DDLインポートの個別対応
  • テーブル・シーケンス・ノートのコピー&ペイスト
  • DDLに関連するノートの情報をdocコメントとして記載

その他、諸々細かな修正等はありますが、

今回の中では「テーブルからクラス作成」が比較的大きな機能かなと。

これはテンプレートにテーブル情報を渡して、

そのテンプレートをレンダリングすることでクラス(ソースコード)の生成が出来るというものです。

テンプレートは、Velocityの機能が使えるので、他テンプレートを取り込んだりすることもできます。

テンプレートはカスタマイズ可能です。

テンプレートは、

~/.ebonyrack/template/

ディレクトリ以下に配備します。起動時にサンプルが配備されます。

「Sample.java.vm」というように、「{識別名}.{出力したい拡張子}.vm」としてください。

「コピー&ペイスト」もかなり大変ではあったのですが、ひとまずできてます。

とはいえ、コピー時に参照をコピーするだけで、ペイスト時に複製をかける仕組みにしているため、

コピーからペイストの間に、元データに修正が入ると、ペイストされたデータも同様の変更が入るようになってます。

そもそも、コピー&ペイストとして、これがあっているかはわからないのですが、

ひとまずそんな感じになってます。

だいぶできたのですが、少し忙しくなりそうなので、

ebonyrackの機能追加は見合わせようかなと。

もちろん、不具合あれば修正していきますが、

時間みて、操作マニュアル等のドキュメント作成をしていこうかと考えています。

改めて、0.5.0 での機能は以下のようになってます。

  • テーブル作成
  • シーケンス作成
  • ノート作成
  • データのWrite out → JSONを出力するので、バージョン管理で使えるかも
  • データのRead in → Write outされたJSONを取り込めるので、作業者以外はいいかも
  • DDLのImport(最初に一括と、個別で追加)
  • DDLの出力(一括と個別)
  • 画像の出力
  • HTMLの出力 → 本アプリを使わない作業者にいいかも
  • クラス用ソースコード生成(一括と個別)

機能としては、一通り出揃った感はあるので、

今後としては、使い勝手の向上、見栄えの向上、パフォーマンス調整とかでしょうか。

使ってくれる人がいれば嬉しいです。

以上

投稿日時:2024年01月26日 16:19   カテゴリー:java, mariadb, mysql  

ebonyrack 0.4.0 をリリースしました。

https://github.com/shigenobu/ebonyrack/releases

今回の目玉は、DDLからのIMPORTです。

結構危険な機能なので、新規プロジェクト作成直後しか利用できません。

この機能により、mysqldumpまたはmariadb-dumpで出力される

  • CREATE SEQUENCE
  • CREATE TABLE

をパースして、ebonyrack上に展開することが可能となります。

いい加減なDDLでは駄目で、データベースが吐き出すDDLを使ってください。

こんな感じですね。

mariadb-dump --databases test -d > test.sql

DDLのパースには、antlr4を使っています。

(ANTLR)

https://www.antlr.org/

※内包したため、かなりバイナリが重くなりました。。

※ANTLRを使ったMariaDBのパースについては、そのうち書こうかと思います。

とはいえ、以下の機能の部分のパースは無視しています。

  • テーブルのオプション
  • カラムのオプション(生成列とかCHECK制約とかINVISIBLEとか)
  • 外部キー

一応、実案件の100を超えるテーブルは取り込めたので、まあ大丈夫かなと。

備忘録を兼ねて、今後のTODOを記載しておきます。

  • オブジェクトのコピー&ペイスト(やっぱりあるといいなと思いました)
  • IE記法の導入
  • ヘルプダイアログ
  • クラス生成
  • DDL出力時に関連するノートをDOCコメントとして出力

このうちの「クラス生成」は、テンプレートを指定すると、

クラスコードが作れるってやつですね。

これをやると、設計段階でプログラムのクラスが作成できるのでいいかなと思っています。

以上

投稿日時:2024年01月19日 16:30   カテゴリー:java, mariadb, mysql  

https://github.com/shigenobu/ebonyrack/releases

というわけで、今月は滅茶苦茶バージョンアップしました。

ERMASTERの代替を目指して作り始めてみましたが、

逆にERMASTERの偉大さを痛感しています。。

代替なんておこがましいですね。。

とはいえ、機能紹介をしておきます。


  • テーブル作成
  • シーケンス作成
  • ノート作成
  • データのWrite out → JSONを出力するので、バージョン管理で使えるかも
  • データのRead in → Write outされたJSONを取り込めるので、作業者以外はいいかも
  • DDLの出力
  • 画像の出力
  • HTMLの出力 → 本アプリを使わない作業者にいいかも

って具合です。

細かい不具合(わかっている限り描画の背景が一部無くなるとか、画像出力がまれにおかしくなるとか)やら(0.3.5で修正しました、多分)、

どうしてもチェックしきれいないところ(check制約やpartitionの式部分の正当性の保証ができない)もありますが、

かなり使えるレベルまで進化したかと自己満足しています。

あとは、どのくらいのオブジェクト数に耐えられるかを試験したいのですが、

そうなると、実案件からインポートするような機能が必要となり、

今のアプリとは別に作ることも考えています。(Read inがあるから別につくっても行けそうな気がする)

とはいえ、アプリではカラム情報なんかは「辞書」という形で持っていたり、

外部キー制約を厳し目にやっていたりするので、インポートも一筋縄ではいかなそうです。

ヘルプというかマニュアルというかも整備しないと意味が不明なので、

操作性の修正に加えて、インポートやらヘルプなんかも少しずつ進められばと考えています。

以上

投稿日時:2023年12月12日 16:52   カテゴリー:java, mariadb, mysql  

掲題のものを実装してみました。

https://github.com/shigenobu/PurpleSofa

もともと、クライアントは1接続前提で作っていたのですが、

TCPのプロキシサーバーを作りたいなーと思い、

ベースライブラリとして、上記ライブラリに複数クライアントを束ねる機能を作ってみました。

PurpleSofaの特徴の1つとして、TCPセッションの最終受信時刻からアイドルタイムを経過すると、

TCPセションを強制的に切断するようにしています。

これはハーフCLOSE対策のためです。

サーバ側は、複数のTCPセッションをまとめて管理していたいのですが、

今回クライアント側も同じ様な対応を施しました。

で、そもそもとしてはTCPプロキシサーバーを作りたいというところなのですが、

長年お世話になっていたHAPROXYが、2系でコンテナで動かすと異常にCPUを消費するということがあり、

公式のISSUEでもあがっているのですが、なかなか完全対応というわけにはいかなそうです。

1系は問題ないので、仕事では1系を使ってますが、、もう古いので。。

意外なほどに、HAPROXYのようなヘルスチェックを兼ねているプロキシサーバーというものは少なく、

K8Sとかの大規模向けだと、どうも取り回しが悪いので、小さいものを作れないかなーと思い立ったわけです。

サンプルを作りつつ、ある程度目処はたったものの、

ヘルスチェックも様々あるので、ヘルスチェック部分をプラグイン化できないかと検討中です。

ちなみに、サンプルのコードは以下のとおりです。

https://github.com/shigenobu/PurpleSofa/blob/master/PurpleSofa.SampleProxy/Program.cs

ちょっとわかりにくいのですが、

上手く溜め込んで、バックエンド・フロントエンドとやり取りする

というのがポイントでしょうか。

要はプロキシはTCP端点をフロントとバックの2つで担当することになるので、

フロントとバックが繋がっていない状態を考慮して、メッセージを溜め込んでおく必要があるということです。

やっている人が少ないのですが、golangでは公式ライブラリとしてあるようなので、

そういった実装も参考にさせていただきました。

.NET8もリリースされたので、そろそろTCPプロキシサーバーを着手していければと考えています。

以上

投稿日時:2023年11月28日 14:03   カテゴリー:c#  

前回投稿から、しばらくたちましたが、

0.1.0から少しずつ機能追加・修正を繰り返し、

0.2.0をリリースしました。

https://github.com/shigenobu/ebonyrack/releases/tag/v0.2.0

(最新はこちら)https://github.com/shigenobu/ebonyrack/releases

前回書いていて、実装したかった分ですが、とりあえず以下の内容で対応しています。

むずい。ペンディング。

むずい。ペンディング。

こちらは、0.2.0でアウトライン機能を実装しました。

アウトラインの枠内を動かすことで、右側のワークスペースが一緒に動きます。

逆もまた同じです。

今まで、グラフィックスを取得すると、後続が描画されないということで諦めていたのですが、

    var rect = workspace.getBounds();
    var captureImage =
        new BufferedImage(rect.width, rect.height,
            BufferedImage.TYPE_INT_ARGB);
    var cg = captureImage.getGraphics();
    workspace.printComponents(cg);
    cg.dispose();

    var g2 = (Graphics2D) g.create();
    g2.drawImage(captureImage, 0, 0, w, h, new Color(73, 70, 44, 8), null);
    g2.dispose();

なんて感じで「printComponents」メソッドを使うことで上手く描画できました。

画像・DDLともに出力時に保存先を選択できるようにしました。

最後に出力した保存先は、次回保存するときにデフォルトで選択されるようになりました。

DDLについては、シーケンス・テーブル・外部キー、を選択して出力できるようにしました。

いつかやる。(かも)

だいぶできてきた感じはあるものの、

まだ対応しきれない細かい部分は結構ある感じです。

直近では、プロジェクトを開いたときに、

ワークスペースのスクロールバーの位置が調整できていないことがあるので、

それを直していければとは考えています。

ひとまず、当面はUI改善を進めつつ、パーティンションの機能を追加できればとは考えています。

以上

投稿日時:2023年11月28日 13:45   カテゴリー:java, mariadb, mysql