始まりは、愛用していたツールのライセンス変更
私たちのチームでは、データ連携(ETL)の主軸としてPentaho (Community Edition)を10年以上にわたり活用してまいりました。使いやすいツールであったが、連携で不足する機能について、独自のPentahoプラグインを多数自社開発し、完全に内製化された強力なデータ基盤を築き上げていました。
しかし、昨今のライセンス変更に伴い、「これまで通り無料で安全に使い続けることが難しい」という転換期を迎えることになります。そこで調査の結果、Pentahoの思想を受け継ぐ新世代のOSS「Apache Hop」への全面リプレイスを決意しました。
セキュリティの進化がもたらした、設計思想の大転換
いざ移行を始めてみると、単に設定ファイルを書き換えるだけでは済まないことが判明しました。
Apache Hopは、Pentahoで渾然一体となってセキュリティや取り回しがしにくかった部分の整理が一挙に進んでいました。アカウント等の機密設定をMetadataに切り出し、並列するプラグインが完全に独立する仕組みを推奨としました。従来に比べてかっちりした造りになり、セキュリティ面が大きく進化しています。
象徴的なのが「トランスフォーメーション(加工処理)内にアカウント情報を直接持たせない」という厳格な思想の転換です。
壮絶な書き換え量のため、IntelliJプラグインを作成
「手作業で一つひとつ書き換えていたら、何ヶ月かかるか分からない……」
書き換えは一定のパターンに沿って行うのが基本ですが、中には例外的な変更も含まれます。これらをすべて手作業で行えば、設定漏れや接続ミスなどの「タイポ(打ち間違い)」が多発するのは目に見えていました。そこで、この変換ロジックを整理し、技術の力で自動解決することを模索しました。
普段私たちが開発で愛用しているIntelliJにプラグインがあり、これを自作できることに気づき、「IntelliJのプラグイン(拡張機能)」を自作するアプローチを試みました。
初めは単なるパッケージ名や文字列の差し替え(置換)といった単純な機能から始めたのですが、IntelliJのAPIを調べていくうちに、もっと深く複雑なコード解析が行えることに気づき、機能をどんどん拡張していきました。
実行時エラーの罠を「クイックフィックス」で対応
こうした中、Javaの『コンパイルは正常に通るけれど、Apache Hopの内部仕様(暗黙のコンストラクタなど)のせいで、実行した瞬間にエラーになる』という問題に遭遇しました。
これはApache Hopのリフレクションやプラグイン構造の仕組み上、特定のシグネチャを持ったコンストラクタがないと、ビルドが通っても動かないという罠です。手作業で見つけるのはなかなか大変です。
そこで、プラグインに「必要な暗黙のコンストラクタがないことを、IDE上でエラー(警告)として表現する」仕組みを構築。このエラーにカーソルを合わせると「必要なコンストラクタを自動で作成する支援(クイックフィックス)」を出すようにしてみました。
これにより、何のコードが不足しているのかを画面上で可視化されるようになり、開発者はIDEの指示に従ってポチポチと修正を選ぶだけで、修正が進行するようになりました。
初めは苦行であった差し替え作業が、いつしか「まだ直すところがないかしら」と、パズルを楽しむような感覚になっていきました。この自作ツールの支援で、絶望的だった機械的な置き換え作業は爆速となり、チームを救う大きな武器となりました。
そして今、最大の壁「メタデータ拡張」と格闘中
IntelliJプラグインの支援で、コードの機械的な書き換えやエラーチェックは劇的に進歩しました。しかし、先述した「あらゆるアカウント情報をメタデータ管理へ移行する」という、根本的な設計思想のギャップを埋める再設計は、一筋縄ではいきません。
このメタデータ周りの論理の繋ぎ換えと自作プラグインの完全移行について、私たちは今まさに整理と改修の真っ只中にいます。
データシステムは今後、さまざまな用途で使われることが想定されます。だからこそ、なるべく柔軟に対応できるように、基底(ベース)となる部分は今このタイミングできちんと整理しておく必要があると考えています。
システムの移行は、教科書通りの綺麗な成功体験ばかりではありません。大きな設計の変化に直面したとき、それにどう適応し、いかに開発しやすい「美しい設計」に落とし込むか。苦労はありますが、それこそがまさに、高難度のパズルを組むような感じで最高に面白い世界だなと感じています。
よければ、情報交換(知見の共有)をしませんか?
私たちは今、この大規模な設計の更新という、面白くも苦しくもあるフェーズにいます。
同じような境遇や、データインフラの深い課題を持つ者同士、現場の泥臭い話や設計のベストプラクティスについてお互いの知見をカジュアルに共有できたら嬉しいですね。
「ちょっとお茶を飲む感覚で、ETLやプラグイン設計のお話をしてみてもいいかしら」と思った方は、お気軽に「話を聞きに行きたい」ボタン、またはメッセージからお声がけください!