Data Engineer

Azure Databricks／Microsoft Fabric を活用した高度なアナリティクスソリューションのアーキテクチャ設計、設計業務、実装をリードします。ビッグデータ技術、データエンジニアリング、クラウドコンピューティングに対する深い理解を持ち、Azure Databricks と強固な SQL スキルを重視します。

Microsoft Fabric 上で Fabric パイプライン、レイクハウス、ウェアハウス、リアルタイムアナリティクス（EventHouse）を含むソリューションを設計・実装します。

Synapse、Databricks、データマートなど既存のワークロードを Fabric へ移行する知識を有すること。

業務関係者および他の IT チームと密接に連携し、要件を理解し効果的なソリューションを提供します。

データソリューションのエンドツーエンド実装を統括し、業務要件およびベストプラクティスに準拠させます。

Azure Databricks、PySpark、その他関連ツールを使用したデータパイプラインおよび ETL 処理の開発をリードします。

Azure Databricks を Azure Data Lake、Azure Synapse、Azure Data Factory など他の Azure サービス、およびオンプレミスシステムと連携させます。

データエンジニアリングチームに対し技術的なリードおよびメンタリングを実施し、継続的な学習と改善の文化を醸成します。

アーキテクチャ、処理フロー、データフローに関する適切なドキュメントを作成すると同時に、セキュリティおよびガバナンス基準を順守します。

コード品質、データセキュリティ、スケーラビリティに関するベストプラクティスを順守させます。

Databricks および関連技術の最新動向を把握し、イノベーションを推進します。

必須スキル（Essential Skills）

クラスター管理、ノートブック開発、Delta Lake を含む Azure Databricks の豊富な実務経験。

Hadoop、Spark などのビッグデータ技術、PySpark などのデータ処理フレームワークに精通していること。

Azure Data Lake、Azure Synapse、Azure Data Factory などの Azure サービスに対する深い理解。

ETL／ELT 処理、データウェアハウジング、データレイク構築の実務経験。

高い SQL スキル、および NoSQL データベースの知識。

CI／CD パイプライン、Git などのバージョン管理システムの実務経験。

クラウドセキュリティのベストプラクティスに関する知識。

ソフトスキル（Soft Skills）

技術的な複雑な内容を非技術系の業務担当者にも分かりやすく説明できる優れたコミュニケーション能力。

強い問題解決力、課題を自ら発見し解決に導く積極的な姿勢。

データエンジニアチームの管理およびメンタリングを行えるリーダーシップ。

歓迎スキル（Nice to have Skills）

ダッシュボード・レポート作成のための Power BI の経験。

アナリティクスおよび連携業務での Microsoft Fabric の実務経験。

リアルタイムデータストリーム処理のための Spark Streaming の知識。

Infrastructure as Code（IaC）としての Azure Resource Manager（ARM）テンプレートの知識。

経験要件（Experience）

1. Databricks／Synapse ノートブックおよび Azure Data Factory を使用したデータ取り込み・変換パイプライン開発の実務経験が 8 年以上。
2. Delta テーブル、Delta Lake、Azure Data Lake Storage Gen2 に関する確かな理解とハンズオン経験。
3. Auto Loader および Delta Live Tables を活用し、シームレスなデータ取り込み・変換を実施した経験。
4. Databricks SQL によるクエリレイヤーの構築・最適化の実務経験。
5. Databricks を Azure Synapse、ADLS Gen2、Power BI と連携させ、エンドツーエンドのアナリティクスソリューションを構築した実務経験。
6. Power BI レポートの開発、最適化、デプロイの実務経験。
7. Databricks およびクラウドネイティブソリューションにおける最新の CI／CD プラクティスの知識。