Digital Transformation + Data Engineering
Understanding the Importance of Data
This post is published in both English and Japanese. Scroll down or click here for Japanese. この記事の日本語版はこちら
Digital transformation is a hot topic in Japan and the need for companies to integrate digital technologies is only increasing each year, especially with COVID-19. We at Slalom are focused on helping clients digitally transform. This article looks at the differences between digital transformation in Japan and the United States, how data is important to a successful digital transformation, and what steps you can take to remove blockers for your digital transformation as it relates to data.
Different Conceptions of Digital Transformation
Digital transformation in the United States is something that companies have been working on for many years. With a quick Google search, you can find articles, research papers, and success stories dating back to the 2010s. In fact, at this point, companies have matured and started focusing on digital modernization. Digital modernization entails upgrading an existing process or adopting a new process to adapt to the modern world. In the data realm, this often means moving clients from on-premises to the cloud. This modernization can further be broken down into updating existing data pipelines, data warehouses, and data management to provide performance and cost gains. With the backend modernized, the focus turns towards modernizing the client’s reporting and providing AI/ML solutions to accelerate business goals.
Slalom focuses on bringing clients to the modern age by helping them digitally transform and digitally modernize. To illustrate, we’d like to share a digital modernization success story about one of the largest cable TV providers in the U.S. More than 22 million Americans use this cable TV provider and each customer possesses a cable TV box which generates a wealth of useful data. However, the provider’s on-premise platform was struggling to keep up and customer experience and the bottom line was being damaged as a result. Slalom Build came in to help move the client over to the cloud and architect a new platform. This resulted in massive cost savings compared to the legacy architecture and will allow the provider to easily expand their platform as their business grows. Modernization also allowed them to generate more accurate reports and find more success with their existing advanced analytics capabilities thanks to improved data delivery and quality.
Every company needs to be a digital company to succeed in the modern age. Considering the recent events of COVID-19, that need is only growing. If companies fail to transform by 2025, Japan will suffer an economic loss of up to 12 trillion yen (108 billion USD) per year after, according to Japan’s Ministry of Economy, Trade, and Industry.
In Japan, the phrase “Digital Transformation” or “DX” has spread since the Ministry of Economy, Trade, and Industry formulated guidelines for digital transformation in 2018. The term became even more of a buzzword during the COVID pandemic, but its meaning in Japan is different from its meaning in the United States and other Western countries. Digital transformation is almost defined as “implementing some cutting-edge IT solution” or “using machine learning and AI” in Japan. We don’t see these examples as a digital transformation and would like to share what we think is missing.
At Slalom, we work towards digital transformation and believe that any company going through a digital transformation should have an internal development team. These development teams are working in Agile, the products they develop are core to the business, and they are in a digital mindset. This not only applies to development teams but also the whole company. If you search for “digital transformation” in Japanese, there are tons of articles such as “Company A implemented the solution B, and they have achieved the Digital Transformation.” Or “Company C reduced defective products by machine learning video analysis,” These examples are not what we in the U.S. think of as digital transformation but instead resemble a “quick win” mentality that does not digitally transform the business. As we think about Digital Transformation, we need to keep the above examples in mind so that we ensure we are working towards a digital transformation that will transform the entire company versus just one business unit.
The Importance of Data
Data is not just a bunch of digital signals crisscrossing through wires. It is like gold and oil: quite valuable, but it needs processing and refinement for consumption after mining. A company could be producing data from many different business processes, but it takes strategy, effort, and time to turn this raw data into something useable. The table below shows the building blocks for developing a data and analytics strategy. Properly processing data and treating it as a strategic asset makes answering the questions below much easier and provides more value to the company. Each business unit will have different data and unique needs within the company, but it is up to the company as a whole to process the raw rocks into gold through processing.
Data can and should be used by every business unit within a company. Being able to understand what has happened, what is happening now, and what will happen in the future is a fundamental way to improve internal processes and the customer experience. Therefore, we think that data is the backbone of digital transformation. Processed, organized, and managed data will not only provide the information needed for better analytics, it is also an exercise in developing digital assets and prioritizing your work for the benefit of your customers. We reviewed many use cases that Japan has for digital transformation right now and there is a clear gap in the understanding of the importance of data. The truth is that being able to funnel data for a one-time machine learning solution will not make you digitally transformed. The data for the whole company needs to be handled with care and purpose to enable growth in mindset, technology, and ultimately support a digital transformation.We believe that the proper use of data can only accelerate and enrich an ongoing digital transformation or kick-start an initiative in the right direction.
The Correct Development Approach
Now that we understand the importance of data and how it relates to digital transformation, let us investigate the way we work in data engineering. We see many clients who have software engineering teams running Agile successfully, yet their data engineering team is still using waterfall. The truth is that modern data engineering and software engineering are not that different and most skills are shared between the two. This means that your data engineering team should be running Agile, even if the rest of the company is waterfall-based. An Agile transformation is no easy task, but we want to stress the importance of progress over perfection. Perfecting Agile should not be your goal. Instead, you should be striving to see progress in customer satisfaction, productivity, output, and employee happiness.
At this point, you should have a better understanding of what digital transformation can mean and the importance of data within a digital transformation. We want to discuss some strategies you can implement not only to start gaining value from your data but also start a successful digital transformation.
One of the biggest issues with digital transformation in Japan is that most of the IT workforce is employed by system integrators (Slers), which has left many companies without any in-house data engineering talent. In-house development leveraging Agile is mandatory to rapidly create and improve the quality of a data platform. Organizing an in-house data engineering team is an essential element of digital transformation.
Why Slalom?
One thing that makes Slalom stand out is that we do not merely deliver a service to our clients, but work with our clients. To enable Agile development, clients need to have a person responsible for data analysis, technology selection, and operation. To improve and grow the developed service, a core engineer is essential on the client side. Japanese companies do not have many such people, so we often develop the service together with clients and transfer our technology skills to them.
One of Slalom’s core values is “Fuel Growth and Innovation” which we relentlessly focus on when working with our clients. This can be seen as we transfer skills and share knowledge with our clients throughout our journey with them. This knowledge can include programming skills, project management skills, Agile best practices, and more.
In a project with a client, we start by breaking down and understanding various processes and situations from their point of view, like walking in the client’s shoes. Only when we fully understand the client’s journey can we start building. We then take steps to anticipate how to move beyond current needs, because the essence of Agile development is to provide quality service to our clients now and in the future. In the U.S. or Japan, our basic attitude of wearing the customers’ shoes does not change. We know it’s important not only for us to fit the size of our clients’ shoes now, but to continually adapt to changing needs and create even better shoes for the future.
We focus on state-of-the-art technology. Clients can utilize Slalom engineers’ modern technology knowledge whenever they need it, rather than relying on less expensive outsourced offshore resources. In addition, we will select and use best-in-breed solutions without being locked in by the tools and technologies of a specific vendor. At Slalom we will not leave a client with a solution they cannot keep growing or continue to maintain. This is a core piece of what makes Slalom different. Slalom has a career framework profile for specific roles like data scientist, data engineer, and software engineer. The skill criteria described in these profiles will be applied to the customer’s needs. This ensures that the specific needs of individual clients are met by our team for each engagement.
Lastly, we give top priority to solving management and business problems. The main premise is to have clients to think about their business goals and visions. On top of that, Slalom consultants, solution architects, data engineers, data scientists, and other experts will participate to ensure the success of the project and the ongoing success of the client. We will help you develop your goals and visions while also making sure that those goals align with the entire company, and we will continue to revisit those goals as we work together.
We hope after reading this article you will give some thought to your data strategy and how you can leverage data to benefit your digital transformation. Having a successful digital transformation, building a data engineering team, and completing an Agile transformation is not going to be easy, but know that Slalom is here to help you along the way. If you have any questions or need help with your data, then please send us an email.
Cameron Shotwell is an Architect at Slalom Build. He focuses on modern technologies and ensuring everyone around him is on the same page. He has multiple AWS certifications and most of his experience has been in moving clients from on-premises to the cloud and designing / implementing data warehouses. https://www.linkedin.com/in/cshotwell
Youngdong Kwon is a Senior Consultant at Slalom. He is a data engineer with 21 years of experience working alongside the marketing team. He is a certified Google Cloud Professional Data Engineer and specializes in dimensional data modeling and building data pipeline systems for marketing data analytics. https://www.linkedin.com/in/youngdong-kwon-590083163
デジタル・トランスフォーメーション + データ・エンジニアリング
データの重要性を理解する
今、日本で話題のデジタル・トランスフォーメーション、この言葉を聞かない日はありません。企業におけるデジタル化の重要性は年々高まっており、コロナ禍においてそのスピードは急激に加速しました。この「デジタル化」は、これまでスラロムが顧客支援において最も焦点を当てて来たトピックです。
この記事では以下について紹介します。
- 日本とアメリカでのデジタル・トランスフォーメーションの違い
- デジタル・トランスフォーメーション成功の鍵となる『データ』の重要性
- データに関連するデジタル・トランスフォーメーションの障壁を取り除くために出来る事
デジタル・トランスフォーメーションの様々な概念
アメリカでは、多くの企業が既にデジタル・トランスフォーメーションに取り組んでいます。例えばGoogleで検索してみると、2010年代にさかのぼる記事、研究論文、成功事例を見つけることができます。 デジタル・トランスフォーメーションはアメリカでは目新しいものではなく、既に企業は成熟し、デジタルのモダナイゼーション （近代化）に焦点を合わせ始めています。 デジタルモダナイゼーションとは、既存のプロセスをアップグレードするプロセス、または新しいプロセスを採用して現代の世界に適応することです。 データ・エンジニアリング界隈では、顧客のデータをオンプレミスからクラウドにリフト・アンド・シフトすることでこれを確認できます。 これはさらに、既存のデータパイプライン、データウェアハウス、およびデータ管理の更新に分解して、パフォーマンスの向上とコストの削減を得ることができます。 バックエンドが最新化される事で、顧客はビジネスを加速するための最新のAI / MLソリューションの導入とデータ分析にフォーカス出来ます。
スラロムは、システムのモダナイゼーションに常に焦点を当てています。ここでアメリカ最大のケーブルテレビプロバイダーについての成功事例を紹介します。
アメリカ全土で、このケーブルテレビプロバイダーのユーザーは2,200万人を超えており、各家庭のケーブルテレビ受信端末からは豊富で有用なデータを得ることが出来ます。 しかし、彼らにとってレガシーなプラットフォームの運用が大きな課題でした。そのため顧客体験は損なわれ、機会損失になっていました。
スラロムのエンジニアリング部門である「スラロム・ビルド」は、顧客のプラットフォームをクラウドに移行し、新しいアーキテクチャを共に設計しました。 これにより、従来のアーキテクチャと比較して大幅なコスト削減が実現しただけでなく、ビジネスの成長に合わせてプラットフォームを簡単に拡張できるようになりました。 また、このプラットフォームのモダナイズにより、データ配信品質が向上しさらに正確なデータが得られました。その結果、既存の分析機能を活用してより多くの精度の高いレポーティングが可能になったのです。
現在、すべての企業について、デジタル企業への変革が迫られています。近年のコロナ禍によりその必要性は一層高まっています。企業が2025年までにデジタル化出来なかった場合、日本は2025年以降年間最大12兆円（1,080億米ドル）の経済的損失を被るという予想が経済産業省より発表されました。
ここで経緯を振り返ってみましょう。日本では、経済産業省が2018年にデジタル・トランスフォーメーションのガイドラインを策定して以来、「デジタル・トランスフォーメーション」または「DX」というキーワードが広がり始めました。
このキーワードはコロナ禍においてバズワードとしてさらに広まりましたが、欧米のデジタル・トランスフォーメーションの定義とは異なる方向に進みました。日本では、デジタル・トランスフォーメーションとは「最先端のITソリューションの導入」または「機械学習・AIの導入」とほぼ同義のように扱われています。
例えば「デジタル・トランスフォーメーション」や「DX」というキーワードについて検索すると、 「A社がソリューションBを実装し、デジタル・トランスフォーメーションを実現した」という記事や、または「C社は映像分析AIソリューションを導入し、製造ラインのデジタル・トランスフォーメーションを実現した」などの記事がたくさん出てきます。
残念ながら、これらはアメリカでスラロムが行っているデジタルトランスフォーメンションとは異なります。これらの例は、デジタル・トランスフォーメーションではなく「クイックウィン」です。
では、スラロムが定義するデジタル・トランスフォーメーションとは何かについて説明します。
まず、私たちは、企業をデジタル化するために、社内における開発チームの内製化が必要であると考えています。これらの内製開発チームはアジャイルに取り組んでおり、また、開発する製品はビジネスの中核であります。これは開発チームだけでなく、会社全体にも当てはまります。これらのデジタルマインドセットを念頭に置いて、1つのビジネス部門ではなく会社全体を変革するデジタル・トランスフォーメーションに向けて取り組んでいく必要があります。
データの重要性
データとは、ケーブル内をただ行き交うだけのデジタル信号の集まりではありません。 データは金(ゴールド)や石油のように貴重な資源です。非常に価値がありますが、それを利用・消費するためには精製処理が必要です。 企業はさまざまなビジネスプロセスからデータを生成しています。しかしこの「生のデータ」を企業で使用できる「意味のあるデータ」に変えるには、戦略、労力、および時間がかかります。 以下の表を確認すると、データと分析の戦略を開発するための構成要素を確認できます。 データを適切に処理し、それを戦略的資産として扱うことで、以下の質問への回答がはるかに簡単になり、はるかに多くの価値がもたらされます。 企業内には事業部門ごとに異なるデータと、それぞれ固有のニーズがあります。しかし、これらの鉱石を加工してデータを価値あるものに変換する事は、社内における最重要事項として捉えるべきです。
データは企業内のすべての事業部門で利用可能であるべきです。「何が起きたのか」、「今何が起きているのか」、そして「何が起きるのか」を把握して内部プロセスを改善する事は、顧客体験の改善のための基礎にもなります。 したがってデータはデジタルトランスフォーメーションの「背骨」、つまり基幹であるという事です。データの処理、整理、および管理は、より良い分析に必要な情報を提供するだけでなく、デジタル資産を開発し、収益を最大化するための企業文化の醸成にもつながります。 データを適切に使用する事こそ、デジタルトランスフォーメーションを正しい方向に推進・強化して行くためのキーです。
データの重要性とそれがデジタル・トランスフォーメーションにどのように関連するかを理解したところで、データ・エンジニアリングにおけるメソッドについて考えてみましょう。
ソフトウェアエンジニアリングチームがアジャイルで順調にプロジェクトを進めているにも関わらず、データ・エンジニアリングチームは未だにウォーターフォールでプロジェクトを進行しているというケースが多くの現場で見られます。
実際にはモダンなデータ・エンジニアリングとソフトウェア・エンジニアリングには大きな違いはなく、両者で必要となるスキルにほとんど違いはありません。未だに社内の開発体制がウォーターフォールであっても、データ・エンジニアリングチームは率先してアジャイルを導入すべきです。 アジャイルな変革は簡単な作業ではありませんが、「完璧」よりも「進捗」の重要性を強調したいと思います。今はまだ「完璧なアジャイル」なんてものを目指す必要はありません。代わりに、顧客満足度、生産性、およびチームの幸福度の向上を目指しましょう。
正しい開発アプローチ
ここまでにおいて、皆さんはデジタル・トランスフォーメーションの意味と、デジタル・トランスフォーメーションにおけるデータの重要性について理解を深めたはずです。次に データから価値を得るだけでなく、デジタル・トランスフォーメーションを成功させるために導入できるいくつかの戦略について説明します。
日本におけるデジタル・トランスフォーメーションの最大の問題の1つは、ITエンジニアのほとんどがシステムインテグレーター（Slers）によって雇用されていることです。これにより、SIers以外の多くのユーザー企業においてデータ・エンジニアリングの社内人材が不足しています。 アジャイル開発を通じてデータプラットフォームを迅速に開発し、その品質を継続的に改善させるには、開発の内製化が必須です。 社内のデータエンジニアリングチームを編成することは、デジタル・トランスフォーメーションの重要な要素です。 スラロムのコアバリューの1つに「Fuel Growth and Innovation」というものがあるのですが、これは顧客と共に開発を進める上で、絶え間なく我々のエネルギーを注ぎ続けるという事です。 これは、私たちが顧客との協働、スキルトランスファーを行い、知識を共有する全体的な顧客体験（ジャーニー）のいたるところで見ることができます。
顧客とのプロジェクトでは、顧客の「靴」を履くのと同じように、顧客視点からさまざまなプロセスや状況を分析して理解することから始めます。 顧客のビジネスを完全に理解して初めて、開発を始めます。 次に、アジャイル開発の本質は現在も未来も顧客に高品質のサービスを提供することであるため、現在のニーズをどのように超えることができるかを予測して、次のステップに進みます。 アメリカでも日本でも、スラロムの「顧客の靴を履く」という基本的な姿勢は変わりません。 そして顧客の靴のサイズに合わせるだけでなく、変化するニーズに継続的に適応し、さらに良い靴を作る事が重要であると私たちは考えています。
Why Slalom?
では、なぜスラロムなのか？ スラロムを際立たせているのは、単に「顧客に」サービスを提供するだけでなく、「顧客と共に」サービスを提供していることです。 アジャイル開発を実現するには、顧客はデータ分析、テクノロジーの選択、および運用の責任者を用意する必要があります。 さらに、開発したサービスを改善・成長させるためには、自社内におけるコアエンジニアが欠かせません。 日本の企業にはまだそのような人材が少ないので、顧客と一緒にサービスを開発し、技術力を伝えていく事を重要視しています。
私たちは常に最先端のモダンテクノロジーに焦点を当てています。 顧客は、より安価なオフショアにアウトソーシングするのではなく、必要な時にいつでも最新のテクノロジー知識を持つスラロムのエンジニアを利用できます。 さらに、特定のベンダーのツールやテクノロジーに技術的に縛られることなく、最高のソリューションを選択して使用できます。 スラロムでは、顧客が成長し続けることや維持することができないソリューションを顧客には残しません。 これは、スラロムの根本的な考え方です。 スラロムには、データサイエンティスト、データエンジニア、ソフトウェアエンジニアなど、役割ごとのキャリアフレームワークプロファイルがあり、プロファイルに記載されているスキル基準を、プロジェクトを共に進める顧客側のエンジニアにも求めます。 これにより、プロジェクトにおける顧客のニーズを確実に満たすためのチームを編成する事ができます。
最後に、私たちは経営とビジネスの問題を解決することを最優先します。 主な前提は、まず顧客にビジネスの目標とビジョンについて考えてもらう事です。 さらに、スラロムのコンサルタント、ソリューションアーキテクト、データエンジニア、データサイエンティストなどが参加して、プロジェクトの成功と顧客の継続的な運用を目指します。我々は顧客の目標とビジョンを開発するのを助け、同時にそれらの目標が会社全体と一致するかどうかを常に確認します。そしてその後もプロジェクトの中でこれらの目標の再確認を継続的に行います。
今回の記事をお読み頂いた後、データ戦略とデータを活用してデジタル・トランスフォーメーションに役立てる方法について考えていただければ幸いです。 デジタル・トランスフォーメーションを成功させ、データエンジニアリングチームを構築し、さらにアジャイルトランスフォーメーションを実現することは簡単ではありませんが、スラロムがお役に立てる事があればいつでもご相談ください。 ご不明な点やデータにお困りならばどうぞお気軽にお問い合わせください。
キャメロン・ショットウェル (Cameron Shotwell) — Slalom Build のアーキテクト。常にモダンテクノロジーにフォーカスを当てており、クラウド技術の普及に貢献。 複数のAWS認定資格を保持。プロジェクトにおいてはオンプレミスからクラウドへのシステム移行、データウェアハウス設計/実装などを主に担当。https://www.linkedin.com/in/cshotwell
權 泳東 (コン・ヨンドン / Youngdong Kwon) — Slalom のシニアコンサルタント。主にマーケティング部門におけるデータエンジニアとして21年の経歴を持つ。 Google Cloud 認定 データエンジニア。 マーケティングデータ分析におけるディメンショナルモデル設計とデータパイプライン構築が専門。https://www.linkedin.com/in/youngdong-kwon-590083163
