「第2回 データアーキテクト（データ整備人）を”前向きに”考える会」（2020年2月6日に開催）に参加してきました。 もー寒い！ 冷気がコートの内側まで染み込んでくるような寒さの夜でした。
イベント当日の資料「イベントの趣旨」より
- エンジニアとアナリストの間にはいろいろな仕事があるが、目立たない、評価されない、雑用扱いされるなど何かと恨みつらみが溜まりやすいらしい状況
- 文句ばかり言ってもしょうがないのでどうしたらいいかを”前向きに”考えた方が良いのでは、ということでこのイベントを開催することになった
380人以上の申し込みがあったらしいですが（抽選で100人が選ばれて参加できる）、わたしは参加確定のブログ枠だったので安心でした。
会場でお会いできた主催者のしんゆうさんにも「申し込み早かったですね」と言われました。いやそれより、前回一度しか会ったことなかったのに、顔を覚えてもらえていたことがうれしい…！
目次
それは、この会に参加することで、現実には存在しないデータ分析関連の先輩社員を頭の中で作れるから。だから絶対に参加したかったんです…（募集開始直前にconnpassのページに行って、開始時間にリロードして、即申し込み完了）。
困った時にどうすればいいのか。どう考えればいいのか。これってデータアナリストのわたしの業務？ってもやもやするとき。みんなどうやって仕事を進めているのか気になるとき。
そういうことを相談したり話したりする相手が基本的にいないので（わたしは部署で唯一のデータアナリスト）、こういうイベントに参加して、そこで持ち帰ったものを頭の中で”仮想先輩”にしていつでも呼び出せるようにしています。
例えば前回参加したときには、ゆずたそさんのセッションに感動して、「誰が、いつ、どこで、なぜ、何のデータを、どうやって見るか」を確認してくれる先輩社員を頭の中に作りました。
すると、ただ単に自分の興味があって勝手に作ってしまうものがかなり減って、定期的に使われるダッシュボードが作れるようになってきました。今までは作ってもしばらくすると見られなくなっちゃうことが多かったので、ちょっとは成長できたかなと思います。
今回も参加できてよかった…。「わかる」「そうだよな」「すごい」の嵐。なるほど祭り。いや、自分には難しくてわからない部分もあるんですが、それもちゃんと勉強しなきゃと思えます。今週末、資料を読み直そう。
やっぱり、社外のいろんな人の話を聞けるのは良い。とても良い。明日からはじめられることがいくつも見つかりました。
そして第1回と同様に、同じ境遇の人とリアルの場で会えて語り合えるのが楽しかったです。ここで知り合って、Twitterでつながって、ずっと交流が続いている人もいます。そういう出会いもうれしいー！
（1）EurekaのDataPlatform開発状況と”再現性”の実現
登壇者は、t-kurimuraさん。（ Twitter と Medium）
- DataPlatformにおける再現性：「データに対するドメインナレッジの蓄積」「必要なデータが必要なときにすぐに取り出せること」
- 実行されているクエリ、テーブルの利用状況を可視化。永続UDFの活用。
- 週1、30分のMTGで知見共有。
あのペアーズの会社さんなんですね！友人で使っている人が何人かいて、今回のイベントの懇親会でも「ペアーズで彼女ができました」っていう人がいました。わたしはもう結婚しているのでお世話になることはないかもしれませんが、「恋人が欲しい」「結婚したい」という人にはおすすめしておこうと思います。
で、本題。どのテーブルがよく使われているのか、可視化しようと思ったこともなかったです…。やってみたいかも。もしかしたらけっこう無駄があるかもしれない。
エウレカさんはこんな風にやっているらしくて、で、うちは今どういう状態なんだっけ？って改めてもろもろ棚卸しするきっかけにしたいなと思いました。しよう！
（2） 抽出や集計の依頼を受ける時に気を付けていること
- 依頼を受ける際の基本戦術「まずは依頼をきちんと聞く」「納期をとにかく確認する」「依頼もデータも鵜呑みにしない」
- 求められているのは、データなのか、分析なのか、提案なのか。
- いかに早い段階で介入するかが鍵となる。
依頼する側であり、される側でもあるので、この資料に書かれていることはよくよく注意しておかないといけないですね。
自分のフィルターを通して依頼しちゃってるし、「なるはや」「なんかうまいことあれしといて」で依頼されることもある。でもそれでけっこう不幸になってるので、やっぱりコミュニケーションを取って「いつまでに何が知りたいのか」を確認して、「何がどれくらいまでにできるのか」を最初に返すのは重要だと思いました。
余談ですが、「パッと」「ササッと」「チャチャっと」って依頼されると毎回イライラするのですが（本当に簡単だとしても）、今後はぐっとこらえて依頼者が求めることをちゃんと聞いてきたいです。
（3）データエンジニアとデータアナリストを兼任して良かったこと
登壇者は、midaさん。（ Twitter ）
- データアナリストは、エンジニアリングの知識が浅い場合がある。データエンジニアは、ビジネス理解が浅い場合がある。お互い前提知識が違うので齟齬が発生。
- 兼任して川上から川下までやれば、「分析設計」「データ連携」「集計分析」「結果FB」の各時点で両方の視点で考えれば、手戻りが少なくなって分析スピードが上がる。
- ただ、組織規模が大きくなると、兼任が難しくなる。
データエンジニアとデータアナリストをここまでしっかり兼任できるmidaさん、すごくない…？？？最強じゃん…！
本当におっしゃる通りで、両方できたら素晴らしいし、いろいろ円滑で頼られるしいいことだらけだと思いました。わたしはエンジニアリングの知識が浅いので、そっちもしっかり勉強して、midaさんのようになりたいなと思いました。
（4）データの価値を失わないための Data Reliability Engineeringについて
登壇者は、Sotaro Tanakaさん。（ Twitter ）
- ソフトウェアに品質があるように、データにも品質がある。
- Data Reliability Engineering：データ信頼性エンジニアリング。データの価値を失わないためには、データの整備だけでなく、品質や信頼性についても目を向ける必要がある。
- Data Reliability Engineeringは、エンジニアだけで考えるものではない。
DMBOK本、高い…！（『データマネジメント知識体系ガイド 第二版』 ¥13,200-）会社で買ってくれないかなー。頼んでみよう。読んでみたい。
Data Reliability Engineeringに関しては、ぜんぶ理解できたわけではないのですが、大事だけどなかなか取り組めていない部分だなーと思いました。「これって最新のデータなの？」「データが欠損していて、意思決定に使えない」「サービスレベルがない問題」など、うわー…わかるって感じで。一度品質を疑われると、そのあと信頼を取り戻すのがすごく大変なんですよね。
まだ理論も実践も整理されていないとのことですが、わたしもできるところからはじめて、情報収集もしていきたいなと思います。
（5）意思決定に繋がる Intelligence とは
登壇者は、ぶんけいさん。（ Twitter ）
- データエンジニアやデータアーキテクト（データ整備人）、データアナリストなどの人材は需要が高いけど、組織構造的に価値が伝わりにくい環境。
- 意思決定につながらないと無価値。時にはちょっと泥臭いこともやって、体感的なアウトプットにして、意思決定につなげる。
- 「目を奪い、人を動かす」：読み手に、半強制的な当事者意識を持たせる。
最初に、参加者のアンケートを集計したものを出して、「エンジニアとデータサイエンティストは、今日この会に参加して持って帰りたいものがないんですか？？？（無回答が7〜8割だった）」とコメント。ああ、これ、わたしも無回答で出しちゃった…とにかく早く申し込みを完了させたくて…ごめんなさい…。次回からはちゃんと書きます！
そして本題。ショッピングモールの万引き率の話（※完全にフィクション）を例に、明日からできそうな考え方、やり方が紹介されていました。人を動かすひと工夫、大事だなと思います。
意思決定につながらないと意味がない、というのは本当にその通りで。ビジネス側が自発的にアクションを起こせるようなアウトプットにする、というのはわかっていてもなかなかできていないところがあるので、今回のお話を参考に自分なりに地道に工夫していきたいです。
まとめ：少しずつでいいから、自分の仕事に取り入れていきたい。
ぜんぶその場で理解できたわけではないので、まずは今週末、共有された資料をしっかり読み直して勉強したいと思います。
その上で、できることから少しずつ、今回聞いたことを自分の仕事に取り入れていきたいなと思いました。
やっぱりすごく良いイベントで、勉強になることがたくさんあるので、また次回も参加したいです。が、まだ参加したことない人にこそぜひ参加してほしいな、とすごく感じていて。
なので次回「第3回 データアーキテクト（データ整備人）を”前向きに”考える会」の申し込みは今日（2/7（金）の20時から）ですが、今度は一般枠で抽選が当たることを祈ろうと思います。当たらなくても、Twitterが盛り上がるのでそれを見ようかな、と。
ブログ枠、Twitter実況枠は絶対参加できるお得な枠ですが、募集開始5分くらいでけっこう埋まるので早めの申し込みがおすすめです！！！
ありがとうございました！
「データアーキテクト（データ整備人）を”前向きに”考える会」に参加したら、明日からまた頑張ろうと思えた。
