アルゴリズムエンジニアの死

デジタル変革の波の中で、アルゴリズム エンジニアは大きな期待を寄せられており、複雑なビジネス問題を解決する鍵となる存在と見なされています。しかし、現実は理想よりも残酷なことが多いです。この記事では、一連の実際の事例を通じて、従来の企業のアルゴリズム エンジニアが直面する課題と困難を明らかにします。

「当社のアルゴリズムエンジニアのレベルが低すぎて、問題をまったく解決できません！」 - 伝統的な企業と取引することが多い第2者として、陳さんはこのような苦情をあまりにも多く聞き、同様の悲惨な光景をあまりにも多く見てきました。今日はシステムについてお話します。

モデルってすごいですよね？すごいですね！ほら、ChatGPT は人間を殺しかけているのに、どうして驚かないでいられるでしょうか?その結果、多くの企業が歯を食いしばって、大手インターネット企業からアルゴリズムエンジニア、データマイニングエンジニア、データモデラーを高額の給料で雇い、超強力なモデルを作成できることを期待しました。 「正確な予測ができれば、必ず成功できる」が彼らのモットーです。

近年、多くの大企業が従業員を解雇しており、一群の人々が「バイトダンス/アリ/テンセントの元シニアアルゴリズムエンジニア」という看板を掲げて伝統的な企業を乗っ取り、その後、黒鶏から不死鳥に変身して人生の頂点に達することができると考えている。二人はすぐに意気投合した。悲劇はここから始まる...

01 事業を考えず、責任を取る

ケース 1: 従来の企業は、ユーザーのニーズに正確に一致する製品推奨モデルを確立したいと考えていました。その結果、アルゴリズム開発者はわずか半年で解雇されました。解雇理由: 推奨内容が不正確であり、通常の販売を妨げていた。甲社のマーケティング部門の責任者は軽蔑的にこう言った。「アリババの推奨アルゴリズムもそれほど良くない。」

ビジネスシナリオを注意深く研究した結果、次のことがわかりました。問題なのは Alibaba ではなく、あなたの会社が Alibaba ではないことです。 Alibaba は、プラットフォーム上で宣伝されるのを待っている無数の製品があるプラットフォームです。

しかし、あなたの会社の場合、次のようなことが起こります。

1. 一部の商品は、プロモーションをしなくても売れるヒット商品です。

2. 一部の製品はビジネスの心臓部です。問題があれば切り刻まれます。

3. 一部の製品には、機能が不十分で価格が不当であるなど、本質的に欠陥があります。彼らは競合他社にまったく太刀打ちできないので、推奨アルゴリズムは役に立たないのです。

4. 製品の品質は良いが、社内の政治的地位が低く、リソースを獲得できず、価格が不当であるため、後天的な欠陥につながるものもあります。

以前のアルゴリズム担当者は、これらのビジネスにおける明白な競争や隠れた競争を考慮せず、直接モデルに取り組みました。すべての製品は、推奨のために混合されます (企業のユーザーの粘着性やユーザー行動データの量を考慮せずに、引き続き協調フィルタリングを使用します)。その結果、主力商品の売上が落ち込み、営業部門とマーケティング部門は協力して彼に責任を押し付けようとした。結局、彼は追い出されただけでなく、悪名も知れ渡った。

これらの背景を慎重に分析した後、最適化計画が策定されました (以下を参照)。

まず、適切な製品分析を行い、短い期間で小規模な製品カテゴリを選択し、それを推奨する部門を見つけてから、作業を開始できます。

予想通り、第一波のプロモーションはすぐに効果を発揮しました。

そこで、当事者 A が喜んで引き継ぎ、最適化と反復作業に戻りました。

02 シーンを洗練させないと、多くの問題が発生する

ケース 2: チェーン店は、各店舗の魚団子、ライスロール、おにぎり、パンなどの販売量を各 SKU まで正確に予測するモデルを構築したいと考えています。こうすることで、店舗は在庫不足により食品を無駄にしたり、在庫切れにより販売機会を逃したりすることがなくなります。結果的に、7 人のモデリング担当者が半年間作業しましたが、それでも十分な精度を得ることができませんでした。 4人が辞職し、残りの3人も落胆した。どうすれば100%正確になるのでしょうか?

この問題のシナリオを注意深く考えてみると、とても面白いことに気づくでしょう。もし彼らが本当に魚団子やソーセージを 100% の精度で予測する能力を持っているのなら、なぜこの 7 人の男たちはただくだらない仕事をして先物取引をするのでしょうか。

よく調べてみると、いわゆる「在庫切れや販売機会の喪失」は単なる空論だということが分かりました。正式な在庫切れ登録システムがないためです（多くの企業では導入していますが、この企業では導入していません）。しかし、バックログによる損失率は非常に高いため、最適化計画が策定されました（下図参照）。

このように2か月間実行したところ、損失率が大幅に低下し、コスト削減が明確に確認できます。一方で、「在庫切れの店舗もある」と不満を漏らす人もいた。しかし、証拠はどこにあるのでしょうか?証拠はどこにあるのですか?証拠はどこだ！データがなければ、ただの空論では誰も信じないでしょう!こうして状況は見事に逆転したのです。

当然のことながら、当事者 A が引き継いで最適化を継続しました (そうです、当事者 A は第 2 フェーズまたは第 3 フェーズに署名することを好まなかっただけで、残りは自分たちで処理できると考えていました。もちろん、それは後の話です、笑)。

03 変化に対応できないと不当な死につながる

ケース 3: 大手チャネル ディーラーは、バックログを回避するために、携帯電話とタブレットの販売を正確に予測するモデルを構築したいと考えています。立て続けに5機種乗り換えましたが、どれも満足できません！企業からのフィードバックは、予測が十分に正確ではなく、誤った決定につながるというものでした。

慎重に検討した結果、問題は予測ではなく、事業側の度重なる飛躍にあることが判明しました。評価モデルの有効性は総売上高に基づいています。しかし、総販売量が各チャネルマネージャーに割り当てられた後に、販売量の増加または減少を要求する人が必ず現れます。そして多くの場合、最初の 2 週間の売上が好調だとわかると、急いでさらに購入しようとし、その結果、在庫が残ってしまいます。最初の2週間がダメだったら、全然やりたくないので、できればやめておきます。結局、全体的なデータの偏差は大きく、不正確な予測についてはアルゴリズムのせいにせざるを得ませんでした。

これらの人たちのやり方を知って、最適化計画が提案されました。最適化後、その効果はすぐに現れます。いわゆる不正確な予測の 90% は、取引先自身の信頼できない交渉、予測、および無茶な操作によって引き起こされます。彼は脱出に成功しただけでなく、先に亡くなった5人の罪のない人々の名誉回復にも貢献しました（下の写真参照）。

04 データの品質が悪く、非常にイライラする

事例 4: ある大企業はインテリジェントな顧客サービスを確立したいと考え、高給で若者を雇いました。しかし、元のデータが混乱していただけでなく、カスタマー サービスのトレーニングが不十分だったために、相談、苦情、提案といった最も基本的な分類ラベルさえも混乱していたことが判明しました。結果、当然ながら、彼は半年間何の成果も出せずに働き、不名誉なまま解雇されました。

事例5：大企業が「TikTokのようなコンテンツ推奨アルゴリズム」を構築したいと考え、高給で若者を雇った。しかし、社内にコンテンツ分類ラベルがなく、ユーザーが付けたラベルはすべてゴミで、90%が空だったことが判明しました... 上司はまた、「こんなにお金を払っているのに、なぜできないのか？なぜ君の助けが必要なのか？TikTokはすべてアルゴリズムエンジニアによって行われていることがわからないのか？」と言いました。

╮(╯▽╰)╭

はい、アルゴリズム モデルを信じる人が増えるほど、データ構築の価値は低くなります。彼らは皆、「アルゴリズムはすでにあるのに、なぜデータが必要なのか？データは基本的なものではないのか？」と言います。

ちなみに、失敗のサイクルがすべて半年であることに気づいた学生もいるかもしれません。なぜ？インターネット企業におけるアルゴリズムの役職の多くはマスコットであるため、企業が「人工知能の道」を歩んでいることを証明し、株価を維持することが目的です。したがって、インターネット企業における評価は、実体のある企業における評価よりもはるかに緩やかです。実体のある企業では、半年間成果が出なければ辞めるしかありません。

05 問題の根本原因

問題の本質は、データ モデリングが本質的に非効率性と戦うことです。操作変数が多すぎたり、手動計算が複雑だったりして処理が難しい問題を解決するのに役立ちます。これは計算方法であり、常人より賢い神秘の力でもなければ、不死の資質を持つ隠者でもありません。データ モデリングの適用に最適な領域は、ビジネス上の問題の診断ではなく、画像認識や音声変換などの比較的客観的な領域です。

従来の企業が直面している問題は次のとおりです。

• 天気予報では雨が降ると予測されていたので在庫が減っていたのに、突然雨が止んでしまい、売れるほどの在庫がなかったり…など、予想外の事態が多々あります。
• 目的が不明確：上司が気に入って、ある商品を市場に投入したが、上司がミスを犯してしまった…
• ビジネス能力が低い：予測が不正確、感情的、顧客やサプライヤーから賄賂を受け取る、上司を喜ばせて手柄を奪おうとする

こうした厄介な状況は、データ分析手法を使用して解決する方がよいでしょう。データ分析は本質的に不確実性と戦うものです。これは、データを慎重に収集し、ビジネス プロセスを整理し、ビジネス上の問題を診断し、データ テストを実施することによって行われます。主観的な仮定を檻の中に閉じ込めてください。 「私は思う」を「私は確信している」に置き換えます。したがって、複雑な経営管理の問題に直面したときは、データを慎重に収集し、分析モデルを慎重に確立し、分析経験を少しずつ積み重ねていくことが最善のアプローチです。大きなアルファ犬が吠えて雲が晴れて春の到来を歓迎することを期待する代わりに。

したがって、複雑なシナリオを整理し、煩雑な要素を排除すれば、モデルは運用上の問題をある程度解決できることがわかります。残念ながら、WeChat Momentsの記事から、経営陣の心、パラメータを調整している人のキーボードまで、すべての声は次のとおりです。

アルゴリズムが再び人間に勝利しました！

アルゴリズムはあなた自身よりもあなたをよく知っています!

アルゴリズムは 99% の超正確な予測を達成しました。

したがって、このような悲劇は今後も起こり続けるでしょう。そして、より多くの企業がデジタル化を加速するにつれて、悲劇はさらに深刻化するでしょう。待って見てみましょう。