新しいコントロールネット、Instant ID 【stable diffusion】
TLDR今日の動画では、ズインワンダーラのアリスがStable Diffusion WEBUIの最新機能であるInstant IDについて紹介しています。この機能は、SDExel専用で、顔の位置や向きを認識し、画像内の顔を別の顔に置き換えることができます。使用には特定のモデルとプリプロセッサーが必要で、複数のテストを通じて、異なる角度やスタイルの顔に対する機能の応用範囲と限界について考察しています。また、今後のアップデートでエディターでの顔の位置や向きの編集が可能になる予定や、複数の顔に対応するなどの改善点も紹介されています。
Takeaways
- 😀 今回の紹介は、SDExel専用の新しい機能である「Instant ID」についてです。
- 🔍 「Instant ID」はコントロールネットの1つで、顔の認識と置き換えを行うことができます。
- 📚 最初に、最新のStable Diffusion WEBUIとコントロールネットをダウンロードし、更新する必要があります。
- 🖼️ 「Instant ID」を使うためには、IPアダプターモデルとコントロールネットモデルの2つのモデルをダウンロードし、名前を変更する必要があります。
- 📁 モデルはStable Diffusionのエクステンションズフォルダ内のモデルズフォルダに入れて設定します。
- 🔧 「Instant ID」は2つのコントロールユニットを使用し、1つは顔の位置を認識し、もう1つは顔の置き換えを行います。
- 🎨 実際の使用では、特定のプリプロセッサーとモデルを設定して、画像に適用させることが重要です。
- 🖌️ 画像生成の際には、clgスケールを4から5と設定し、低い値が望ましいことが示されています。
- 👤 複数人物が画像にいる場合、「Instant ID」は現在1人だけを認識し、その顔のみを画像に反映することがわかりました。
- 🎉 今後のアップデートでは、エディターでの顔の位置や向きの編集が可能になる予定です。
- 🚀 「Instant ID」はアニメ風の画像にも応用でき、異なるスタイルの顔を生成することが可能です。
Q & A
「Instant ID」はどのような機能ですか？
-「Instant ID」は、SDExel専用のコントロールネットで、顔の認識と置き換えを行う機能です。
「Instant ID」を使用するために必要なコントロールネットのモデルはどれですか？
-「Instant ID」を使用するためには、IPアダプターモデルとコントロールネットモデルの2つが必要です。
「Instant ID」のモデルをダウンロードした後、どうやって名前を変更する必要がありますか？
-ダウンロードしたモデルの名前を、IPアダプターモデルは「IPアダプターインスタントIDstxl」、コントロールネットモデルは「コントロールインスタントIDstxl」に変更する必要があります。
「Instant ID」で使用するプリプロセッサーはどのようなものがありますか？
-「Instant ID」で使用するプリプロセッサーには、「インスタントIDfaceエンベッティング」と「インスタントIDフェースキーポインツ」があります。
「Instant ID」のプリプロセッサーはどのようにして有効にしますか？
-コントロールユニット0で「イネイブル」にチェックを入れ、「インスタントID」にチェックを入れ、「プリプロセッサー」から適切なものを選択することで有効にします。
「Instant ID」で生成される画像のサイズはどのように設定しますか？
-「Instant ID」で生成される画像のサイズは、設定で1024x1024など任意のサイズを指定することができます。
「Instant ID」を使用する際のclgスケールの推奨値は何ですか？
-「Instant ID」を使用する際のclgスケールの推奨値は4から5と低めの値が良いとされています。
「Instant ID」で複数の顔を認識することはできますか？
-「Instant ID」は現在、1つの顔を認識して画像生成に使用するように設計されています。
「Instant ID」でアニメ風の顔を生成することはできますか？
-「Instant ID」はアニメ風の顔も認識し、アニメ風の画像を生成することができます。
「Instant ID」の今後のアップデートでどのような機能が追加される予定ですか？
-今後のアップデートでは、エディターでの顔の位置や向きの編集機能、高解像度のサポート、複数の顔への対応などが追加される予定です。
Outlines
😀 Introduction to Instant ID Feature on SDExcel
The speaker, Alice from Zin Wonderla, introduces a new feature called Instant ID, which is exclusive to SDExcel and similar to the previously discussed Face ID. The feature is part of the Control Net suite. To use Instant ID, the audience is directed to the Control Net website for instructions and installation. The setup requires downloading two specific Control Net models: an IP Adapter model and a Control Net model, which must be renamed and placed in the appropriate folders within the SDExcel directory. The speaker also explains the use of two units in Control Net: one for face detection using a pre-processor and the other for replacing the detected face with a desired one. The process is demonstrated using the Jaguar Note checkpoint in SDExcel, with settings adjusted for quick image generation.
🔍 Exploring Instant ID's Facial Recognition and Customization
Alice continues the tutorial by discussing the facial recognition aspect of Instant ID, which uses a pre-processor to identify facial features and a model to replace the detected face. She highlights the importance of correctly setting up the Control Net and the model for the feature to work effectively. The video shows the process of generating an image with the desired face, adjusting settings for different face orientations, and dealing with potential issues such as incorrect face recognition due to the angle of the face in the image. The speaker also experiments with resizing and adjusting the image to ensure the face is properly recognized and replaced.
🎨 Testing Instant ID with Various Image Angles and Styles
In this section, the speaker tests the versatility of Instant ID with different image angles and styles, including anime-style faces. She explores the limitations and capabilities of the feature when dealing with sideways, front-facing, and even almost rear-facing images. The video demonstrates the adjustments made to the Control Net's resize mode to accommodate various image orientations and sizes. The speaker also discusses the challenges of recognizing faces in certain positions and the potential for future improvements to the feature.
🤖 Instant ID's Performance with Multiple Faces and Anime Images
Alice examines how Instant ID performs with images containing multiple faces and when used with anime-style images. She notes that the feature currently does not support multiple faces but still manages to select and use one face from a group image. The video shows the process of generating images with anime faces, highlighting the feature's ability to recognize and use facial positions even in stylized images. The speaker also discusses the potential for future updates to Instant ID, such as editing facial positions and orientations, improving processing time, and supporting high-resolution images.
🌟 Wrapping Up the Instant ID Feature Demonstration
The speaker concludes the video by summarizing the Instant ID feature's capabilities and potential future enhancements. She emphasizes the feature's current use for changing faces in images and hints at upcoming updates that will allow for more editing freedom, such as adjusting face orientation and position. Alice also mentions the possibility of reducing the time taken for image generation and addressing issues like watermarks appearing in certain image sizes. The video ends with a thank you to the viewers and an invitation to try out Instant ID and explore its various applications.
Mindmap
Keywords
💡Instant ID
💡ControlNet
💡SDExel
💡FACEID
💡プリプロセッサー
💡IPアダプターモデル
💡コントロールネットモデル
💡モデルズフォルダー
💡ユニット
💡FACEキーポインツ
Highlights
紹介された新しい機能「Instant ID」は、顔の認識と置き換えを行うSDExel専用のコントロールネットです。
「Instant ID」はコントロールネットの1つであり、2つのモデルを用いて機能します。
使用するには、まず最新のStable Diffusion WEBUIとエクステンションズが必要です。
IPアダプターモデルとコントロールネットモデルのダウンロードと名前変更が必要です。
モデルを適切なフォルダに配置し、ファイルサイズが2.4GBと1.6GBになること確認。
「Instant ID」は2つのコントロールユニットを使用し、顔の認識と置き換えを行います。
プリプロセッサーとモデルの設定を行い、特定の顔を認識して置き換える機能を利用可能にします。
画像生成の際には、20ステップのサンプリングメソッドと低いclgスケールが推奨されています。
コントロールネットの設定では、特定のプリプロセッサーとモデルを選択して顔の位置を認識します。
画像生成時に顔の向きや位置情報が正確に認識されることが重要です。
アニメ系の顔も「Instant ID」で認識され、適切に画像が生成されることが示されています。
真横や後ろ向きの顔に対しても「Instant ID」は顔の位置を認識し、画像生成が可能です。
ただし、完全な後ろ向きや顔がほとんど見えない画像では認識されないことがあります。
複数人を含む画像でも「Instant ID」は特定の1人の顔を認識し、画像生成に使用します。
「Instant ID」はリアル系のチェックポイントでもアニメ系の画像を生成することが可能です。
今後、「Instant ID」のエディターで顔の位置や向きを編集できる機能が追加される予定です。
「Instant ID」の使用による画像生成は、ウォーターマークの出現などいくつかの問題点もあります。
「Instant ID」のデモンストレーションビデオで、様々な顔の向きやスタイルでの画像生成が試されました。