חומרים הם מונח שקיים זמן רב, אך מדע החומרים הוצע בשנות ה-60 של המאה ה-20. בשנת 1957, לאחר השיגור המוצלח של לוויין כדור הארץ המלאכותי הסובייטי, ממשלת ארה"ב והחוגים המדעיים והטכנולוגיים הזדעזעו והבינו את חשיבותם של חומרים מתקדמים לפיתוח טכנולוגיה גבוהה, ולכן הוקמו יותר מעשרה מרכזי מחקר למדעי החומר בחלק מהאוניברסיטאות, ומאז נעשה שימוש נרחב במונח מדע החומר.
היווצרות מדע החומרים היא תוצאה של התפתחות המדע והטכנולוגיה. הסיבה לכך היא, ראשית, התפתחות הפיזיקה של המצב המוצק, כימיה אנאורגנית, כימיה אורגנית, כימיה פיזיקלית ודיסציפלינות אחרות, הלימוד המעמיק של המבנה והתכונות הפיזיקליות של החומר, קידם את המחקר וההבנה של טבעם של חומרים; במקביל, מחקרים מתכות, מטלורגיה, קרמיקה ושאר החומרים עצמם התחזקו מאוד, כך שההכנה, המבנה והמאפיינים של החומרים, כמו גם יחסי הגומלין ביניהם, הפכו יותר ויותר לעומק-, מה שהניח בסיס איתן יחסית להיווצרות מדעי החומרים. שנית, לפני הופעת המונח מדעי החומרים, חומרי מתכת, חומרים פולימריים וחומרים קרמיים היו עצמאיים, ויש ביניהם קווי דמיון רבים, שניתן להשתמש בהם להתייחסות הדדית כדי לקדם את הפיתוח של דיסציפלינה זו. לדוגמה, טרנספורמציה של פאזה מרטנסיטית הוצעה במקור על ידי מתטולוגים ונמצאת בשימוש נרחב כבסיס תיאורטי לטיפול בחום פלדה. עם זאת, תופעת טרנספורמציה של פאזה מרטנסיטית נמצאה גם בחומרים קרמיים זירקוניה, והיא משמשת כאמצעי יעיל להקשחה קרמית. שלישית, יש קווי דמיון רבים בין ציוד המחקר ושיטות הייצור של חומרים שונים. למרות שלסוגים שונים של חומרים יש ציוד בדיקה וציוד ייצור מיוחד משלהם, יותר זהים או דומים, כגון מיקרוסקופים, מיקרוסקופים אלקטרוניים, בדיקות פני שטח וציוד לבדיקת תכונות פיזיות ומכניות. בייצור חומרים, יחידות עיבוד רבות הן גם אוניברסליות. הכללה של ציוד מחקר וציוד ייצור לא רק חוסכת כסף, אלא חשוב מכך, היא מעוררת השראה ולומדת אחד מהשני, ומאיצה את פיתוח החומרים. רביעית, התפתחות המדע והטכנולוגיה דורשת סוגים שונים של חומרים להחליף זה את זה ולתת משחק מלא ליתרונות של חומרים שונים כדי להשיג את המטרה של ניצול מיטבי של חומרים. במשך זמן רב, הדיסציפלינות של מתכות, פולימרים וחומרים אנאורגניים לא-מתכתיים הופרדו זה מזה ויש להם מערכות משלהם. מפאת חוסר ההבנה אחד של השני, מי שרגיל להשתמש בחומרי מתכת לא חושב להשתמש בחומרים פולימריים, וגם אם הוא רוצה להשתמש בהם, הוא לא יודע עליהם הרבה ולא מעז לשאול. להיפך, מי שרגיל להשתמש בחומרים פולימריים לא רוצה להשתמש בחומרי מתכת או חומרים קרמיים. לכן, התפתחות המדע והטכנולוגיה העלתה דרישות חדשות לחומרים, אשר קידמה את היווצרות מדעי החומרים. חמישית, פיתוח חומרים מרוכבים מחבר באופן אורגני חומרים שונים לאחד. מרוכבים הם ברוב המקרים שילוב של סוגים שונים של חומרים, ובאמצעות לימוד מדעי החומרים, נוכל לקבל הבנה מעמיקה יותר של סוגי חומרים שונים, מה שמספק את הבסיס הדרוש לפיתוח חומרים מרוכבים.